惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

酷 壳 – CoolShell
酷 壳 – CoolShell
H
Hacker News: Front Page
P
Palo Alto Networks Blog
T
ThreatConnect
Apple Machine Learning Research
Apple Machine Learning Research
博客园_首页
T
True Tiger Recordings
P
Privacy & Cybersecurity Law Blog
B
Blog
IT之家
IT之家
Last Week in AI
Last Week in AI
F
Full Disclosure
Hacker News: Ask HN
Hacker News: Ask HN
C
Comments on: Blog
Microsoft Azure Blog
Microsoft Azure Blog
C
Cybersecurity and Infrastructure Security Agency CISA
Microsoft Security Blog
Microsoft Security Blog
博客园 - 【当耐特】
N
News and Events Feed by Topic
NISL@THU
NISL@THU
腾讯CDC
雷峰网
雷峰网
Security Latest
Security Latest
李成银的技术随笔
M
Microsoft Research Blog - Microsoft Research
L
LangChain Blog
L
Lohrmann on Cybersecurity
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
C
Check Point Blog
Y
Y Combinator Blog
Recent Announcements
Recent Announcements
博客园 - Franky
N
News | PayPal Newsroom
V
V2EX
A
About on SuperTechFans
The Register - Security
The Register - Security
月光博客
月光博客
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Google Online Security Blog
Google Online Security Blog
MyScale Blog
MyScale Blog
Cisco Talos Blog
Cisco Talos Blog
Vercel News
Vercel News
WordPress大学
WordPress大学
C
Cyber Attacks, Cyber Crime and Cyber Security
The Hacker News
The Hacker News
IntelliJ IDEA : IntelliJ IDEA – the Leading IDE for Professional Development in Java and Kotlin | The JetBrains Blog
IntelliJ IDEA : IntelliJ IDEA – the Leading IDE for Professional Development in Java and Kotlin | The JetBrains Blog
爱范儿
爱范儿
A
Arctic Wolf
L
LINUX DO - 最新话题
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More

博客园 - 大汪的数据之路

数据码农马年大吉 字符串分割并展开成表格的SQL实现方法 BI报表及可视化分析类工具使用经验总结(下) BI报表及可视化分析类工具使用经验总结(上) 基于Python实现自动化微信通知和预警 Chat2DB测试体验 常用数据管理工具与平台汇总 OneID系统建设实践总结 网易有数BI使用总结 网易NDH大数据平台使用经验 版本管理总结 程序自动化vs人工手动处理 SQL开发总结 数据团队运维值班任务简介 Python环境安装、管理与部署 windows获取kerberos认证 SQL动态长度行列转置 ODI Scenario 场景 Oracle KEEP 分析函数
数据平台使用经验
大汪的数据之路 · 2025-08-09 · via 博客园 - 大汪的数据之路

工作十余年以来,在多个行业,不同背景的公司中从事数据开发、架构、运维等相关的岗位,深度使用或者测试过各种类型的数据平台(包括传统关系型数据库、大数据平台、图数据库、嵌入式数据库、时序数据库等)。以下是按照使用时间整理的各数据平台使用经验。

1、SQL Server

  微软的产品,可应对数据规模在千万级左右的数据仓库。使用专用TSQL进行数据开发,与Windows系统高度融合(可直接调度windows shell命令),结合SSIS,SSRS等可完整实现各类数据应用及服务。在一家专注做CRM企业级数据服务的外企中广泛使用。

2、Netezza

  IBM的MPP数据产品,后来更名为PureData System for Analytics (PDA)。曾在国内金融和电信行业广泛使用,一体机架构,性能强大,轻松处理亿级数据规模,缺点是价格昂贵(据说几百万一台)。当时是在一家澳洲头部保险项目中使用到该数据库。

3、Redshift

  AWS的云数据仓库产品,MPP架构,性能强大,由于是云产品,部署和运维比较方便,可满足PB级数据仓库服务。当时是在一个数据迁移项目中使用到该产品,项目要求将数据从Netezza迁移到Redshift(应该是从成本的角度做的考量)。虽然该项目涉及到保险客户资料信息,数据较为敏感,但是AWS的安全还是得到了认可。

4、Oracle

  在旅游OTA、不动产投资运营、券商金融等各类行业场景中,被广泛作为数据仓库进行使用。其性能稳定、功能强大,基于PLSQL,支持函数、存储过程、包,可方便实现复杂业务逻辑,并且自带调度功能。通过DBLINK可以方便的在多台Oracle实例间进行跨实例查询,使用非常方便。支持事务,支持小数据量的手工补录写操作(通过select for update 可以非常便捷的进行小数据量的更新)。

5、Mysql

  搭建方便,运维简单,其免费开源版被广泛用于各类系统中,如大数据平台与报表之间的缓存层。除了数据类系统,作为元数据库,被广泛的集中在各类系统中,如报表的元数据库,Hive的元数据库,各类小型OLTP应用系统。

6、网易NDH大数据平台

  基于开源Hadoop平台搭建的商业化系统,全家桶,包含数据采集、数据服务、数据质量、调度运维等多种功能。无需额外安装客户端,直接基于网页端编写SQL。支持Hive、Impala、Spark三种SQL查询引擎。

7、ClickHouse

  作为报表的加速层使用,列式存储,单表访问速度快。可基于docker进行安装部署。