V2EX = way to explore
V2EX 是一个关于分享和探索的地方
dimingxuan · 2025 年 7 月 8 日 via Android · 3901 次点击
这是一个创建于 288 天前的主题，其中的信息可能已经有所发展或是发生改变。
求助，公司新建一个系统，几十亿条数据，需要业务人员能写一些简单的规则做一些数据离线筛查和判断，每天新增数据几万条。数据现在都在 MySQL 做的数仓。
规则编写想用 drools ，现在遇到了数据读取大的问题，需不需要上 hadoop 全家桶？还是简单一点，spark➕HDFS 、Hive➕drools 。对大数据了解不多，请大大们提提建议
 |
1 v1 2025 年 7 月 8 日 1
怎么简单怎么来，解决问题最重要，一切为了业务。 |
 |
2 guo4224 2025 年 7 月 8 日 via iPhone 1
几十亿看看 es 就行了吧 |
 |
4 dododada 2025 年 7 月 8 日 1
clickhouse ，只要更新不大没什么问题，hadoop 有点重 |
 |
6 springz 2025 年 7 月 8 日 1
这么一点点数据，duckdb 还没热身。或者存成 Parquet 文件，爱用啥用啥。 |
|
7 springz 2025 年 7 月 8 日 1
看自己情况，公司资源丰富的话夸大一点，多争取点资源练手也行。不过建议不要上 hadoop 的船，淘汰了的玩意。 |
 |
9 tf2 2025 年 7 月 8 日 1
看你是求快速解决问题，还是扩大团队编制 如果求快现在 10 亿量级单机轻松跑 但是单机肯定不可能给你配几十条人的大数据团队。 |
 |
10 ptaooo 2025 年 7 月 8 日 1
不建议 hadoop ，太重了，维护成本也不低 |
 |
12 leeg810312 2025 年 7 月 8 日 1
小团队直接用 doris 或 clickhouse 好了，几台机器做集群。Spark 现在没有可用的开源集成套件，CDH 早就不更新不提供支持了，自己搭建得有人自己会维护。 |
 |
14 user1284 2025 年 7 月 8 日 1
我推荐 clickhouse, 部署简单文档完善, 对比竞品非常清爽 |
 |
15 min 2025 年 7 月 8 日 1
单机 duckdb ，分布式用 doris 系即可 |
 |
16 tabris17 2025 年 7 月 8 日 2
clickhouse+1 甚至 postgresql 都可以 |
 |
18 dapen 2025 年 7 月 8 日 1
离线分析随便玩吧，感觉不重就行 |
 |
19 cando 2025 年 7 月 8 日 1
StarRocks |
 |
20 bronyakaka 2025 年 7 月 8 日 1
1 、如果不需要模糊搜索，上 clickhouse ，适合各种分析统计 |
 |
21 Cruzz 2025 年 7 月 8 日 via iPhone 1
你这体量上啥 hadoop 。 |
 |
23 zsk425 2025 年 7 月 8 日 via Android 1
可以考虑直接以表的形式存储在 S3 上，用 Athena 查就行，毕竟只要离线，这应该是最省钱方案之一了 |
|
24 springz 2025 年 7 月 8 日 1
#9 说的才是真理，其实要看是要解决问题还是切一块资源。 |
 |
25 badbye 2025 年 7 月 8 日 1
之前看 duckdb 的文章在 2012 年的 4 核 i7/16G 内存的 macbook 上跑数十亿查询行数据的查询没问题 |
 |
28 xuelang 2025 年 7 月 8 日 1
推荐 clickhouse ，真的快～ |
 |
29 levelworm 2025 年 7 月 8 日 via Android 1
找数仓就行了，据说 clickhouse 不错。 |
 |
30 linhrdom 2025 年 8 月 22 日数据不需要加工开发，不需要 ETL ，不考虑 join 纬度表，就用 clickhouse ； |
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。