
























red13 · 2025 年 10 月 7 日 · 3093 次点击
这是一个创建于 249 天前的主题,其中的信息可能已经有所发展或是发生改变。
要对一个大数据量的 table 进行查询,不会有复杂的查询逻辑,都是简单的 where 、order by 、group by 、sum 、avg 、count 查询,当前数据量接近 500 亿了,在半年内会增加到一万亿。
目前方案是使用 spark ,我知道 clickhouse 很适合 olap 查询场景并且速度很快,但 clickhouse 对于 10000 亿数据量能扛得住吗?或者 clickhouse 也能很好的支持分布式?
对 clickhouse 了解不是很深入,希望大佬指点
1 amoia50 2025 年 10 月 7 日 via iPhone分布式运维比较难直接上 Doris 或者 starrocks |
2 zqr10159 2025 年 10 月 7 日直接用 doris 就行了 |
3 sealinfree 2025 年 10 月 8 日 via iPhone我存日志,有 573 亿,做了 7 个 clickhouse ,都是虚拟机,同一台全闪 7525 ,查询毫秒级,数据库后端这部分自己写的,没用其他中间件,体验很好,升级也没有太多坑,已经线上用了三年多了 |
4 chenxytw 2025 年 10 月 8 日Check the `Distributed table engine` of clickhouse. |
6 sealinfree 2025 年 10 月 8 日@red13 单台虚拟机 8 核心 24G 内存,服务器是 PowerEdge R7525 ,处理器:AMD EPYC 7H12 ,服务器负载常年 10%左右,服务器上还有其他业务一共 20 个左右虚拟机,clickhouse 只有 7 个 |
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。