惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

W
WeLiveSecurity
T
The Exploit Database - CXSecurity.com
C
CXSECURITY Database RSS Feed - CXSecurity.com
S
Security @ Cisco Blogs
T
Threat Research - Cisco Blogs
TaoSecurity Blog
TaoSecurity Blog
Recent Commits to openclaw:main
Recent Commits to openclaw:main
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
腾讯CDC
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
T
The Blog of Author Tim Ferriss
Microsoft Azure Blog
Microsoft Azure Blog
罗磊的独立博客
F
Full Disclosure
博客园 - 【当耐特】
C
CERT Recently Published Vulnerability Notes
Engineering at Meta
Engineering at Meta
Application and Cybersecurity Blog
Application and Cybersecurity Blog
T
Threatpost
I
Intezer
V2EX - 技术
V2EX - 技术
H
Hackread – Cybersecurity News, Data Breaches, AI and More
The Hacker News
The Hacker News
小众软件
小众软件
Google DeepMind News
Google DeepMind News
T
Tailwind CSS Blog
D
Darknet – Hacking Tools, Hacker News & Cyber Security
B
Blog RSS Feed
Microsoft Security Blog
Microsoft Security Blog
N
News | PayPal Newsroom
MyScale Blog
MyScale Blog
AI
AI
Vercel News
Vercel News
Spread Privacy
Spread Privacy
美团技术团队
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
The GitHub Blog
The GitHub Blog
V
Vulnerabilities – Threatpost
Schneier on Security
Schneier on Security
Cyberwarzone
Cyberwarzone
G
GRAHAM CLULEY
Help Net Security
Help Net Security
Hacker News: Ask HN
Hacker News: Ask HN
Google DeepMind News
Google DeepMind News
MongoDB | Blog
MongoDB | Blog
L
LINUX DO - 热门话题
U
Unit 42
L
LangChain Blog
Recent Announcements
Recent Announcements

ClickHouse

ClickHouse 的 MaterializedMySQL 引擎 - V2EX 两条数据库创建语句产生了同样的效果 CREATE DATABASE hello1; 与 CREATE DATABASE hello ON CLUSTER 'xxxxx'; 大佬们,我又来了!群晖装 clickhouse,撑得住吗? 究竟是什么在占用着内存 求大佬优化一下 3000 万数据的 NOT IN 查询 求大佬优化 3000w 数据多 UNION clickhouse 文档里的划分冷热多盘存储配置真的是按时间划分冷热数据的吗? - V2EX 请教各位大佬关于 clickhouse 的问题 - V2EX 我这个场景, clickhouse 适用吗? - V2EX
有没有熟悉 clickhouse 的? clickhouse 对于分布式支持的如何?
red13 · 2025-10-07 · via ClickHouse

red13

 

red13 · 2025 年 10 月 7 日 · 3093 次点击

这是一个创建于 249 天前的主题,其中的信息可能已经有所发展或是发生改变。

要对一个大数据量的 table 进行查询,不会有复杂的查询逻辑,都是简单的 where 、order by 、group by 、sum 、avg 、count 查询,当前数据量接近 500 亿了,在半年内会增加到一万亿。

目前方案是使用 spark ,我知道 clickhouse 很适合 olap 查询场景并且速度很快,但 clickhouse 对于 10000 亿数据量能扛得住吗?或者 clickhouse 也能很好的支持分布式?

对 clickhouse 了解不是很深入,希望大佬指点

amoia50

1

amoia50      2025 年 10 月 7 日 via iPhone

分布式运维比较难直接上 Doris 或者 starrocks

zqr10159

2

zqr10159      2025 年 10 月 7 日

直接用 doris 就行了

sealinfree

3

sealinfree      2025 年 10 月 8 日 via iPhone

我存日志,有 573 亿,做了 7 个 clickhouse ,都是虚拟机,同一台全闪 7525 ,查询毫秒级,数据库后端这部分自己写的,没用其他中间件,体验很好,升级也没有太多坑,已经线上用了三年多了

chenxytw

4

chenxytw      2025 年 10 月 8 日

Check the `Distributed table engine` of clickhouse.
1 trilliion rows is not big for clickhouse, the key is how your data partition.
what's the columns split your data, what's the minimum & maximum rows of one part, and how many parts of your general query will read.
For `order by` and `group by`, you will also focus on the columns you used,
clickhouse is not good at non primary key, you can check what called `mark` in clickhouse.
If your query sample from or sort in many marks, it will cause very low performance.

sealinfree

6

sealinfree      2025 年 10 月 8 日

@red13 单台虚拟机 8 核心 24G 内存,服务器是 PowerEdge R7525 ,处理器:AMD EPYC 7H12 ,服务器负载常年 10%左右,服务器上还有其他业务一共 20 个左右虚拟机,clickhouse 只有 7 个