惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

H
Help Net Security
大猫的无限游戏
大猫的无限游戏
雷峰网
雷峰网
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 聂微东
V
Visual Studio Blog
爱范儿
爱范儿
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
美团技术团队
有赞技术团队
有赞技术团队
云风的 BLOG
云风的 BLOG
Google DeepMind News
Google DeepMind News
Blog — PlanetScale
Blog — PlanetScale
The Cloudflare Blog
Engineering at Meta
Engineering at Meta
博客园 - 三生石上(FineUI控件)
WordPress大学
WordPress大学
Vercel News
Vercel News
F
Fortinet All Blogs
Last Week in AI
Last Week in AI
M
MIT News - Artificial intelligence
小众软件
小众软件
月光博客
月光博客
A
About on SuperTechFans

博客园 - 雨V幕

使用chromedp 来做人工模拟操作爬取数据方法 遍历redis按照前缀给未设置过期时间的数据添加过期时间 使用rabbitmq 进行任务调度 使用trace进行排查网络瓶颈 使用vscode 调试 Python 使用power shell 拆分 csv文件 将大文件拆分成小文件。 使用postman 添加预处理验签。 go 使用pprof 进行问题排查 Mysql无主键删除重复数据的快速方法 解决mysql 事务死锁的方法 go在处理批量下载时候出现fatal error: runtime: out of memory AnalyticDB 创建db go 序列化反序列化之后时区信息丢失 kraots2.0 在windows 环境搭建开发环境 Sql Server使用函数获取拼音码 关于async 和await关键字 使用kubespray 一键部署 containerd 的安装和熟悉 VMware 配置双网卡实现上网和固定ip
clickhouse 进行建表期间的一些优化
雨V幕 · 2024-02-26 · via 博客园 - 雨V幕
  • clickhouse 优化 :
    批量插入次数 设置 10000 - 15000 小批量频繁插入,每次插入都会产生一个part。所以clickhouse的写入,是提倡大批次插入的。(五个字段一万条数据大概在1~2M左右)
    -- partition by date_time 设置partition
    PARTITION BY toYYYYMMDD(event_date) 按天分区
    SETTINGS index_granularity = 8192 设置稀松索引 默认 8192 不同于mysql 的行索引。 8192 行才对应一个索引

RENAME TABLE member_view_records TO member_view_records_bak ;

CREATE TABLE member_view_records
(
    `saas_id` String COMMENT '用户id',

    `parent_id` UInt32 COMMENT '剧id',

    `title` String COMMENT '剧集标题',

    `sub_id` UInt32 COMMENT '剧集id',

    `num` UInt32 COMMENT '当前剧集集数',

    `create_time` DateTime COMMENT '记录创建时间'
)
ENGINE = MergeTree
ORDER BY (saas_id, create_time)
PARTITION BY toYYYYMMDD(create_time)
SETTINGS index_granularity = 10000   
COMMENT '用户观看记录';

ALTER TABLE member_view_records MODIFY TTL create_time + INTERVAL 14 DAY;


-- 回滚
RENAME TABLE member_view_records TO member_view_records_bak  ;

ALTER TABLE member_view_records Add INDEX idx_saas_id saas_id TYPE minmax GRANULARITY 1;

 参考自:https://zhuanlan.zhihu.com/p/667086347