惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园_首页
J
Java Code Geeks
IT之家
IT之家
Last Week in AI
Last Week in AI
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
B
Blog RSS Feed
P
Proofpoint News Feed
博客园 - Franky
MongoDB | Blog
MongoDB | Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
博客园 - 【当耐特】
Microsoft Security Blog
Microsoft Security Blog
I
InfoQ
B
Blog
Stack Overflow Blog
Stack Overflow Blog
Martin Fowler
Martin Fowler
博客园 - 聂微东
Y
Y Combinator Blog
Recent Announcements
Recent Announcements
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Apple Machine Learning Research
Apple Machine Learning Research
大猫的无限游戏
大猫的无限游戏
U
Unit 42
aimingoo的专栏
aimingoo的专栏

博客园 - 雨V幕

使用chromedp 来做人工模拟操作爬取数据方法 遍历redis按照前缀给未设置过期时间的数据添加过期时间 使用rabbitmq 进行任务调度 使用trace进行排查网络瓶颈 使用vscode 调试 Python 使用power shell 拆分 csv文件 将大文件拆分成小文件。 使用postman 添加预处理验签。 go 使用pprof 进行问题排查 Mysql无主键删除重复数据的快速方法 解决mysql 事务死锁的方法 go在处理批量下载时候出现fatal error: runtime: out of memory go 序列化反序列化之后时区信息丢失 clickhouse 进行建表期间的一些优化 kraots2.0 在windows 环境搭建开发环境 Sql Server使用函数获取拼音码 关于async 和await关键字 使用kubespray 一键部署 containerd 的安装和熟悉 VMware 配置双网卡实现上网和固定ip
AnalyticDB 创建db
雨V幕 · 2024-03-13 · via 博客园 - 雨V幕
CREATE TABLE `view_records` (
  `saas_id` varchar NOT NULL COMMENT '用户id',
  `parent_id` int COMMENT 'id',
  `title` varchar NOT NULL COMMENT '标题',
  `sub_id` int COMMENT 'id',
  `num` int COMMENT '集数',
  `create_time` datetime COMMENT '创建时间',
  KEY `idx_saasid` (`saas_id`),
  PRIMARY KEY (`saas_id`,`create_time`)
) DISTRIBUTE BY HASH(`saas_id`) PARTITION BY VALUE(`DATE_FORMAT(create_time, '%Y%m%d')`) LIFECYCLE 14 STORAGE_POLICY='HOT' ENGINE='XUANWU' BLOCK_SIZE=8192 TABLE_PROPERTIES='{"format":"columnstore"}' COMMENT='用户观看记录';
  • 其中主键是  PRIMARY KEY (`saas_id`,`create_time`)
  • 定义了一个索引 Key `idx_saasid` (`saas_id`),
  • 根据create_time 保留 14 天数据
  • 跳数索引默认参考clickhouse 8192 
  • 分区是根据createtime 进行按每日进行分区
  • 使用AnalyticDB 是因为clickhouse 去重之后性能骤减。而且去重比较麻烦。 AnalyticDB和mysql 实例相比确实性能有不小提升
  • 不过AnalyticDB datetime 类型不能支持到毫秒 只能精确到秒