惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

The GitHub Blog
The GitHub Blog
Hugging Face - Blog
Hugging Face - Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
WordPress大学
WordPress大学
Y
Y Combinator Blog
Google DeepMind News
Google DeepMind News
大猫的无限游戏
大猫的无限游戏
Vercel News
Vercel News
V
Visual Studio Blog
Microsoft Azure Blog
Microsoft Azure Blog
MyScale Blog
MyScale Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
罗磊的独立博客
N
Netflix TechBlog - Medium
M
MIT News - Artificial intelligence
G
Google Developers Blog
阮一峰的网络日志
阮一峰的网络日志
P
Proofpoint News Feed
小众软件
小众软件
Engineering at Meta
Engineering at Meta
D
DataBreaches.Net
S
SegmentFault 最新的问题
H
Help Net Security
量子位

博客园 - 雨V幕

使用chromedp 来做人工模拟操作爬取数据方法 遍历redis按照前缀给未设置过期时间的数据添加过期时间 使用rabbitmq 进行任务调度 使用trace进行排查网络瓶颈 使用vscode 调试 Python 使用power shell 拆分 csv文件 将大文件拆分成小文件。 使用postman 添加预处理验签。 go 使用pprof 进行问题排查 Mysql无主键删除重复数据的快速方法 解决mysql 事务死锁的方法 go在处理批量下载时候出现fatal error: runtime: out of memory go 序列化反序列化之后时区信息丢失 clickhouse 进行建表期间的一些优化 kraots2.0 在windows 环境搭建开发环境 Sql Server使用函数获取拼音码 关于async 和await关键字 使用kubespray 一键部署 containerd 的安装和熟悉 VMware 配置双网卡实现上网和固定ip
AnalyticDB 创建db
雨V幕 · 2024-03-13 · via 博客园 - 雨V幕
CREATE TABLE `view_records` (
  `saas_id` varchar NOT NULL COMMENT '用户id',
  `parent_id` int COMMENT 'id',
  `title` varchar NOT NULL COMMENT '标题',
  `sub_id` int COMMENT 'id',
  `num` int COMMENT '集数',
  `create_time` datetime COMMENT '创建时间',
  KEY `idx_saasid` (`saas_id`),
  PRIMARY KEY (`saas_id`,`create_time`)
) DISTRIBUTE BY HASH(`saas_id`) PARTITION BY VALUE(`DATE_FORMAT(create_time, '%Y%m%d')`) LIFECYCLE 14 STORAGE_POLICY='HOT' ENGINE='XUANWU' BLOCK_SIZE=8192 TABLE_PROPERTIES='{"format":"columnstore"}' COMMENT='用户观看记录';
  • 其中主键是  PRIMARY KEY (`saas_id`,`create_time`)
  • 定义了一个索引 Key `idx_saasid` (`saas_id`),
  • 根据create_time 保留 14 天数据
  • 跳数索引默认参考clickhouse 8192 
  • 分区是根据createtime 进行按每日进行分区
  • 使用AnalyticDB 是因为clickhouse 去重之后性能骤减。而且去重比较麻烦。 AnalyticDB和mysql 实例相比确实性能有不小提升
  • 不过AnalyticDB datetime 类型不能支持到毫秒 只能精确到秒