惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Google DeepMind News
Google DeepMind News
F
Fortinet All Blogs
量子位
G
Google Developers Blog
J
Java Code Geeks
N
Netflix TechBlog - Medium
博客园 - 聂微东
宝玉的分享
宝玉的分享
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
月光博客
月光博客
The Cloudflare Blog
Apple Machine Learning Research
Apple Machine Learning Research
爱范儿
爱范儿
雷峰网
雷峰网
M
MIT News - Artificial intelligence
T
Tailwind CSS Blog
V
Visual Studio Blog
阮一峰的网络日志
阮一峰的网络日志
博客园 - 三生石上(FineUI控件)
Microsoft Azure Blog
Microsoft Azure Blog
aimingoo的专栏
aimingoo的专栏
Martin Fowler
Martin Fowler
有赞技术团队
有赞技术团队
T
The Blog of Author Tim Ferriss

博客园 - 雨V幕

使用chromedp 来做人工模拟操作爬取数据方法 遍历redis按照前缀给未设置过期时间的数据添加过期时间 使用rabbitmq 进行任务调度 使用trace进行排查网络瓶颈 使用vscode 调试 Python 使用power shell 拆分 csv文件 将大文件拆分成小文件。 使用postman 添加预处理验签。 go 使用pprof 进行问题排查 Mysql无主键删除重复数据的快速方法 解决mysql 事务死锁的方法 go在处理批量下载时候出现fatal error: runtime: out of memory go 序列化反序列化之后时区信息丢失 clickhouse 进行建表期间的一些优化 kraots2.0 在windows 环境搭建开发环境 Sql Server使用函数获取拼音码 关于async 和await关键字 使用kubespray 一键部署 containerd 的安装和熟悉 VMware 配置双网卡实现上网和固定ip
AnalyticDB 创建db
雨V幕 · 2024-03-13 · via 博客园 - 雨V幕
CREATE TABLE `view_records` (
  `saas_id` varchar NOT NULL COMMENT '用户id',
  `parent_id` int COMMENT 'id',
  `title` varchar NOT NULL COMMENT '标题',
  `sub_id` int COMMENT 'id',
  `num` int COMMENT '集数',
  `create_time` datetime COMMENT '创建时间',
  KEY `idx_saasid` (`saas_id`),
  PRIMARY KEY (`saas_id`,`create_time`)
) DISTRIBUTE BY HASH(`saas_id`) PARTITION BY VALUE(`DATE_FORMAT(create_time, '%Y%m%d')`) LIFECYCLE 14 STORAGE_POLICY='HOT' ENGINE='XUANWU' BLOCK_SIZE=8192 TABLE_PROPERTIES='{"format":"columnstore"}' COMMENT='用户观看记录';
  • 其中主键是  PRIMARY KEY (`saas_id`,`create_time`)
  • 定义了一个索引 Key `idx_saasid` (`saas_id`),
  • 根据create_time 保留 14 天数据
  • 跳数索引默认参考clickhouse 8192 
  • 分区是根据createtime 进行按每日进行分区
  • 使用AnalyticDB 是因为clickhouse 去重之后性能骤减。而且去重比较麻烦。 AnalyticDB和mysql 实例相比确实性能有不小提升
  • 不过AnalyticDB datetime 类型不能支持到毫秒 只能精确到秒