惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
小众软件
小众软件
爱范儿
爱范儿
Y
Y Combinator Blog
博客园 - Franky
美团技术团队
博客园 - 【当耐特】
The Cloudflare Blog
罗磊的独立博客
Hugging Face - Blog
Hugging Face - Blog
Jina AI
Jina AI
IT之家
IT之家
人人都是产品经理
人人都是产品经理
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
大猫的无限游戏
大猫的无限游戏
Apple Machine Learning Research
Apple Machine Learning Research
博客园 - 聂微东
WordPress大学
WordPress大学
V
Visual Studio Blog
博客园_首页
阮一峰的网络日志
阮一峰的网络日志
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
有赞技术团队
有赞技术团队

桑河一榆

口罩和安全帽识别 ubuntu 18.04系统安装OpenCV 4.2.0 requests库中的那些高级用法 Jupyter最佳实践 什么是好的软件工程原则 Java基础知识总结 Markdown写作指南 浅谈低代码开发 APIJSON实践
时序数据库使用总结
justpic · 2020-05-07 · via 桑河一榆

时序数据库在当下产业互联网背景下,在金融、工业等领域得到越来越多的应用,主要面向高并发、海量时序数据等应用场景中。

大规模时序数据具有特点

  • 占用空间极大
  • 数据总吞吐量大
  • 产生速度快且不间断

时序数据存储的需求

  • 全时全量
  • 高效写入
  • 紧凑存储

时序数据库与关系型数据库

  • 时序数据管理具有超高性能,超多序列的特点
  • 关系型数据库具有写入受限的缺点
  1. 单表列数上限 mysql innodb最大为1017列
  2. 单表行数不易过多 小于1000万行
  3. 水平、垂直分表;分库 键值数据库可管理海量条时间序列数据,但查询受限:主要包括按时间纬度的查询,按值纬度的查询,多序列的时间对齐查询。

除此之外,时序数据库还有一个优点:由于时序数据库其具有时间相关性,不需要处理关系性数据库下的分布式锁这类比较繁琐的事务。

时序数据库大体上可分为三种:

  1. 基于关系数据库的: Timescale,基于PG开发的插件 能够做到: 时序数据自动分区 优化查询计划 定制并行查询 但随着导入时间增加时,其导入效率不断下降

  2. 基于键值数据库的: OpenTSDB,KairosDB 这类时序数据库一般基于HBase/Cassandra衍生, 支持时序分区键,定时任务构件索引。但存在压缩不友好,查询不友好的缺点。

  1. 原生时序数据库: influxdb 基于LSM机制的时序库, 专属文件结构 专属查询优化 特定工业场景下性能会下降 iotdb grafana-adaptor pisa索引

常用时序数据库:

iotdb influxdb taosdb timescale kairosdb

经过测试iotdb性能较优