惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

H
Help Net Security
博客园 - Franky
GbyAI
GbyAI
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
爱范儿
爱范儿
IT之家
IT之家
酷 壳 – CoolShell
酷 壳 – CoolShell
aimingoo的专栏
aimingoo的专栏
博客园_首页
MongoDB | Blog
MongoDB | Blog
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Recent Announcements
Recent Announcements
Scott Helme
Scott Helme
有赞技术团队
有赞技术团队
M
MIT News - Artificial intelligence
C
CERT Recently Published Vulnerability Notes
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Jina AI
Jina AI
F
Fortinet All Blogs
N
Netflix TechBlog - Medium
L
LangChain Blog
L
LINUX DO - 最新话题
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
H
Hacker News: Front Page
MyScale Blog
MyScale Blog
P
Palo Alto Networks Blog
G
Google Developers Blog
Google DeepMind News
Google DeepMind News
AI
AI
T
Troy Hunt's Blog
Microsoft Azure Blog
Microsoft Azure Blog
阮一峰的网络日志
阮一峰的网络日志
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Vercel News
Vercel News
Microsoft Security Blog
Microsoft Security Blog
罗磊的独立博客
S
Secure Thoughts
大猫的无限游戏
大猫的无限游戏
博客园 - 叶小钗
人人都是产品经理
人人都是产品经理
Blog — PlanetScale
Blog — PlanetScale
博客园 - 司徒正美
Apple Machine Learning Research
Apple Machine Learning Research
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 三生石上(FineUI控件)
S
Security @ Cisco Blogs
Cloudbric
Cloudbric
E
Exploit-DB.com RSS Feed
Attack and Defense Labs
Attack and Defense Labs

博客园 - linkman

实时数据库中的二级压缩技术 关于实时数据库接口标准的讨论[中] 今天,你2.0了吗? 此实时数据库非彼实时数据库 - linkman - 博客园 实时数据库领域中有关数据压缩的认识误区 发一个招聘软件开发人员的帖子 图记2007年北京国际马拉松比赛 悲观程序员的五件武器 关于变化压缩算法的展开讨论[上] 关于变化压缩算法的展开讨论[下] 关于实时数据库接口标准的讨论[上] [导入]写给一位有程序员心结的朋友 续 写给一位有程序员心结的朋友 [导入]关于谭浩强[上] [导入]实时数据库的经典书 [导入]热烈祝贺实时数据库行业协会成立! [导入]某失败项目的项目总结报告 [导入][转摘]C++资源之不完全导引(完整版) [导入]走在理想与现实之间
[导入]实时数据库理论与技术演讲PPT
linkman · 2007-06-07 · via 博客园 - linkman

以下是我在北京某大学演讲实时数据库论理与技术的PPT提纲:

实时数据库理论与技术

汇报提纲

1.实时数据库的产品定位

2.实时数据库的关键技术

3.实时数据库的发展方向

内容

1.实时数据库的产品定位

1.1.数据库技术的发展
 数据库技术是计算机科学中的一个重要分支;
 针对不同的应用环境和用户需求,出现了许多新领域、新成果和新技术;
 传统数据库和现代数据库;

1.2.数据库的分类
  传统数据库
   层次型数据库;
   网状型数据库;
   关系型数据库;
  现代数据库
   数据模型:面象对象数据库、文档型数据库;
   数据分布:分布式数据库、联邦数据库、移动数据库;
   处理方式:并行数据库;
   应用领域:演绎数据库、知识库、主动数据库、多媒体数据库、工程数据库、统计数据库、空间数据库等、嵌入式数据库;
   连接性:WEB数据库;
   存储介质:内存数据库;
   时间特性:实时数据库;

1.3.实时数据库的概念
 实时数据库RTDB(Real-Time Data Base)是数据和事务都有定时特性或定时限制的数据库。

1.4.与关系数据库的区别
  数据时效性
  测点数量
  插入速度
  数据存贮量
  维护方便性

1.5.实时数据库的分类
  硬实时数据库
  固实时数据库
  软实时数据库

1.6.流程工业实时数据库
流程工业实时数据库与是一种特殊的实时数据系统
 历史数据的处理与实时数据的处理同等重要;
 弱化控制功能,强调历史数据的分析应用;
  实时性要求不高,属于固、软实时数据库系统;

1.7.实时数据库定位
 处于生产控制系统与经营管理系统之间的“数字鸿沟” 不能满足管控一体化的需求。
 实时数据库是桥梁、平台

1.8.应用领域
  流程工业
 在我国,流程工业是一个非常巨大的产业,在产业中占据重要的地位,是国民经济发展中极为重要的基础支柱产业。包括石化、炼油、化工、冶金、制药、建材、轻工、造纸、采矿、环保、电力等工业行业。
  非流程工业
 仿真、交通、电信、通讯、邮电等行业。

2.实时数据库的关键技术

2.1.实时数据库的功能点
  实时数据库模型
  实时事务调度:包括并发控制、冲突解决、死锁等内容
  数据压缩
  容错性与错误恢复
  访问准入控制
  内存组织与管理
  索引结构
  I/O与磁盘调度
  主内存数据库系统
  系统资源调度、恢复
  不精确计算问题
  放松的可串行化问题
  查询处理算法
  实时SQL
  数据和事务特性的语义及这种语义与一致性、正确性的关系
  实时事务的可预测性
  通信的协议与算法
  数据接口的标准化
  ……

2.2.实时数据库的架构

2.4.数据压缩
 无损压缩
 Shannon把信息中排除了冗余后的平均信息量称为“信息熵”,并给出了计算信息熵的数学表达式,是所有无损数据压缩算法的理论基础
   Huffman编码
   LZ 算法
  有损压缩
   JPG
   MP3

2.4.1.实时数据的有损压缩
原理:
  实时数据的数据变化具有一定波形规律;
  只有一小部分测点的值经常发生改变;
  测点的数值都具有慢变化的特征;
  数值变化与时间变化具有共同变化特性;
  用户在一定范围内,能够允许数据的精度损失;
实现:
  死区压缩;
  旋转门压缩;

2.4.2.旋转门压缩图示

2.5.历史文件的磁盘组织
  实时数据库最终的数据流向是建立于磁盘上的历史数据库。
  历史数据库能存储历史数据,还存储属性数据、中间计算结果数据、统计数据、索引结构。
  压缩率、访问速度、访问并发性是影响历史数据库性能的重要因素。

2.5.1.历史数据特点
流程工业历史数据的特点:
  历史数据量巨大
  历史数据保存的时间长
  存储格式简单,没有复杂的关系
  不同测点数据保存的时间间隔相差很大;
  许多测点的数据变化平缓;
  以测点为单位进行历史存储
  以测点和时间为查询条件
  大量的查询都是最近时间段的历史数据
  追加插入多,删除少,修改少,中间插入少。
  查询为分块查询,随机查询少。

2.5.2.历史数据的设计
  占用磁盘空间小:压缩算法
  查询时间速度快:索引结构
  访问磁盘次数尽可能少:页面数据结构;
  易于管理:多文件,索引与数据共存;
 具备数据恢复功能:日志系统

2.6.索引结构
典型的索引有如下几类:
  HASH索引
  顺序索引
  B树索引
  AVL树索引
  T树索引
  数组索引

2.6.1.实时数据库的索引选择
  T树和B树的选择
  时间因素的索引选择
  内存索引结构和文件索引结构的选择

2.7.缓冲区设计
  缓冲区在内外存数据交换中的作用
  缓冲区的结构选择(影子内存法、HASH表)
  缓冲区的页面定位算法
  缓冲区的页面淘汰算法

2.8.内存数据组织
  内存数据的结构选择
  内存数据的索引算法
  内存数据的在线组态算法
  内存数据的导入和导出

2.9.任务调度和并发处理
  任务调度的机制
  消息和任务分派
  多线程处理的优势
  锁机制的选择,二段锁,读写锁,锁的粒度
  多个进程之间的并发处理
  多机器之间的并发处理

2.10.事件和报警
  事件和报警类别
  事件和报警服务器
  网络情况下的事件和报警统一处理

2.11.发布和订阅
  发布和订阅机制
  变化监视项
  变化通知
  定时通知
  订阅的取消和续订

2.12.安全管理
  用户登陆和注销
  用户的权限管理
  安全区
  信息安全和防护

2.13.应用程序接口
  接口API
  在API之上提供扩充和封装
  ODBC、OPC、ActiveX
  多级体系结构
  冗余处理
  不同设备的协议标准化
  定制接口功能
  实时SQL语言

2.14.应用模块
  配置、管理、诊断、调试、维护模块
  界面展现模块
  分析、统计、运行、报警、日志模块
  通用行业模块
  专业行业模块
  可扩充性、通用性的解决方案

3.实时数据库的发展方向

3.1.通用信息模型
  平面数据结构和层次级应用的矛盾
  信息模型的抽象和实例化
  行业通用的信息模型结构
  CIM、OPC UA

3.2.通用应用模型
  通用应用模型:企业信息门户
  专用应用模型:通用绩效考核
  具体行业的深化应用:专业化的模块、便利的接口

3.3.统一维护模型
  系统的庞大,后期维护的方便和统一
  通用信息模型的透明化
  自动化维护和专家决策

3.4.基于OPC UA的标准化接口
  OPC的困局
  OPC UA的前景
  OPC UA应用于实时数据库的可能性
  OPC UA对实时数据库的意义

3.5.与其它计算机技术的结合
  嵌入式实时数据库
  主动式实时数据库
  实时数据库硬件化
  与关系数据库整合的企业信息平台

文章来源:http://blog.gkong.com/more.asp?name=linkman&id=21235