惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

L
LINUX DO - 最新话题
小众软件
小众软件
C
Check Point Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
V
Visual Studio Blog
Last Week in AI
Last Week in AI
P
Proofpoint News Feed
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
The GitHub Blog
The GitHub Blog
T
Tailwind CSS Blog
Recorded Future
Recorded Future
雷峰网
雷峰网
WordPress大学
WordPress大学
A
Arctic Wolf
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Project Zero
Project Zero
T
Tor Project blog
T
Threat Research - Cisco Blogs
Scott Helme
Scott Helme
Spread Privacy
Spread Privacy
G
Google Developers Blog
Security Latest
Security Latest
MongoDB | Blog
MongoDB | Blog
T
Threatpost
I
InfoQ
T
Tenable Blog
T
The Exploit Database - CXSecurity.com
S
Security Affairs
H
Hackread – Cybersecurity News, Data Breaches, AI and More
人人都是产品经理
人人都是产品经理
C
Cisco Blogs
博客园 - 三生石上(FineUI控件)
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
aimingoo的专栏
aimingoo的专栏
C
CXSECURITY Database RSS Feed - CXSecurity.com
美团技术团队
Google DeepMind News
Google DeepMind News
The Hacker News
The Hacker News
D
Docker
博客园 - 【当耐特】
大猫的无限游戏
大猫的无限游戏
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Vercel News
Vercel News
PCI Perspectives
PCI Perspectives
Microsoft Azure Blog
Microsoft Azure Blog
C
CERT Recently Published Vulnerability Notes
月光博客
月光博客
Cloudbric
Cloudbric
A
About on SuperTechFans
F
Fortinet All Blogs

博客园 - amingo

面向对象设计(Object-Oriented Design,OOD) 文科妹学 GitHub 简易教程 用户中心 - 博客园 SSIS 2010 BUG 一例 甲骨文公司面试题 数据仓库(二)Architecture 【免费】承接各类SharePoint项目开发工作 【免费】承接翻译各类英文技术文章 SharePoint Workflow 版本控制 SharePoint Workflow Debugging 我断言今年世界杯将会是一支新队夺冠! JavaScript语言精髓(1)之语法概要拾遗 JavaScript语言精髓(0) Linq在路上(一)一统江湖 Linq在路上(外一)获取SQL语句 Linq在路上(序) 关于管理的那些事 两分钟明白什么是ERP 白话CMMI
数据仓库(一)Introduction
amingo · 2013-01-04 · via 博客园 - amingo

数据仓库是一个【定期将数据从原业务系统中取出存储到一个三维数据存储标准化数据存储】的系统。数据仓库通常保存多年的历史数据,以供商业智能其他活动查询使用。典型的数据更新方式是批量更新,而不是在每次原业务系统中发生transaction时更新。

取出:使用ETL从多个业务系统中取数。

存储:既然数据是从多个业务系统中来的,那么存储到数据仓库中的数据必须是集成化的。也就是说数据必须满足有效性(系统A包含address1,address2,address3,zip等字段,而系统B不包含address3),相同的时间范围(系统A的某个值是按月统计,而系统B是按周统计),相同的定义(系统A中的total order value的计算方式不同于系统B),单位换算(系统A的price是美元为单位,而系统B为人民币,而在做转换的时候还需要考虑到汇率每天都会变化,因此在做转换时要使用交易发生当天的汇率),匹配相同的数据(客户A在系统A和B中都存在,但数据属性有区别。当要集成数据时就必须合并客户A的这些属性,首先就要对客户进行匹配)

 定期/周期性:取数和存储并不是一次性的动作,需要在相同的间隔周期重复执行,只需要保证间隔周期满足业务需要即可。

三维数据存储星型架构(结构简单但有数据冗余)、雪花型架构(能减速数据冗余)、星河架构(能对商业活动更准确的建模)

标准化数据存储:关系型数据库存储结构,利用主从关系(主外键)和范式(三范式及更高)来组织的结构。因此冗余很少甚至没有。

三维数据存储用于进行查询和分析,而标准化数据存储用于集成多个系统中的数据。标准化数据存储用来实现企业数据仓库,数据再从企业数据仓库中加载到三维数据存储中,以供查询和分析使用。

商业智能:对不同类型数据的分析来制定策略、战术、商业决定、提高业务效率。包括对客户、供应商、市场动向、竞争对手、质量控制等数据的收集、分析、管理。

商业智能典型的3种表现:Report,OLAP,Data Mining

其他活动:科学研究、政府管理、军事智能、灾难管理等。

批量更新:数据仓库只能在特定的周期进行批量更新而不能根据业务系统的变化进行时时更新,因为业务系统的数据每秒都会更新,这样就很难对数据进行分析,因为数据一直在变化。另一个原因是,想要做到实时更新要么在原业务系统的table上创建trigger,要么修改应该程序,在数据插入系统表时同时插入数据仓库。这会极大影响业务系统的性能及稳定性。一个可行的办法是在某些关键的表中进行实时更新,但仅限于少量的表,而其他的表行进批量更新。 不过近些年业务要求的不断提高也渐渐开始流行实时数据仓库,甚至有一些基于业务仓库的可以操作的业务系统。 

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

每个人都会经过这个阶段,见到一座山,就想知道山后面是什么。我很想告诉他,可能翻过山后面,你会发现没什么特别。回望之下,可能会觉得这一边更好。 每个人都会坚持自己的信念,在别人看来,是浪费时间,她却觉得很重要。