惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

V
Visual Studio Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
N
Netflix TechBlog - Medium
博客园 - 叶小钗
大猫的无限游戏
大猫的无限游戏
S
SegmentFault 最新的问题
V
V2EX
IT之家
IT之家
J
Java Code Geeks
Hacker News - Newest:
Hacker News - Newest: "LLM"
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
GbyAI
GbyAI
D
Docker
S
Secure Thoughts
Recent Announcements
Recent Announcements
Webroot Blog
Webroot Blog
Application and Cybersecurity Blog
Application and Cybersecurity Blog
云风的 BLOG
云风的 BLOG
博客园_首页
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Security Archives - TechRepublic
Security Archives - TechRepublic
酷 壳 – CoolShell
酷 壳 – CoolShell
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
N
News | PayPal Newsroom
S
Security @ Cisco Blogs
I
InfoQ
Last Week in AI
Last Week in AI
SecWiki News
SecWiki News
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
W
WeLiveSecurity
T
Troy Hunt's Blog
Recent Commits to openclaw:main
Recent Commits to openclaw:main
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Attack and Defense Labs
Attack and Defense Labs
美团技术团队
T
The Blog of Author Tim Ferriss
Google DeepMind News
Google DeepMind News
Martin Fowler
Martin Fowler
B
Blog
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Scott Helme
Scott Helme
T
Tor Project blog
Know Your Adversary
Know Your Adversary
有赞技术团队
有赞技术团队
Hugging Face - Blog
Hugging Face - Blog
Recorded Future
Recorded Future
C
Cyber Attacks, Cyber Crime and Cyber Security
AI
AI
G
Google Developers Blog

博客园 - 澜心

面向对象语言的new操作 javascript复习一 JavaScript的面向对象 C#在word中插入上标的问题 新建SSIS项目失败或者在SSIS项目中新建包失败 简单数据库操作 往消息队列传数据的存储过程 C#泛型学习 空气污染指数的计算公式是什么?(API) 行列转换 - 澜心 - 博客园 【求助】Vs2005当前不能命中断点 自动加载用户控件问题【找到部分原因】 【讨论】程序员的发展道路如何规划,欢迎大家加入讨论 sql常用函数汇总 网站配色方案学习 用例指南 用例 UseCase 系统分析员基本功 网站安装步骤 sqlserver2000下载地址 SQLServer2000安装图解
数据中心和数据仓库,在信息化建设中有何作用? - 澜心 - 博客园
澜心 · 2007-10-17 · via 博客园 - 澜心

现在可能各大IT新闻都会提到"数据中心", 看起来是很庞大的家伙, IT巨头google,MS等耗资巨头投入到数据中心建设中. 那么什么是数据中心? 从字面意思,非IT人可能人认为是放数据的计算机中心. 其实这只是表面, 数据中心的建设在不同情况,它的作用是不完全一样的.

在数据处理中, 分为两大类。一是事务处理,二是数据查询和分析。数据处理或者分析,一般是在数据库中处理,而数据查询现在分为两大类,一是数据库查询,二是搜索技术。而目前随着各种技术的互相作用,搜索技术和数据分析也越来越有“合作”的意思。

搜索技术目前还处于“模糊查询”阶段,也就是从数亿计互联网信息中模糊搜索出你想要的信息,但由于是模糊查询,所以绝大多数信息都不是你想要的,于是目前几大巨头都在把数据挖掘技术容入搜索技术中,缩小客户搜索到准确信息的时间。

但由于搜索技术其“模糊特点”,在企业内部的信息化中,暂时还不适合,因为企业查询的需要是准确的信息,老板可没那么多时间一个个排除。于是企业内部建设的数据中心基本是数据仓库,为准确查询和分析服务。

那么何为数据仓库?前面提到的企业/单位投资信息化,他们不停上信息化系统,比如ERP、CRM、Call Center、OA或者计费等。但上了这些系统后,会产生大量数据,客户首先的需求是查询和报表。但很多报表和查询是需要跨系统,而且复杂查询和报表很耗 资源,可能影响各个系统的正常运行。于是80年代人们专门建设一个数据库系统,把各个系统的数据拿到那里进行准确的查询和报表制作,这样既方便又准备,而 且不会影响业务系统。那么从这点说,数据仓库是全数据的集合。

而后来查询和报表已不能满足人们的需求了,他们想知道这些数据里到底有什么有用的信息,会给决策者什么有用的帮助。于是90年代人们把OLAP和数据挖掘 加入数据仓库应用之中。为了更好地分析,人们从数据仓库里还会按照业务需要提出N多数据集市为查询、分析服务,这样会更方便,因为不同部门的需求不同,业 务定义也可能不同,所以再把数据仓库的信息分到各个数据集市是很有必要的了,这样才好个性化服务嘛。

但有一定要申明,数据仓库和OLAP、数据挖掘以及查询、报表没有必然关系,他们是不同的逻辑事物,但相互作用很密切。正如前面提到,数据挖掘现在已经结 合搜索技术,更方便地给人们提供互联网搜索服务。而数据挖掘在数据仓库的作用,就是更好地分析,比如著名的沃尔玛尿布和啤酒的案例就是数据挖掘的结果,它 把数据中很多潜罪责找出一定联系的几率,这样帮助企业决策。

那么数据中心是何物?如果是针对具体的企业或者单位,其实就是业务系统数据存储技术+数据仓库,当然有的单位干脆只有数据仓库,比如科研单位,他们又不作 业务处理,只有分析需求。但如果是互联网公司,就和普通企业和单位的数据中心不同,因为互联网的信息实在庞大,不可能包罗所有信息到数据库,也处理不了那 么多信息,所以他们的数据中心的其中作用就是加强互联网数据的处理速度和效果;另一个作用也是数据仓库,但他们的数据仓库就不会包含所有互联网信息,而是 企业本身关心的信息,当然数据量也非常大,一般十TB以上。

目前我国信息化其实还在初级阶段,可能很多人认为有了PC,可以上网,有很多软件用,信息化就好了?其实不然。信息化的高级阶段应该是准确快速处理、查 询、分析数据!就我所知,美国几乎所有国家级政府部门、科研机构都上了数据仓库系统,不信可以搜索下他们各个部门的信息化新闻。而我们国家很多部门的普通 业务系统还不够完善,更不要说建设数据仓库了。

其实最有意义的一个项目,应该是农业部数据仓库建设。数据中心/数据仓库建设后,全国各乡镇级以上都可以作为其用户,查询具体信息和分析信息。好处就不说 了,还会出现农民种的东西买不出去,买不起价格么?不会!因为各个地方适合种什么,当年什么物种卖钱,市场需求等都在眼里。当然信息化并不是万能的,还要 有配套措施,比如农业技术指导、专门的采购、物流、销售公司等配套等。