惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Martin Fowler
Martin Fowler
T
The Blog of Author Tim Ferriss
J
Java Code Geeks
M
MIT News - Artificial intelligence
F
Fortinet All Blogs
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
B
Blog
Microsoft Azure Blog
Microsoft Azure Blog
I
InfoQ
Microsoft Security Blog
Microsoft Security Blog
N
Netflix TechBlog - Medium
G
Google Developers Blog
L
LangChain Blog
腾讯CDC
大猫的无限游戏
大猫的无限游戏
U
Unit 42
Google DeepMind News
Google DeepMind News
人人都是产品经理
人人都是产品经理
罗磊的独立博客
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
小众软件
小众软件
The GitHub Blog
The GitHub Blog
博客园_首页
GbyAI
GbyAI

博客园 - jadesun

【转载】Zachman框架 参加了IBM的架构师培训,总结了一些内容 数据仓库 - 事实表和维度表建立的方法论 Hadoop的学习历程 Hadoop手册_v0.3 MySQL_Cluster 的尝试及各种测试 Hadoop的学习历程 Hadoop手册_v0.2 和同事扯了一个理论模型出来,后面再验证是否合理。 依赖倒置原则 迪米特法则 中国航油项目的一次数据库优化,关于Audit Logout的问题。 公文流转SQL优化日志七 公文流转SQL优化日志六 和同事们终于将Entity FrameWork整合进新的框架中了,发布第一个版本。 继续上篇实现的架构,有了新的进展。介绍一下格瑞趋势的产品 公文流转SQL优化日志五 工作日志,正在实现中的架构,针对SQL SERVER。参考了DZ的设计 公文流转SQL优化日志四 公文流转SQL优化日志三 公文流转SQL优化日志二
尝试数据分片处理
jadesun · 2013-03-15 · via 博客园 - jadesun

手册的容量描述:首先系统会保存操作人员每一页的版本内容,也就是说,每一页内容在编辑保存之后,就会新生成一条记录,之前的记录变成了历史版本沉淀下来。从我们之前的调研(仅股份的三个部门)来计算,我们项目在上线的第一年里,磁盘的存储量会达到1T以上。据甲方的规划,该系统会扩大至整个股份乃至航空板块,甚至集团。在这儿容量会以T来翻倍计算,所以存储方式是该项目的一个重点问题。

        解决方案:经过调研,原来的设计不满足数据切片的要求,做了如下的修改:

解决方案的目的:通过扩充数据库服务器,即可解决存储空间不足的问题。

        在如今,我们的开发框架是支持多数据库访问的,并且使用了SQL SERVER 2008新的特性FileStream(也有新特性的应用风险)FileStream技术让SQL SERVERWINDOWSNTFS文件系统完美结合起来。在数据库中写入一个二进制文件时,SQL SERVER系统会在NTFS磁盘中生成一个相应的二进制文件进行管理和索引,减轻SQL SERVER的压力。

另外,修改数据库的结构支持横向扩展,如下设计:

 简单描述一下思路:

1,  手册拆分成章节和页码。

2,  页码和内容之间加入一个控制器,用于索引内容在哪个数据库。

3,  横向扩展一个数据库时,需要在数据库服务器信息中增加记录。开发框架支持多种数据库。

4,  在读取页里面的内容时,会通过控制器去不同的数据库中查找相应的内容。

风险:

1,  全文索引会有很大的麻烦。需要先将内容聚合。当前这一期没有全文索引的要求