惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

S
SegmentFault 最新的问题
Jina AI
Jina AI
罗磊的独立博客
V
Visual Studio Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
J
Java Code Geeks
U
Unit 42
Microsoft Azure Blog
Microsoft Azure Blog
B
Blog RSS Feed
爱范儿
爱范儿
酷 壳 – CoolShell
酷 壳 – CoolShell
Last Week in AI
Last Week in AI
T
The Blog of Author Tim Ferriss
腾讯CDC
Hugging Face - Blog
Hugging Face - Blog
T
Tailwind CSS Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
I
InfoQ
月光博客
月光博客
博客园_首页
Vercel News
Vercel News
P
Proofpoint News Feed
GbyAI
GbyAI
Y
Y Combinator Blog

博客园 - jadesun

【转载】Zachman框架 参加了IBM的架构师培训,总结了一些内容 数据仓库 - 事实表和维度表建立的方法论 Hadoop的学习历程 Hadoop手册_v0.3 MySQL_Cluster 的尝试及各种测试 Hadoop的学习历程 Hadoop手册_v0.2 和同事扯了一个理论模型出来,后面再验证是否合理。 依赖倒置原则 迪米特法则 中国航油项目的一次数据库优化,关于Audit Logout的问题。 公文流转SQL优化日志七 公文流转SQL优化日志六 和同事们终于将Entity FrameWork整合进新的框架中了,发布第一个版本。 继续上篇实现的架构,有了新的进展。介绍一下格瑞趋势的产品 公文流转SQL优化日志五 工作日志,正在实现中的架构,针对SQL SERVER。参考了DZ的设计 公文流转SQL优化日志四 公文流转SQL优化日志三 公文流转SQL优化日志二
尝试数据分片处理
jadesun · 2013-03-15 · via 博客园 - jadesun

手册的容量描述:首先系统会保存操作人员每一页的版本内容,也就是说,每一页内容在编辑保存之后,就会新生成一条记录,之前的记录变成了历史版本沉淀下来。从我们之前的调研(仅股份的三个部门)来计算,我们项目在上线的第一年里,磁盘的存储量会达到1T以上。据甲方的规划,该系统会扩大至整个股份乃至航空板块,甚至集团。在这儿容量会以T来翻倍计算,所以存储方式是该项目的一个重点问题。

        解决方案:经过调研,原来的设计不满足数据切片的要求,做了如下的修改:

解决方案的目的:通过扩充数据库服务器,即可解决存储空间不足的问题。

        在如今,我们的开发框架是支持多数据库访问的,并且使用了SQL SERVER 2008新的特性FileStream(也有新特性的应用风险)FileStream技术让SQL SERVERWINDOWSNTFS文件系统完美结合起来。在数据库中写入一个二进制文件时,SQL SERVER系统会在NTFS磁盘中生成一个相应的二进制文件进行管理和索引,减轻SQL SERVER的压力。

另外,修改数据库的结构支持横向扩展,如下设计:

 简单描述一下思路:

1,  手册拆分成章节和页码。

2,  页码和内容之间加入一个控制器,用于索引内容在哪个数据库。

3,  横向扩展一个数据库时,需要在数据库服务器信息中增加记录。开发框架支持多种数据库。

4,  在读取页里面的内容时,会通过控制器去不同的数据库中查找相应的内容。

风险:

1,  全文索引会有很大的麻烦。需要先将内容聚合。当前这一期没有全文索引的要求