惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

T
Tenable Blog
Last Week in AI
Last Week in AI
P
Proofpoint News Feed
Engineering at Meta
Engineering at Meta
H
Help Net Security
F
Fortinet All Blogs
MyScale Blog
MyScale Blog
宝玉的分享
宝玉的分享
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
博客园 - 司徒正美
量子位
N
Netflix TechBlog - Medium
Apple Machine Learning Research
Apple Machine Learning Research
小众软件
小众软件
Recorded Future
Recorded Future
博客园 - 三生石上(FineUI控件)
Vercel News
Vercel News
aimingoo的专栏
aimingoo的专栏
I
InfoQ
Microsoft Security Blog
Microsoft Security Blog
Scott Helme
Scott Helme
The Last Watchdog
The Last Watchdog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
IT之家
IT之家
AI
AI
WordPress大学
WordPress大学
Security Archives - TechRepublic
Security Archives - TechRepublic
Google Online Security Blog
Google Online Security Blog
U
Unit 42
V2EX - 技术
V2EX - 技术
MongoDB | Blog
MongoDB | Blog
Schneier on Security
Schneier on Security
博客园 - Franky
H
Heimdal Security Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Jina AI
Jina AI
W
WeLiveSecurity
P
Privacy & Cybersecurity Law Blog
Cloudbric
Cloudbric
B
Blog RSS Feed
N
News | PayPal Newsroom
S
Securelist
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
I
Intezer
Hacker News - Newest:
Hacker News - Newest: "LLM"
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
博客园_首页
罗磊的独立博客
H
Hackread – Cybersecurity News, Data Breaches, AI and More
雷峰网
雷峰网

博客园 - jadesun

【转载】Zachman框架 参加了IBM的架构师培训,总结了一些内容 数据仓库 - 事实表和维度表建立的方法论 Hadoop的学习历程 Hadoop手册_v0.3 MySQL_Cluster 的尝试及各种测试 Hadoop的学习历程 Hadoop手册_v0.2 和同事扯了一个理论模型出来,后面再验证是否合理。 依赖倒置原则 迪米特法则 中国航油项目的一次数据库优化,关于Audit Logout的问题。 公文流转SQL优化日志七 公文流转SQL优化日志六 和同事们终于将Entity FrameWork整合进新的框架中了,发布第一个版本。 继续上篇实现的架构,有了新的进展。介绍一下格瑞趋势的产品 公文流转SQL优化日志五 工作日志,正在实现中的架构,针对SQL SERVER。参考了DZ的设计 公文流转SQL优化日志四 公文流转SQL优化日志三 公文流转SQL优化日志二
尝试数据分片处理
jadesun · 2013-03-15 · via 博客园 - jadesun

手册的容量描述:首先系统会保存操作人员每一页的版本内容,也就是说,每一页内容在编辑保存之后,就会新生成一条记录,之前的记录变成了历史版本沉淀下来。从我们之前的调研(仅股份的三个部门)来计算,我们项目在上线的第一年里,磁盘的存储量会达到1T以上。据甲方的规划,该系统会扩大至整个股份乃至航空板块,甚至集团。在这儿容量会以T来翻倍计算,所以存储方式是该项目的一个重点问题。

        解决方案:经过调研,原来的设计不满足数据切片的要求,做了如下的修改:

解决方案的目的:通过扩充数据库服务器,即可解决存储空间不足的问题。

        在如今,我们的开发框架是支持多数据库访问的,并且使用了SQL SERVER 2008新的特性FileStream(也有新特性的应用风险)FileStream技术让SQL SERVERWINDOWSNTFS文件系统完美结合起来。在数据库中写入一个二进制文件时,SQL SERVER系统会在NTFS磁盘中生成一个相应的二进制文件进行管理和索引,减轻SQL SERVER的压力。

另外,修改数据库的结构支持横向扩展,如下设计:

 简单描述一下思路:

1,  手册拆分成章节和页码。

2,  页码和内容之间加入一个控制器,用于索引内容在哪个数据库。

3,  横向扩展一个数据库时,需要在数据库服务器信息中增加记录。开发框架支持多种数据库。

4,  在读取页里面的内容时,会通过控制器去不同的数据库中查找相应的内容。

风险:

1,  全文索引会有很大的麻烦。需要先将内容聚合。当前这一期没有全文索引的要求