惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - 叶小钗
Last Week in AI
Last Week in AI
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
V
V2EX
J
Java Code Geeks
The GitHub Blog
The GitHub Blog
博客园_首页
U
Unit 42
人人都是产品经理
人人都是产品经理
Engineering at Meta
Engineering at Meta
IT之家
IT之家
G
Google Developers Blog
L
LangChain Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
爱范儿
爱范儿
罗磊的独立博客
博客园 - 三生石上(FineUI控件)
Martin Fowler
Martin Fowler
Jina AI
Jina AI
有赞技术团队
有赞技术团队
Apple Machine Learning Research
Apple Machine Learning Research
Vercel News
Vercel News
小众软件
小众软件
H
Help Net Security

博客园 - Ray Wu

推荐纯真(CZ88.NET)IP库 测试问卷星问卷公开的问题 asp.net高性能之路:无缝切换HttpRuntime.Cache与Memcached,附代码 非常怪异的服务器网络问题【续】,附排查问题思路 非常怪异的服务器网络问题,请有经验的朋友帮忙看下 测试 也谈谈人人网的不正当竞争 腾讯被打残吧,360去死吧 测试 MBTI职业性格测试 很酷的问卷 自动将脚本放在页面底部 Asp.net页面静态内容自动从不同域名加载--极大提升客户端加载速度 使用闭包优雅的为setInterval(setTimeout)传递参数 我的网站PR升了没有? QQ邮箱:要把Bug当宝贝到什么时候? 使用异步页面,后台线程提高用户体验和服务器端性能 超轻量级的javascript 评分控件 在线问卷调查平台的创业体会
10亿记录的分区讨论,高手进
Ray Wu · 2012-05-22 · via 博客园 - Ray Wu

我们做的是一个问卷调查系统,每天新增的数据量在300万~500万(答卷表),总数据量已经接近10亿。

答卷表结构:

QID 问卷ID

JID  参与ID

TID 题目ID

AID 答案ID

已经用sql server针对QID做了分区,但是服务器还是有点扛不住。

因为数据经常需要做统计分析(统计每个选项被选择了多少次),同时又会被不断的写入。

所以考虑将历史数据转移到另一个服务器上。

暂定的方案是每天晚上执行作业,将3个月以前的记录移动到历史库里面。(历史库基本上用于统计分析)

后续会考虑用sql server 发布与订阅的方式来进行读写分离

不知道大家有没有更好的方案?