惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Martin Fowler
Martin Fowler
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
雷峰网
雷峰网
J
Java Code Geeks
G
Google Developers Blog
博客园 - 司徒正美
The GitHub Blog
The GitHub Blog
L
LangChain Blog
人人都是产品经理
人人都是产品经理
GbyAI
GbyAI
Vercel News
Vercel News
S
SegmentFault 最新的问题
Engineering at Meta
Engineering at Meta
H
Hackread – Cybersecurity News, Data Breaches, AI and More
云风的 BLOG
云风的 BLOG
F
Fortinet All Blogs
Y
Y Combinator Blog
博客园_首页
Last Week in AI
Last Week in AI
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
罗磊的独立博客
A
About on SuperTechFans
B
Blog
Microsoft Security Blog
Microsoft Security Blog

博客园 - 极地雪狼

C#扩展方法 C#对象与集合初始化器 C#泛型类型参数约束 C#可访问性(摘自《C#编程语言详解》) C#委托(摘自《C#编程语言详解》) C#程序结构(摘自《C#编程语言详解》) Linux系统运行级别 大数据量高并发的数据库优化(转) lucene、lucene.NET详细使用与优化详解 实现多重标准搜索 在HTML中用JS接收参数 Document对象内容集合 [转]IIS被挂马,解决一法 解决需求管理不当造成的项目失败 Lucene 学习笔记(三)——搜索解析 Lucene 学习笔记(二)——搜索方式(二) Lucene 学习笔记(二)——搜索方式(一) Lucene 学习笔记(一)——基本对象及结构 关于在ASP.NET环境下,利用FFMPEG视频格式转换的问题。
影响互联网效率的瓶颈(持续更新中)
极地雪狼 · 2011-12-06 · via 博客园 - 极地雪狼

1、CPU

     新的CPU,如Intel Core 2Itanium 2现在在架构上努力将一些小的CPUs或“核”嵌入到一个物理设备上,这会使多线程并行地处理与单线程相比两倍的数据,但是每个线程的速度还是和以前是一样的。

即使将成百上千的CPU核放到一台计算机上,它也无法很快地把数据传输到这些核去处理,单个磁盘读取速度大约为60-100MB/s,虽然磁盘的读取速度一直在提高,但却无法与处理器速度的提高相比,暂且乐观地假设速度为上限100MB/s,并假设有4I/O通道,也就是有400MB/s的速度,那么一个4TB的数据集要用10,000秒去读大约4小时才能载入数据,但用100台只有两个I/O通道的机器做相同的工作,只需要3分钟。

2、内存

单台计算机通常只有几G内存,如果输入数据是TB级的,那就需要上千台计算机才能将这些数据放入内存,即便如此,但是单台计算机仍无法处理和寻址这些数据。

3、磁盘

   单台机器的磁盘空间现在有几TB左右,但在大规模计算中,计算机产生的中间数据通常是输入数据的几倍,这也就将占有输入数据的几倍磁盘空间。在处理过程中,一些磁盘满了。

4、磁盘访问速度

      多年来磁盘存储容量快速增加的同时,其访问速度——磁盘数据读取速度——却未能与时俱进。1990年,一个普通磁盘可存储1370MB的数据并拥有4.4MB/S的传输速度,因此,读取整个磁盘中的数据只需要5分钟。20年后,1TB的磁盘逐渐普及,但其数据传输速度约为100MB/S,因此读取整个磁盘中的数据约需要两个半小时。写甚至更慢。现在有了SSD,其价格太高,容量不够,性价比比较低,普及还需要一定的时间。

5、带宽

     提起带宽,是所有站长及网站技术心中永远的痛。尤其是在国内,南北互通瓶颈、高额的带宽成本。此不多言了。

6、系统架构

7、代码执行效率

8、数据库架构

参考来源:http://quweiprotoss.blog.163.com/blog/static/4088288320108231113535/