惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

G
Google Developers Blog
阮一峰的网络日志
阮一峰的网络日志
A
About on SuperTechFans
大猫的无限游戏
大猫的无限游戏
Engineering at Meta
Engineering at Meta
V
Visual Studio Blog
Martin Fowler
Martin Fowler
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
博客园 - 叶小钗
I
InfoQ
B
Blog RSS Feed
aimingoo的专栏
aimingoo的专栏
Y
Y Combinator Blog
Blog — PlanetScale
Blog — PlanetScale
IT之家
IT之家
P
Proofpoint News Feed
WordPress大学
WordPress大学
小众软件
小众软件
B
Blog
MongoDB | Blog
MongoDB | Blog
人人都是产品经理
人人都是产品经理
量子位
Hugging Face - Blog
Hugging Face - Blog
月光博客
月光博客

博客园 - 毕海

golang的cgo支持调用C++的方法 [转]linux下查看进程内存使用情况 程序员必读系列 python 不同版本下载资源 提示“load System.Core failed” phpwind主要表结构的研究随笔[1] [转]Python快速教程 [转]80个Python经典资料(教程+源码+工具)汇总——下载目录 [转]一位大牛整理的python资源 [转]PyInstaller2的信息文件Version的生成 [转]使用PyInstaller2将Python脚本转化为可执行文件(下-进阶使用) [转]使用PyInstaller2将Python脚本转化为可执行文件(上-安装部分) [转]使用PyInstaller2将Python脚本转化为可执行文件(中-使用部分) [转]Nginx安装 [转]Centos 5.5 卸载与安装java1.7环境 在win8 x64上安装Scrapy mongodb协议透传 mongodb的监控与性能优化 记一次MongoDB性能问题
[原]zeromq框架测试报告
毕海 · 2014-03-17 · via 博客园 - 毕海

一、环境:

服务器:linux 4核 16G 虚拟机 1台

客户端:linux 4核 16G 2000台(模拟)

数据包大小:1036字节 

二、参数设置:

ulimit -n 65536

服务端处理线程2,端口4440

客户端数据包大小:约1k

三、应答模式测试

3.1 测试

模拟2000客户端并发访问,每个客户端与服务端交互10次总共花费的时间,单位是毫秒

3.2 结果

平均:24149.5ms

每条线程平均耗时:12.07475ms

单个任务平均:1.207475ms

客户端数量[个]

单个客户端的QPS[每秒钟应答客户端能力]

10

2458次

50

1578次

100

1133次

1000

160次

服务端的分4次统计内存与CPU使用情况

第一次:物理内存:220m,CPU:90%~120%

第二次:物理内存:282m,CPU:90%~120%

第三次:物理内存:284m,CPU:90%~120%

第四次:物理内存:273m,CPU:90%~120%

四、推送模式测试

4.1 测试

服务端由2条线程处理2000订阅

针对服务端的每一个订阅启动10个客户端,一共是20000个客户端

模拟出20000个订阅的场景

4.2 结果

客户端数量[个]

单个客户端的平均推送延迟

2W

14ms

1W

5ms

物理内存

CPU

2W客户端推送中

5.2G

210%~250%

断掉全部客户端

3.4G

198%~210%

注:在重新打开2W客户端后,内存会瞬间降到2.6G左右,然后稳步提高,大约5分钟左右服务端稳定在5.2G左右,根据PUB/SUB原理来分析,这个时候应该是输出队列占用的物理内存,另外新版本的PUB/SUB模式,在SUB处理慢的情况下,会阻塞在SUB端,这样对PUB不造成影响。

五、问题

1)【已解决】2000个线程时,socket创建异常:通过zmq_ctx_set增加ctx的socket上线

2)【已解决】并发效率不稳定:通过zmq_setsockopt,结合服务器的内存和CPU,适当调整ZMQ_BACKLOG、ZMQ_SNDHWM    ZMQ_RCVHWM参数,本次测试均为1000

3)【已解决】随着并发数提高,频繁请求服务器造成的客户端不稳定:并发访问在2W个连接,由于单机端口数量限制造成连续请求的socket不足,会造成模拟客户端为了等待系统分配socket端口造成的假死现象,通过netstat查证与服务器无关

4)【临时替代方案解决】使用zmq_recvmsg的API时会产生严重的内存泄露,目前采用zmq_recv代替方案。注:这两个API一个是针对zmq_msg结构体的传输,一个是针对buffer的传输,原本以为用zmq_msg会好一些,结果压测时造成大量内存的泄露,这个api内存泄露问题据说在3.1.X中修复过,目前我用的3.2.4版本居然仍然存在。