惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Recent Commits to openclaw:main
Recent Commits to openclaw:main
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
S
Schneier on Security
T
The Exploit Database - CXSecurity.com
K
Kaspersky official blog
Cisco Talos Blog
Cisco Talos Blog
P
Privacy International News Feed
T
Tenable Blog
T
Threat Research - Cisco Blogs
Spread Privacy
Spread Privacy
V
Vulnerabilities – Threatpost
L
LINUX DO - 热门话题
T
The Blog of Author Tim Ferriss
WordPress大学
WordPress大学
P
Proofpoint News Feed
宝玉的分享
宝玉的分享
月光博客
月光博客
美团技术团队
N
Netflix TechBlog - Medium
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
NISL@THU
NISL@THU
G
Google Developers Blog
P
Privacy & Cybersecurity Law Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
I
Intezer
C
Cyber Attacks, Cyber Crime and Cyber Security
C
Cybersecurity and Infrastructure Security Agency CISA
MyScale Blog
MyScale Blog
C
CERT Recently Published Vulnerability Notes
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
L
Lohrmann on Cybersecurity
Recent Announcements
Recent Announcements
Project Zero
Project Zero
Latest news
Latest news
博客园_首页
C
Cisco Blogs
The Register - Security
The Register - Security
阮一峰的网络日志
阮一峰的网络日志
Simon Willison's Weblog
Simon Willison's Weblog
H
Help Net Security
D
Darknet – Hacking Tools, Hacker News & Cyber Security
AWS News Blog
AWS News Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
D
Docker
Vercel News
Vercel News
Know Your Adversary
Know Your Adversary
罗磊的独立博客
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
云风的 BLOG
云风的 BLOG

博客园 - 草屋主人

高性能队列Fqueue的设计和使用实践 软件系统开发中的数据交换协议 MySQL与NoSQL——SQL与NoSQL的融合 NoSQL架构实践(三)——以NoSQL为缓存 NoSQL架构实践(二)——以NoSQL为主 NoSQL架构实践(一)——以NoSQL为辅 移动互联网系统架构的特点 关系数据库还是NoSQL数据库 NoSQL开篇——为什么要使用NoSQL 利用FUSE把memcached当磁盘使用 使用node.js快速开发透明代理 velocity大会主题演讲内容“移动互联网内容平台的架构和性能优化” InfoQ百度技术沙龙"APP Engine技术应用"主题的总结记录 用于php二进制操作和socket二进制通讯的phpbuffer v0.1开源发布 iDataForum2010数据库技术论坛总结 O'Reilly Velocity性能和运维大会以及我的演讲主题 基于视觉的系统性能优化 【译】适合dba和开发者的mysql最佳实践 如何用队列提升系统性能
基于memcached协议构建自定义协议
草屋主人 · 2010-09-19 · via 博客园 - 草屋主人

[文章作者:孙立 链接:http://www.cnblogs.com/sunli/ 更新时间:2010-09-19]    

为什么要使用memcached协议构建自定义协议

memcached广泛使用,几乎各种语言都有成熟的客户端client.所以可以利用现有的客户端。

memcached是基于文本的协议(现在新版支持二进制),它非常简单并且容易实现。

memcached的客户端基本上都支持多机故障转移功能,通过hash可实现简单的负载均衡功能。

方便监控,memcached协议的stats命令可以监控很多状态,目前的cacti等开源监控工具已经很多memcached的监控脚本。

谁在使用memcached协议构建自定义协议

新浪开源的memcacheq队列服务,twitter开放的Starling队列服务的协议构建在memcached协议之上,还有知名的ttserver,memcachedb等兼容的memcached协议。

memcached协议的特点

memcached协议命令包含 

读get, gets, stats, version

写append, prepend, delete, decr, incr, replace, add, set, cas, flush_all(清空)

操作:quit

其中,存储的数据和获取的数据均支持flag和expire参数,我们可以利用这些参数和命令的特点来构建自己的协议。

如何基于memcached协议构建自定义协议

key-value存储(nosql)

在memcached协议后端,只需要增加一个持久化存储,就变成了一个key-value存储(nosql数据库),比如memcachedb,ttserver等。我开发的netbdb(公司内部使用,目前未开源,用于替换ttserver的不稳定性)也是如此。

队列存储

只要在memcached协议的add和set操作执行入队操作即可,对key可以忽略,也可以实现一些其他功能,比如实现多队列的话,可以用来做队列名。

密码安全验证

基于memcached协议的产品目前市面上都没有用户名密码验证功能,我最近开发的icqueue队列服务,在此基础上增加了密码验证功能,用以提高数据的安全性。密码的验证可以用过key的格式来实现。比如队列存储,key可以定义为queuename_password_otherwords,只要验证由"_"隔开的第一个和第二个字符串即可。

由于增加了密码验证,flush_all没有参数,可以利用get flush|queuename|password|otherwords变通方式模式实现。

服务接口

        可用替代基于http的webservice,rest协议,优点:

        1.由于基于memcached协议的客户端都支持长连接和连接池功能,将会在性能上得到极大的提高。(icqueue长连接能达到20万qps,而基于http的nginx只能到几万qps)。

2.支持故障转移

3.原生的大量客户端支持

所以我们可以用memcached协议来实现应用和数据库的隔离,通过memcached协议来实现一个中间层,实现自动的高可用,故障转移,以及实现分库分表的透明性。

命令扩展

如果发现现有的命令不能满足,可通过memcached支持stats command的协议实现。所以也可以使用stats命令来实现一些其他功能。比如数据遍历功能,扩展的操作命令等。

总结

memcached的二进制协议支持更长的key,所以如果使用二进制协议,可以更加方便做更多的事情。目前有些客户端还不支持二进制协议,所以我们先用文本协议。