惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Y
Y Combinator Blog
P
Palo Alto Networks Blog
阮一峰的网络日志
阮一峰的网络日志
博客园_首页
Last Week in AI
Last Week in AI
Blog — PlanetScale
Blog — PlanetScale
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
J
Java Code Geeks
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
博客园 - Franky
The Cloudflare Blog
I
Intezer
P
Privacy International News Feed
C
Check Point Blog
C
CERT Recently Published Vulnerability Notes
Apple Machine Learning Research
Apple Machine Learning Research
H
Hackread – Cybersecurity News, Data Breaches, AI and More
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
The Hacker News
The Hacker News
B
Blog
Latest news
Latest news
小众软件
小众软件
Engineering at Meta
Engineering at Meta
Cyberwarzone
Cyberwarzone
Project Zero
Project Zero
P
Proofpoint News Feed
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
S
Schneier on Security
美团技术团队
G
GRAHAM CLULEY
博客园 - 司徒正美
T
Threatpost
D
Darknet – Hacking Tools, Hacker News & Cyber Security
博客园 - 叶小钗
C
Cisco Blogs
MongoDB | Blog
MongoDB | Blog
人人都是产品经理
人人都是产品经理
博客园 - 三生石上(FineUI控件)
H
Help Net Security
Simon Willison's Weblog
Simon Willison's Weblog
Cisco Talos Blog
Cisco Talos Blog
K
Kaspersky official blog
NISL@THU
NISL@THU
AWS News Blog
AWS News Blog
T
Threat Research - Cisco Blogs
月光博客
月光博客
Security Latest
Security Latest
Scott Helme
Scott Helme
T
Tenable Blog

博客园 - tooli

没有技术要求,只需5步就能完成数据分析和图表制作,DuckDB可将数据分析门槛铲平。 在超大数据集下 DuckDB 与 MySQL 查询速度对比 ChatGPT有多强?真的能替代程序员?一起来看看! 在windwos创建的脚本文件在linux环境中无法执行的问题 PHP + Redis 实现定时任务触发 测试PHP几种方法写入文件的效率与安全性 简析小黑是如何盗取cookie登录用户账号 一个'&'引起md5签名不一致问题 linux学习:curl与netcat用法整理 swoole+websocket+redis实现一对一聊天 使用COOKIE实现登录 VS 使用SESSION实现登录 巧用PHP中__get()魔术方法 linux学习:用户管理 linux学习:网络(防火墙)及系统安全相关命令学习 MySQL语句技巧 实习那些事儿 shell 环境下MySQL的基本操作指令总结 linux学习:归档,备份及进程相关命令用法整理 Docker简介以及使用docker搭建lnmp的过程(多PHP版本)
用户表分表原理
tooli · 2018-06-09 · via 博客园 - tooli

当用户数量达到百万甚至千万级别的时候,可能无法靠单标满足现有需求。此时常用的处理方式就是分库分表。这里介绍一个简单的分表方法。

对用户进行分表,首先要解决的是将一个用户分配到那个表,然后如何知道去哪个表查询该用户的数据。解决了这个两个问题。无论将该用户的数据放在哪个表都无所谓。

首先来看一个方法:

function getHash($uid) {

    return sprintf('%03x',intval(sprintf('%u', crc32($uid)))%512 );

}

该方法完成了以下步骤:

(1)通过循环冗余校验,每个字符串都会生成一个固定的数字。

(2)用该数字对512取模得到一个0<=X<512的数字

(3)再用16进制格式化,可生成一个固定的3个字符的字符串。

(4)该方法的作用可以通过用户ID生成一个固定的3个字符的字符串。根据该字符串可将该用户分配到对应的表中。

不论用户id是什么,通过循环冗余校验后都能得到一个数字。将该数字取模。然后将余数格式化成字符串。(当然也可以不格式化,直接用数字也可以。)然后用该字符串做前缀或者后缀创建用户表。

例如:

我先以固定字符串为后缀,在user数据库创建了user_000、user_001 … user_1ff共512张用户表。(当然512张表的结构是一模一样的。)

$model = new Model();
$db = 'userdb';
for
($i=0; $i<512; $i++){ $num = sprintf('%03x', $i); $sql="CREATE TABLE IF NOT EXISTS `{$db}`.`user_{$num}` ( `uid` bigint(20) NOT NULL, `name` int(11) NOT NULL, `server` int(11) NOT NULL, `cid` int(11) NOT NULL, `aid` int(11) NOT NULL, `areaId` int(11) NOT NULL, `eventtime` int(11) NOT NULL, `eventdate` date NOT NULL, `eventhour` int(11) NOT NULL, PRIMARY KEY (`uid`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8"; $model->query($sql); }

然后将一个用户ID为test@163.com 通过以上行数进行格式化,得到一个3个字符串:1c8 ,然后将此用户的数据存入user.user_1c8 数据表中,以后需要用到这个用户的数据,只要进该用户id也就是test@163.com 通过以上方法得到1c8 然后从数据表user.user_1c8 中查询该用户的数据即可。