惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Engineering at Meta
Engineering at Meta
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
人人都是产品经理
人人都是产品经理
Project Zero
Project Zero
T
Tailwind CSS Blog
Jina AI
Jina AI
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
小众软件
小众软件
L
LINUX DO - 热门话题
Spread Privacy
Spread Privacy
大猫的无限游戏
大猫的无限游戏
Google DeepMind News
Google DeepMind News
The Hacker News
The Hacker News
C
Cisco Blogs
T
The Exploit Database - CXSecurity.com
C
CXSECURITY Database RSS Feed - CXSecurity.com
Scott Helme
Scott Helme
Security Archives - TechRepublic
Security Archives - TechRepublic
H
Heimdal Security Blog
博客园 - 【当耐特】
W
WeLiveSecurity
J
Java Code Geeks
Latest news
Latest news
酷 壳 – CoolShell
酷 壳 – CoolShell
T
Troy Hunt's Blog
博客园 - Franky
月光博客
月光博客
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
PCI Perspectives
PCI Perspectives
博客园_首页
C
CERT Recently Published Vulnerability Notes
P
Proofpoint News Feed
P
Palo Alto Networks Blog
I
InfoQ
Security Latest
Security Latest
Hacker News: Ask HN
Hacker News: Ask HN
Microsoft Azure Blog
Microsoft Azure Blog
M
MIT News - Artificial intelligence
Help Net Security
Help Net Security
F
Full Disclosure
Cyberwarzone
Cyberwarzone
D
DataBreaches.Net
The Cloudflare Blog
S
Securelist
美团技术团队
C
Cybersecurity and Infrastructure Security Agency CISA
AI
AI
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events

第七星尘的独立博客

保护每一次 AI 调用的隐私安全 — 面向企业和个人的大模型安全接入网关 第七星尘的独立博客 | 一个简单易上手的图标设计工具,代码已开源 第七星尘的独立博客 | 免费开源,高颜值的监控工具 第七星尘的独立博客 | 高颜值的高效开发工具集,免费开源了! 第七星尘的独立博客 | 如何在企业内网部署 DeepSeek:离线安装教程 第七星尘的独立博客 | MySQL数据库的自动复制脚本 第七星尘的独立博客 | 自建docker hub加速镜像 第七星尘的独立博客 | AI智能箱,一个利用AI来提升效率的在线工具箱 第七星尘的独立博客 | linux利用cron定时服务来实现开机启动某些应用 第七星尘的独立博客 | 前端框架ElementUI使用sass离线生成自定义主题
第七星尘的独立博客 | 高并发/高io下,设置linux下文件打开数限制
2022-09-27 · via 第七星尘的独立博客

背景

我的 https://www.dfyun.com.cn/ 服务是高并发的密集io型服务,连接数和打开文件数特别高。而在linux中,一切皆文件,所以连接数本身也会表现为文件打开数。默认情况下,linux单进程打开文件数的限制是1024 , 非常低,在密集io型服务里很容易超过。

一般的情况下,我们是根据服务器内存大小,以及单进程使用情况,来多开进程,同时限制单进程打开的文件数。但 dfyun 比较特殊——它是文件打开数特别多(连接数+本地文件打开数+遍历扫描文件操作等等) ,但占用的内存特别小。所以,我不需要根据内存来斟酌打开数值了,直接设置一个非常大的数据即可,让系统不再在文件数上做限制。
下面将直接上代码,放开linux设置,让其不再限制文件打开数。一些代码的细节可以看注释,如果有疑问,可直接上网查找该命令的概念。

操作

# vi /etc/sysctl.conf ,末尾添加
fs.file-max = 655350000
fs.nr_open = 655350000

# 执行命令生效
sysctl -p
# 查看 max-file:
cat /proc/sys/fs/file-max
# 查看当前系统总打开文件数
cat /proc/sys/fs/file-nr
# 输出: 9344 0 592026,
# 分别为:1.已经分配的文件句柄数,2.已经分配但没有使用的文件句柄数,3.最大文件句柄数。
# 修改系统对单个进程打开的文件数限制
ulimit -n 655350000
echo "* soft nofile 655350000" >> /etc/security/limits.conf
echo "* hard nofile 655350000" >> /etc/security/limits.conf
# 顺便附上查看各个进程打开的文件数的命令。显示格式是文件数 + 进程id
lsof -n |awk '{print $2}'|sort|uniq -c|sort -nr|more

# 如果有安装nginx做转发,则还需要设置nginx 
#打开nginx本身的文件数限制
vi /etc/nginx/nginx.conf
# 找到相应位置覆盖修改这个配置
worker_rlimit_nofile 655350000;
events  {
  worker_connections 65535;
}

vi /etc/sysctl.conf 末尾添加tcp连接数相关配置
net.core.somaxconn = 20480
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 4096 16777216
net.ipv4.tcp_wmem = 4096 4096 16777216
net.ipv4.tcp_mem = 786432 2097152 3145728
net.ipv4.tcp_max_syn_backlog = 16384
net.core.netdev_max_backlog = 20000
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_orphans = 131072
net.ipv4.tcp_syncookies = 0
之后执行 sysctl -p 生效