惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

GbyAI
GbyAI
Simon Willison's Weblog
Simon Willison's Weblog
Microsoft Security Blog
Microsoft Security Blog
Y
Y Combinator Blog
The GitHub Blog
The GitHub Blog
Engineering at Meta
Engineering at Meta
F
Fortinet All Blogs
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
A
About on SuperTechFans
Last Week in AI
Last Week in AI
月光博客
月光博客
有赞技术团队
有赞技术团队
P
Proofpoint News Feed
MyScale Blog
MyScale Blog
Martin Fowler
Martin Fowler
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
C
Check Point Blog
U
Unit 42
The Register - Security
The Register - Security
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Hugging Face - Blog
Hugging Face - Blog
阮一峰的网络日志
阮一峰的网络日志
V
Visual Studio Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
D
DataBreaches.Net
WordPress大学
WordPress大学
aimingoo的专栏
aimingoo的专栏
H
Hacker News: Front Page
Recent Announcements
Recent Announcements
C
CXSECURITY Database RSS Feed - CXSecurity.com
Latest news
Latest news
小众软件
小众软件
P
Palo Alto Networks Blog
PCI Perspectives
PCI Perspectives
Security Latest
Security Latest
S
Secure Thoughts
Scott Helme
Scott Helme
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
T
Threat Research - Cisco Blogs
P
Proofpoint News Feed
M
MIT News - Artificial intelligence
Application and Cybersecurity Blog
Application and Cybersecurity Blog
Google DeepMind News
Google DeepMind News
Recorded Future
Recorded Future
O
OpenAI News
S
Securelist
云风的 BLOG
云风的 BLOG
H
Help Net Security
T
Troy Hunt's Blog

陈少文的网站

巨变与机遇的未来十年 Kubernetes 平台管理软件压力测试方案 使用镜像部署 Hexo 静态页面 终于等到你 - GitHub 镜像仓库服务(ghcr.io) 一起来学 Go --(6)Interface 一起来学 Go --(5)Goroutine 和 Channel 什么是函数式编程 如何在 Kubernetes 集群集成 Kata 柯里化与偏函数 使用 PyGithub 自动创建 Label 软件产品是团队能力的输出 Helm 2 、Helm 3 比较 IoT 变现 Kubernetes 中的 DNS 服务 国内的 Helm 镜像源 Harbor 使用自签证书支持 Https 访问 DevOps 工具链之 Prow 如何使用 kfctl 安装 Kubeflow VS Code 无法下载 Go 插件的工具包 工程师更应具有服务精神 你不知道的 Docker 使用技巧 使用 Docker 运行 Tensorflow 论中国 什么是左移 如何清空 Git 仓库全部历史记录 一禅小和尚 有风吹过厨房 时间的玫瑰 如何在 CentOS 安装 GPU 驱动 开发 Tips(19) 使用 Velero 备份 Kubernetes 集群 Kubernetes Cheat Sheet 开发 Tips(18) 如何构建一个 Java 工程 开发 Tips(17) KubeSpray 安装 Kubernetes 报错 ip in ansible_all_ipv4_addresses 基于 Kubernetes 和 Jenkins 搭建自动化测试系统 在 Kubernetes 上动态创建 Jenkins Slave 使用 Jenkins 进行服务拨测 开发 Tips(16) Kubernetes 签发 Ingress 证书及日常故障运维 Kubernetes 中 Deployment 的基本操作 Kubernetes 中的证书 如何使用 KubeBuilder 开发一个 Operator Kubernetes 1.6.0 安装问题汇总 镜像管理工具 -- Harbor 开发 Tips(15) Docker 如何拉取镜像 开发 Tips(14) 使用 Helm 安装 harbor 开发 Tips(13) 使用 S2I 构建云原生应用 在 Kubernetes 中使用 emptyDir、hostPath、localVolume 开发 Tips(12) 开发 Tips(11) 代码质量分析工具 SonarQube 使用 Kubeadm 安装 Kubernetes 集群 一起来学 Go --(4)常用函数 Kubernetes 中的 Ceph Kubernetes 之 Volumes Kubernetes 之 Labels、Selectors 开发 Tips(10) 开源正在重构商业模式 Kubernetes 之网络 Kubernetes 之 API 使用 Helm 和 Operator 快速部署 Prometheus Kubernetes 复杂有状态应用管理框架 -- Operator Kubernetes 的包管理器 -- Helm 一起来学 Go --(3)Go Modules 如何一步一步地优化博客方案 kubectl 实用指南 Kubernetes 中的基本概念 搭建远程 Kubernetes 开发环境 大公司和小公司的 ToB 思路 开发 Tips(9) Go 入门指南 一起来学 Go --(2)数据与逻辑结构 如何预防 Web 富文本中的 XSS 攻击 django-xss-cleaner 云工作时代 一起来学 Go --(1)背景与特点 SaaS 开发团队的不同阶段 你不知道的 Git 使用技巧 输出既服务 微服务设计 继续奔跑 开发 Tips(8) 从账户安全到二次验证 Django 性能之数据库查询优化 Django 性能之分库分表 敏捷开发之研发流程 打造一致性的团队 开发 Tips(7) Pytest 进阶学习之 Mock PaaS 部署之 buildpack Go 开发配置 领域输出才是 PaaS 的核心竞争力 Pytest 入门学习 开发 Tips(6) 如何使用 Jenkins、Docker、GitLab 搭建 Django 自动化部署流程
容器下的 Go 应用程序优化
微信公众号 · 2023-11-11 · via 陈少文的网站

Please enable Javascript to view the contents

1. 内存对齐

结构体内字段,从大到小排列

减少内存占用

  • 安装 fieldalignment 工具
1
go install golang.org/x/tools/go/analysis/passes/fieldalignment/cmd/fieldalignment@latest
  • 分析并修复内存对齐
1
2
3
4
5
6
7
8
9
fieldalignment -fix  ./...

/Users/shaowenchen/Code/app/config/config.go:136:14: struct with 32 pointer bytes could be 24
/Users/shaowenchen/Code/app/config/config.go:150:11: struct of size 96 could be 88
/Users/shaowenchen/Code/app/config/config.go:166:14: struct of size 152 could be 144
/Users/shaowenchen/Code/app/config/config.go:194:12: struct with 80 pointer bytes could be 72
/Users/shaowenchen/Code/app/config/config.go:209:12: struct with 56 pointer bytes could be 40
/Users/shaowenchen/Code/app/dao/gormx/gorm.go:12:13: struct with 16 pointer bytes could be 8
/Users/shaowenchen/Code/app/dao/gormx/entity/cluster.go:5:14: struct with 128 pointer bytes could be 104
  • 查看 fieldalignment 进行的优化

优化之前,struct of size 96

1
2
3
4
5
6
7
8
type CORS struct {
	Enable           bool
	AllowOrigins     []string
	AllowMethods     []string
	AllowHeaders     []string
	AllowCredentials bool
	MaxAge           int
}

优化之后,struct of size 88

1
2
3
4
5
6
7
8
type CORS struct {
	AllowOrigins     []string
	AllowMethods     []string
	AllowHeaders     []string
	MaxAge           int
	Enable           bool
	AllowCredentials bool
}

fieldalignment 会自动结构体中的字段进行排序,从大到小排列。

原因是 Go 编译器在编译阶段,出于对 CPU 访问效率的考虑,保证尽量一次原子读取就可以读取一个完整字段,采用了一定的内存对齐策略。但这一策略会导致内存中的结构体存在空洞,导致内存占用率增加。

2. 设置合理的 GOMAXPROCS

写一个程序,获取当前 CPU 核心数,查看当前 GOMAXPROCS 的值

1
2
3
4
5
6
func main() {
	cpu := runtime.NumCPU()
	fmt.Println("Current CPU COUNT =", cpu)
	maxProcs := runtime.GOMAXPROCS(-1)
	fmt.Println("Current GOMAXPROCS =", maxProcs)
}

Pod Request CPU 为 10,Limit CPU 为 20。

1
2
Current CPU COUNT = 32
Current GOMAXPROCS = 32

GOMAXPROCS 的值为物理机的 CPU 核心数,而不是容器的 CPU 核心数。过大的 GOMAXPROCS 会导致严重的上下文切换,浪费 CPU,在容器环境下,Go 程序不能最优设置 GOMAXPROCS,需要根据容器的 CPU 核心数来设置。

  • 第一种方式是,设置环境变量 GOMAXPROCS 可以指定最大的 P 的数量
1
2
Current CPU COUNT = 32
Current GOMAXPROCS = 8

程序会自动从环境变量中读取 GOMAXPROCS 的值进行设置。

  • 第二种方式是,使用 automaxprocs 包自动设置 GOMAXPROCS。
1
2
3
4
import _ "go.uber.org/automaxprocs"
func main() {
  // ...
}

引入包之后,会自动执行 init 方法,获取 Pod 的 CPU Limit 值,设置 GOMAXPROCS。

1
2
3
4
 ./default
maxprocs: Updating GOMAXPROCS=20: determined from CPU quota
Current CPU COUNT = 32
Current GOMAXPROCS = 20

如果同时使用两种,环境变量的优先级高于 automaxprocs 包。

1
2
3
maxprocs: Honoring GOMAXPROCS="8" as set in environment
Current CPU COUNT = 32
Current GOMAXPROCS = 8

微信公众号