惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

T
Threatpost
W
WeLiveSecurity
V
Vulnerabilities – Threatpost
P
Privacy & Cybersecurity Law Blog
Cisco Talos Blog
Cisco Talos Blog
Blog — PlanetScale
Blog — PlanetScale
博客园 - 叶小钗
爱范儿
爱范儿
C
CERT Recently Published Vulnerability Notes
Hugging Face - Blog
Hugging Face - Blog
P
Proofpoint News Feed
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Know Your Adversary
Know Your Adversary
Latest news
Latest news
T
Tor Project blog
NISL@THU
NISL@THU
The Hacker News
The Hacker News
IT之家
IT之家
Last Week in AI
Last Week in AI
T
Tenable Blog
C
Cybersecurity and Infrastructure Security Agency CISA
阮一峰的网络日志
阮一峰的网络日志
小众软件
小众软件
D
Darknet – Hacking Tools, Hacker News & Cyber Security
V
Visual Studio Blog
Apple Machine Learning Research
Apple Machine Learning Research
T
Threat Research - Cisco Blogs
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
C
CXSECURITY Database RSS Feed - CXSecurity.com
博客园 - 聂微东
T
The Exploit Database - CXSecurity.com
博客园 - 三生石上(FineUI控件)
Spread Privacy
Spread Privacy
S
Secure Thoughts
博客园 - 司徒正美
A
About on SuperTechFans
Attack and Defense Labs
Attack and Defense Labs
Microsoft Security Blog
Microsoft Security Blog
N
News and Events Feed by Topic
O
OpenAI News
V
V2EX
aimingoo的专栏
aimingoo的专栏
L
LangChain Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
S
Security Affairs
MyScale Blog
MyScale Blog
S
Schneier on Security
宝玉的分享
宝玉的分享
Hacker News - Newest:
Hacker News - Newest: "LLM"
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO

Mohuishou

如何实现支持多集群的 Kubernetes Operator? 第三方应用如何调用我们 kubebuilder 生成的自定义资源? Kubernetes 简明教程 k8s job 为何迟迟不能结束? Go 工程化(十一) 如何优雅的写出 repo 层代码 Go 工程化(十) 如何在整洁架构中使用事务? 给博客添加章节目录 使用 Notion Database 管理静态博客文章 一个普通 Go 开发的三年 4. localhost 就一定是 localhost 么? Go可用性(七) 总结: 一张图串联可用性知识点 Go可用性(六) 熔断 10. 总结 9. kubebuilder 进阶: 源码分析 8. kubebuilder 进阶: webhook 7. kubebuilder 进阶: 测试 6. kubebuilder 实战: status & event 5. kubebuilder 实战: CRUD 4. kustomize 简明教程 3. KubeBuilder 简明教程 2. Kind: 如何快速搭建本地 K8s 开发环境? 1. Operator概述: 如何对 Kubernetes 进行扩展 Go可用性(五) 自适应限流 Go可用性(四) 漏桶算法 Go可用性(三) 令牌桶的实现 rate/limt Go可用性(二) 令牌桶原理及使用 Go可用性(一) 隔离设计 Go并发编程(十二) Singleflight Go工程化(九) 项目重构实践 Go工程化(八) 单元测试 Go工程化(七) Go Module Go工程化(六) 配置管理 Go工程化(五) API 设计下: 基于 protobuf 自动生成 gin 代码 Go工程化(四) API 设计上: 项目结构 & 设计 Go工程化(三) 依赖注入框架 wire Go工程化(二) 项目目录结构 Go工程化(一) 架构整洁之道阅读笔记 Go并发编程(十一) 总结 Go并发编程(十) 深入理解 Channel Go并发编程(九) 深入理解 Context Go并发编程(八) 深入理解 sync.Once Go并发编程(七) 深入理解 errgroup Go并发编程(六) 深入理解 WaitGroup Go并发编程(五) 深入理解 sync/atomic Go并发编程(四) 深入理解 Mutex Go并发编程(三) data race Go并发编程(二) Go 内存模型 Go并发编程(一) goroutine Go错误处理最佳实践 微服务(二) 服务发现&多租户 微服务(一) 微服务概览 5. 栈下: 深入理解 defer 4. 栈上: 如何实现一个计算器 Go Struct 初始化风格的抉择 3. 数组下: 使用 GDB 调试 Golang 代码 2. 数组上: 深入理解 slice 1. 链表: 深入理解container/list&LRU缓存的实现 Go设计模式24-总结(更新完毕) Go设计模式23-中介模式 Go设计模式22-解释器模式 Go设计模式21-命令模式 Go设计模式20-备忘录模式 Go设计模式19-访问者模式 Go设计模式18-迭代器模式 Go设计模式17-状态模式 Go设计模式16-职责链模式(Gin的中间件实现) Go设计模式15-策略模式 Go模板模式14-模板模式 Go设计模式13-观察者模式(实现简单的EventBus) Go设计模式12-享元模式 Go设计模式11-组合模式 Go设计模式10-门面模式 Go设计模式09-适配器模式 Go设计模式08-装饰器模式 Go设计模式07-桥接模式 Go设计模式06-代理模式(generate实现类似动态代理) Go设计模式05-创建型模式总结 Go设计模式04-原型模式 Go设计模式03-建造者模式 Go设计模式02-工厂模式&DI容器 笔记-让你最快速地改善代码质量的20条编程规范 Go设计模式01-单例模式 一点拙见-如何写好一个技术预研报告? Go Web小技巧(四)在单个仓库中支持多个 go mod 模块 Go Web 小技巧(三)Gin 参数绑定 Go Web 小技巧(二)GORM 使用自定义类型 Go Web 小技巧(一)简化Gin接口代码 善用工具之postman高级用法概述 go generate and ast hexo-next-algolia-search全文搜索 GORM避坑指南之含关联关系的更新 Github Actions介绍&自动构建Github Pages博客 在blog中内嵌在线PPT 记一次net http内存泄漏 使用TravisCI自动部署Blog 使用Goland调试Go程序 一个十分边缘的gorm的bug Httprouter介绍及源码阅读 Gin源码阅读 从0.1开始
docker镜像瘦身&优化
mohuishou <1@lailin.xyz> · 2019-03-30 · via Mohuishou

注:本文已发布超过一年,请注意您所使用工具的相关版本是否适用

为什么在存储如此便宜的今天我们仍然需要对 Docker 镜像进行瘦身?

PS: 本文篇幅较长,请酌情观看

小镜像的优点

  1. 加速构建/部署

    虽然存储资源较为廉价,但是网络 IO 是有限的,在带宽有限的情况下,部署一个 1G 的镜像和 10M 的镜像带来的时间差距可能就是分钟级和秒级的差距。特别是在出现故障,服务被调度到其他节点时,这个时间尤为宝贵。

  2. 提高安全性,减少攻击面积

    越小的镜像表示无用的程序越少,可以大大的减少被攻击的目标

  3. 减少存储开销

小镜像的制作原则

  1. 选用最小的基础镜像

  2. 减少层,去除非必要的文件

    在实际制作镜像的过程中,一味的合并层不可取,需要学会充分的利用 Docker 的缓存机制,提取公共层,加速构建。

    • 依赖文件和实际的代码文件单独分层
    • 团队/公司采用公共的基础镜像等
  3. 使用多阶段构建

    往往我们在构建阶段和实际运行阶段需要的依赖环境是不同的,例如golang编写的程序实际运行的时候仅仅需要一个二进制文件即可,对于Node来说,可能最后运行的只是一些打包之后的js文件而不需要包含node_modules里成千上万的依赖

基础镜像

  • distroless

    “Distroless” images contain only your application and its runtime dependencies. They do not contain package managers, shells or any other programs you would expect to find in a standard Linux distribution.

    distroless是 Google 推出的一个仅仅包含运行时环境,不包含包管理器,shell等其他程序。如果你的程序没有其他依赖的话,这是一个不错的选择

  • alpine

    Alpine Linux is a security-oriented, lightweight Linux distribution based on musl libc and busybox.

    alpine 是一个基于musl, busybox的安全的linux发行版。麻雀虽小五脏俱全,虽然不到 10M, 但是包含了一个包管理器和shell环境,这在我们实际的使用调试当中将非常有用。

    但是请注意,由于alpine使用了更小的muslc替代glibc,会导致某些应用无法使用,需要重新编译

  • scratch

    scratch 是空白镜像,一般用于基础镜像构建,例如alpine镜像的dockerfile便是从scratch开始的

    1
    2
    3
    FROM scratch
    ADD alpine-minirootfs-20190228-x86_64.tar.gz /
    CMD ["/bin/sh"]
  • busybox

一般而言,distroless相对会更加的安全,但是在实际使用的过程中可能会遇到添加依赖以及调试方面的问题,alpine更小,自带包管理器,更加贴合使用习惯,但是muslc可能会带来兼容性的问题,一般而言我会选择alpine作为基础镜像使用。

除此之外,在Docker Hub当中我们可以发现常用的Debian的镜像也会提供的只包含基础功能的小镜像

基础镜像对比

此处直接拉取基础镜像,查看镜像大小, 通过观察我们可以发现,alpine只有 5M 左右为debian的 20 分之一

1
2
3
4
5
alpine      latest    5cb3aa00f899        3 weeks ago         5.53MB
debian latest 0af60a5c6dd0 3 weeks ago 101MB
ubuntu 18.04 47b19964fb50 7 weeks ago 88.1MB
ubuntu latest 47b19964fb50 7 weeks ago 88.1MB
alpine 3.8 3f53bb00af94 3 months ago 4.41MB

似乎从上面看,感觉差距不大,实践中,不同语言的基础镜像都会提供一些采用不同基础镜像制作的 tag,下面我们以ruby的镜像为例,查看不同基础镜像的差异。可以看到默认的 latest 镜像881MBalpine仅仅只有不到50MB这个差距就十分的可观了

1
2
3
ruby   latest   a5d26127d8d0        4 weeks ago         881MB
ruby alpine 8d8f7d19d1fa 4 weeks ago 47.8MB
ruby slim 58dd4d3c99da 4 weeks ago 125MB

减少层,去除非必要的文件

  1. 删除文件不要跨行
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# dockerfile 1
FROM alpine

RUN wget https://github.com/mohuishou/scuplus-wechat/archive/1.0.0.zip

# dockerfile 2
FROM alpine

RUN wget https://github.com/mohuishou/scuplus-wechat/archive/1.0.0.zip
RUN rm 1.0.0.zip

# dockerfile 3
FROM alpine

RUN wget https://github.com/mohuishou/scuplus-wechat/archive/1.0.0.zip && rm 1.0.0.zip

1
2
3
test   3  351a80e99c22        5 seconds ago        5.53MB
test 2 ad27e625b8e5 49 seconds ago 6.1MB
test 1 165e2e0df1d3 About a minute ago 6.1MB

可以发现 1,2 两个大小一样,但是 3 小了 0.5MB,这是因为 docker 几乎每一行命令都会生成一个层,删除文件的时候:因为底下各层都是只读的,当需要删除这些层中的文件时,AUFS 使用 whiteout 机制,它的实现是通过在上层的可写的目录下建立对应的 whiteout 隐藏文件来实现的,所以在当前层去删除上一层的文件,只是会把这个文件隐藏掉罢了

  1. 使用单行命令

除了删除语句需要放在一行以外,由于层的机制,我们安装依赖的一些公共的语句最好也使用条RUN命令生成,减少最终的层数

  1. 分离依赖包,以及源代码程序,充分利用层的缓存

    这是一个最佳实践,在实际的开发过程中,我们的依赖包往往是变动不大的,但是我们正在开发的源码的变动是较为频繁,如果我们实际的代码只有10M,但是依赖项有1G, 如果在COPY的时候直接COPY . .会导致每次修改代码都会时这一层的缓存失效,导致浪费复制以及推送到镜像仓库的时间,将 COPY 语句分开,每次 push 就可以只变更我们频繁修改的代码层,而不是连着依赖一起

  2. 使用.dockerignore

    在使用Git时,我们可以通过.gitignore忽略文件,在 docker build 的时候也可以使用.dockerignore在 Docker 上下文中忽略文件,这样不仅可以减少一些非必要文件的导入,也可以提高安全性,避免将一些配置文件打包到镜像中

多阶段构建

多阶段构建其实也是减少层的一种,通过多阶段构建,最终镜像可以仅包含最后生成的可执行文件,和必须的运行时依赖,大大减少镜像体积。

GO语言为例,实际运行的过程中只需要最后编译生成的二进制文件即可,而GO语言本省以及扩展包,代码文件都是不必要的,但是我们在编译的时候这些依赖又是必须的,这时候就可以使用多阶段构建的方式,减少最终生成的镜像体积

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 使用golang镜像作为builder镜像
FROM golang:1.12 as builder

WORKDIR /go/src/github.com/go/helloworld/

COPY app.go .

RUN go build -o app .

# 编译完成之后使用alpine镜像作为最终的基础镜像
FROM alpine:latest as prod

RUN apk --no-cache add ca-certificates

WORKDIR /root/

# 从builder中复制编译好的二进制文件
COPY --from=builder /go/src/github.com/go/helloworld/app .

CMD ["./app"]

由于本文篇幅较长,这里不对多阶段构建展开讲解,详情可以参考多阶段构建

奇淫技巧

  1. 使用dive查看 docker 镜像的层,可以帮助你分析减少镜像体积

  2. 使用docker-slim 可以自动帮助你减少镜像体积,对于 Web 应用较为有用

  3. 安装软件时去除依赖

1
2
3
4
5
6
7
8
# ubuntu
apt-get install -y — no-install-recommends

#alpine
apk add --no-cache && apk del build-dependencies

# centos
yum install -y ... && yum clean all

  1. 使用--flatten参数,减少层(不推荐)

  2. 使用docker-squash压缩层

不同语言的示例

添加中……

Ruby(Rails)

  1. 只安装生产所需的依赖

  2. 删除不需要的依赖文件

1
2
3
4
5
bundle install --without development:test:assets -j4 --retry 3 --path=vendor/bundle \
# Remove unneeded files (cached *.gem, *.o, *.c)
&& rm -rf vendor/bundle/ruby/2.5.0/cache/*.gem \
&& find vendor/bundle/ruby/2.5.0/gems/ -name "*.c" -delete \
&& find vendor/bundle/ruby/2.5.0/gems/ -name "*.o" -delete
  1. 删除前端的node_modules以及缓存文件
1
rm -rf node_modules tmp/cache app/assets vendor/assets spec

上述内容可以结合多阶段构建实现

Golang

Golang 在使用多阶段构建之后,只剩下了一个二进制文件,这时候再要优化,就只有使用upx之类的工具压缩二进制文件的体积了

参考资料

  1. Docker 容器镜像瘦身的三个小窍门
  2. 基础镜像 | 再谈 Docker 瘦身
  3. Docker —— 从入门到实践这是一本很不错的 Docker 开源书
  4. Docker 基本原理简析
  5. Ruby on Rails — Smaller docker images

关注我获取更新

猜你喜欢