惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

The Register - Security
The Register - Security
IT之家
IT之家
阮一峰的网络日志
阮一峰的网络日志
博客园 - 叶小钗
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
S
SegmentFault 最新的问题
有赞技术团队
有赞技术团队
博客园 - 【当耐特】
The Cloudflare Blog
T
The Blog of Author Tim Ferriss
Apple Machine Learning Research
Apple Machine Learning Research
C
Check Point Blog
Microsoft Azure Blog
Microsoft Azure Blog
V
V2EX
量子位
F
Fortinet All Blogs
Martin Fowler
Martin Fowler
大猫的无限游戏
大猫的无限游戏
Last Week in AI
Last Week in AI
博客园 - 聂微东
美团技术团队
Stack Overflow Blog
Stack Overflow Blog
Google DeepMind News
Google DeepMind News
宝玉的分享
宝玉的分享
M
MIT News - Artificial intelligence
U
Unit 42
罗磊的独立博客
MyScale Blog
MyScale Blog
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
V
Visual Studio Blog
Jina AI
Jina AI
Recorded Future
Recorded Future
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
小众软件
小众软件
H
Help Net Security
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
MongoDB | Blog
MongoDB | Blog
N
Netflix TechBlog - Medium
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
B
Blog
J
Java Code Geeks
爱范儿
爱范儿
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
aimingoo的专栏
aimingoo的专栏
B
Blog RSS Feed
月光博客
月光博客
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
P
Privacy International News Feed
Know Your Adversary
Know Your Adversary
雷峰网
雷峰网

陈少文的网站

巨变与机遇的未来十年 Kubernetes 平台管理软件压力测试方案 使用镜像部署 Hexo 静态页面 终于等到你 - GitHub 镜像仓库服务(ghcr.io) 一起来学 Go --(6)Interface 一起来学 Go --(5)Goroutine 和 Channel 什么是函数式编程 如何在 Kubernetes 集群集成 Kata 柯里化与偏函数 使用 PyGithub 自动创建 Label 软件产品是团队能力的输出 Helm 2 、Helm 3 比较 IoT 变现 Kubernetes 中的 DNS 服务 国内的 Helm 镜像源 Harbor 使用自签证书支持 Https 访问 DevOps 工具链之 Prow 如何使用 kfctl 安装 Kubeflow VS Code 无法下载 Go 插件的工具包 工程师更应具有服务精神 你不知道的 Docker 使用技巧 使用 Docker 运行 Tensorflow 论中国 什么是左移 如何清空 Git 仓库全部历史记录 一禅小和尚 有风吹过厨房 时间的玫瑰 如何在 CentOS 安装 GPU 驱动 开发 Tips(19) 使用 Velero 备份 Kubernetes 集群 Kubernetes Cheat Sheet 开发 Tips(18) 如何构建一个 Java 工程 开发 Tips(17) KubeSpray 安装 Kubernetes 报错 ip in ansible_all_ipv4_addresses 基于 Kubernetes 和 Jenkins 搭建自动化测试系统 在 Kubernetes 上动态创建 Jenkins Slave 使用 Jenkins 进行服务拨测 开发 Tips(16) Kubernetes 签发 Ingress 证书及日常故障运维 Kubernetes 中 Deployment 的基本操作 Kubernetes 中的证书 如何使用 KubeBuilder 开发一个 Operator Kubernetes 1.6.0 安装问题汇总 镜像管理工具 -- Harbor 开发 Tips(15) Docker 如何拉取镜像 开发 Tips(14) 使用 Helm 安装 harbor 开发 Tips(13) 使用 S2I 构建云原生应用 在 Kubernetes 中使用 emptyDir、hostPath、localVolume 开发 Tips(12) 开发 Tips(11) 代码质量分析工具 SonarQube 使用 Kubeadm 安装 Kubernetes 集群 一起来学 Go --(4)常用函数 Kubernetes 中的 Ceph Kubernetes 之 Volumes Kubernetes 之 Labels、Selectors 开发 Tips(10) 开源正在重构商业模式 Kubernetes 之网络 Kubernetes 之 API 使用 Helm 和 Operator 快速部署 Prometheus Kubernetes 复杂有状态应用管理框架 -- Operator Kubernetes 的包管理器 -- Helm 一起来学 Go --(3)Go Modules 如何一步一步地优化博客方案 kubectl 实用指南 Kubernetes 中的基本概念 搭建远程 Kubernetes 开发环境 大公司和小公司的 ToB 思路 开发 Tips(9) Go 入门指南 一起来学 Go --(2)数据与逻辑结构 如何预防 Web 富文本中的 XSS 攻击 django-xss-cleaner 云工作时代 一起来学 Go --(1)背景与特点 SaaS 开发团队的不同阶段 你不知道的 Git 使用技巧 输出既服务 微服务设计 继续奔跑 开发 Tips(8) 从账户安全到二次验证 Django 性能之数据库查询优化 Django 性能之分库分表 敏捷开发之研发流程 打造一致性的团队 开发 Tips(7) Pytest 进阶学习之 Mock PaaS 部署之 buildpack Go 开发配置 领域输出才是 PaaS 的核心竞争力 Pytest 入门学习 开发 Tips(6) 如何使用 Jenkins、Docker、GitLab 搭建 Django 自动化部署流程
多架构下的 Docker 镜像
微信公众号 · 2020-07-05 · via 陈少文的网站

Please enable Javascript to view the contents

1. 开启 Docker 的 experimental 特性

这里先开启 Docker 的 experimental 特性,方便下文使用相关命令。

编辑文件 vim ~/.docker/config.json,增加如下内容:

1
2
3
4
{
  "experimental": "enabled",
  "debug": true
}

注意,这里不是 /etc/docker/daemon.json 文件,也不需要重启 Docker 。

2. Docker 镜像

从 Docker 1.10 、 Registry 2.3 开始,Docker 引入了 manifest 用于描述镜像的元数据。

2.1 Dockerfile 如何转换成镜像

如上图,Dockerfile 中的每行命令,在构建镜像时都会关联一个 layer 。layer 是对镜像层的简单包装。这些镜像层在存储时,会得到复用,也就是说多个镜像使用到一个镜像层时,仅存储一份。这里面还有一些概念上的细节,可以暂时忽略。

2.2 Docker 与 Registry 如何传输镜像

镜像的元数据信息包括 size 、digest、layers 等信息。

Docker 与 Registry 推拉镜像时,首先会传输 manifest 信息,仅当镜像层在当前环境中不存在时,才会进行网络传输,否则直接复用本地镜像层。

2.3 manifest 的文件结构

直接查看镜像的 manifest

  • 查看 manifest
1
docker manifest inspect jenkins/jnlp-slave

输出示例(JSON):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
{
	"schemaVersion": 2,
	"mediaType": "application/vnd.docker.distribution.manifest.v2+json",
	"config": {
		"mediaType": "application/vnd.docker.container.image.v1+json",
		"size": 12327,
		"digest": "sha256:9b5976169d3504ea796a4af75f8648db9a500e8b9351ee19276031108c59f429"
	},
	"layers": [
		{
			"mediaType": "application/vnd.docker.image.rootfs.diff.tar.gzip",
			"size": 50382041,
			"digest": "sha256:f15005b0235fa8bd31cc6988c4f2758016fe412d696e81aecf73e52be079f19e"
		},
		{
			"mediaType": "application/vnd.docker.image.rootfs.diff.tar.gzip",
			"size": 7812166,
			"digest": "sha256:41ebfd3d2fd0de99b1c63aa36a507bf5555481d06e571d84ed84440d30671494"
		},
		...
  ]
}
  • 查看多架构 manifest

通过 manifest.list 这个 mediaType,可以将多个镜像整合为一个。在不同的 architecture 和 os 条件下,Docker 会自动拉取适配当前环境的镜像。

1
docker manifest inspect maven

输出示例(JSON):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
{
   "schemaVersion": 2,
   "mediaType": "application/vnd.docker.distribution.manifest.list.v2+json",
   "manifests": [
      {
         "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
         "size": 1579,
         "digest": "sha256:3c5d1c8795c96b775723cf912b297850feb1fc8f4b98ec2eda4303f3a6277310",
         "platform": {
            "architecture": "amd64",
            "os": "linux"
         }
      }
   ]
}

3. 常见的几种多架构镜像的组织方式

不同的 OS 和 CPU 能运行的镜像会有差别。OS 层面,主要可以分为 Windows 和 类 Linux 的镜像。CPU 层面,主要有 amd64 、 arm 、ppc64le 、 s390x 等架构的镜像。amd64 也就是 x86-64 ,通常作为默认的架构,不用特意指明 amd64 和 linux 。

3.1 通过 namespace 区分不同架构

格式 namespaces-{ARCH}-{OS}/image:tag

  • amd64
1
shaowenchen-amd64/coredns:latest
1
shaowenchen-arm/coredns:latest

3.2 通过 image name 区分不同架构

格式 namespaces/image-{ARCH}-{OS}:tag

  • amd64
1
shaowenchen/coredns-amd64:latest
  • arm
1
shaowenchen/coredns-arm:latest

3.3 通过 tag name 区分不同架构

格式 namespaces/image:tag-{ARCH}-{OS}

  • amd64
1
shaowenchen/coredns:latest-amd64
  • arm
1
shaowenchen/coredns:latest-arm

4. manifest list 管理多架构镜像

manifest list 是一个镜像清单列表,用来存放不同架构的镜像信息。简单点说,就是新建了一个拉取镜像的入口,关联了不同架构的镜像,没有任何新的镜像层生成。

  • 首先推送镜像
1
2
3
docker push shaowenchen/coredns:coredns-amd64
docker push shaowenchen/coredns:coredns-arm
docker push shaowenchen/coredns:coredns-arm64

否则,下面的步骤会报错 no such manifest: docker.io/shaowenchen/coredns:coredns-amd64

  • 创建多架构的 manifest list
1
2
3
4
5
6
docker manifest create shaowenchen/coredns:latest \
    shaowenchen/coredns:coredns-amd64 \
    shaowenchen/coredns:coredns-arm \
    shaowenchen/coredns:coredns-arm64 --amend

Created manifest list docker.io/shaowenchen/coredns:latest
  • [可选]更新相关架构的信息
1
docker manifest annotate shaowenchen/coredns:latest shaowenchen/coredns:coredns-arm --arch arm
  • 查看 manifest list
1
docker manifest inspect shaowenchen/coredns:latest

输出示例(JSON):

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
{
   "schemaVersion": 2,
   "mediaType": "application/vnd.docker.distribution.manifest.list.v2+json",
   "manifests": [
      {
         "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
         "size": 739,
         "digest": "sha256:242d440e3192ffbcecd40e9536891f4d9be46a650363f3a004497c2070f96f5a",
         "platform": {
            "architecture": "amd64",
            "os": "linux"
         }
      },
      {
         "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
         "size": 739,
         "digest": "sha256:e9e08bce9d74a48723518a476f67ada25d00ed69dd3719c3fde41b10d390b0d0",
         "platform": {
            "architecture": "arm",
            "os": "linux"
         }
      },
      {
         "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
         "size": 739,
         "digest": "sha256:969a21696cff473cb4d36854b15118885fd414394d09444cfd111213fabcd982",
         "platform": {
            "architecture": "amd64",
            "os": "linux"
         }
      }
   ]
}
  • 推送到 DockerHub
1
2
3
docker manifest push shaowenchen/coredns:latest

sha256:bcdaff4935b922edd8f415323e04d3a77374f5ddabe0a59d649fd0b6be4ad5ef
  • 在 DockerHub 页面查看推送的镜像

在各种架构下,都可以使用同一条命令,拉取镜像:

1
docker pull shaowenchen/coredns:latest

这给部署带来了极大的便利,不需要给镜像拼接 architecture 和 os 信息。不同架构下,可以使用同一套部署程序。

5. 参考


微信公众号