惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
WordPress大学
WordPress大学
N
Netflix TechBlog - Medium
宝玉的分享
宝玉的分享
V
Visual Studio Blog
S
Securelist
P
Palo Alto Networks Blog
A
Arctic Wolf
T
Tor Project blog
P
Proofpoint News Feed
I
InfoQ
博客园 - 三生石上(FineUI控件)
T
Threat Research - Cisco Blogs
G
GRAHAM CLULEY
M
MIT News - Artificial intelligence
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Microsoft Security Blog
Microsoft Security Blog
MongoDB | Blog
MongoDB | Blog
C
CXSECURITY Database RSS Feed - CXSecurity.com
Apple Machine Learning Research
Apple Machine Learning Research
S
Secure Thoughts
Cyberwarzone
Cyberwarzone
Blog — PlanetScale
Blog — PlanetScale
Simon Willison's Weblog
Simon Willison's Weblog
博客园 - 【当耐特】
大猫的无限游戏
大猫的无限游戏
腾讯CDC
Latest news
Latest news
Project Zero
Project Zero
V
Vulnerabilities – Threatpost
Y
Y Combinator Blog
S
SegmentFault 最新的问题
Schneier on Security
Schneier on Security
C
CERT Recently Published Vulnerability Notes
W
WeLiveSecurity
罗磊的独立博客
Stack Overflow Blog
Stack Overflow Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
L
LINUX DO - 热门话题
N
News and Events Feed by Topic
PCI Perspectives
PCI Perspectives
C
Cisco Blogs
Application and Cybersecurity Blog
Application and Cybersecurity Blog
爱范儿
爱范儿
T
The Exploit Database - CXSecurity.com
The Last Watchdog
The Last Watchdog
人人都是产品经理
人人都是产品经理
GbyAI
GbyAI
Know Your Adversary
Know Your Adversary
U
Unit 42

陈少文的网站

巨变与机遇的未来十年 Kubernetes 平台管理软件压力测试方案 使用镜像部署 Hexo 静态页面 终于等到你 - GitHub 镜像仓库服务(ghcr.io) 一起来学 Go --(6)Interface 一起来学 Go --(5)Goroutine 和 Channel 什么是函数式编程 如何在 Kubernetes 集群集成 Kata 柯里化与偏函数 使用 PyGithub 自动创建 Label 软件产品是团队能力的输出 Helm 2 、Helm 3 比较 IoT 变现 Kubernetes 中的 DNS 服务 国内的 Helm 镜像源 Harbor 使用自签证书支持 Https 访问 DevOps 工具链之 Prow 如何使用 kfctl 安装 Kubeflow VS Code 无法下载 Go 插件的工具包 工程师更应具有服务精神 你不知道的 Docker 使用技巧 使用 Docker 运行 Tensorflow 论中国 什么是左移 如何清空 Git 仓库全部历史记录 一禅小和尚 有风吹过厨房 时间的玫瑰 如何在 CentOS 安装 GPU 驱动 开发 Tips(19) 使用 Velero 备份 Kubernetes 集群 Kubernetes Cheat Sheet 开发 Tips(18) 如何构建一个 Java 工程 开发 Tips(17) KubeSpray 安装 Kubernetes 报错 ip in ansible_all_ipv4_addresses 基于 Kubernetes 和 Jenkins 搭建自动化测试系统 在 Kubernetes 上动态创建 Jenkins Slave 使用 Jenkins 进行服务拨测 开发 Tips(16) Kubernetes 签发 Ingress 证书及日常故障运维 Kubernetes 中 Deployment 的基本操作 Kubernetes 中的证书 如何使用 KubeBuilder 开发一个 Operator Kubernetes 1.6.0 安装问题汇总 镜像管理工具 -- Harbor 开发 Tips(15) Docker 如何拉取镜像 开发 Tips(14) 使用 Helm 安装 harbor 开发 Tips(13) 使用 S2I 构建云原生应用 在 Kubernetes 中使用 emptyDir、hostPath、localVolume 开发 Tips(12) 开发 Tips(11) 代码质量分析工具 SonarQube 使用 Kubeadm 安装 Kubernetes 集群 一起来学 Go --(4)常用函数 Kubernetes 中的 Ceph Kubernetes 之 Volumes Kubernetes 之 Labels、Selectors 开发 Tips(10) 开源正在重构商业模式 Kubernetes 之网络 Kubernetes 之 API 使用 Helm 和 Operator 快速部署 Prometheus Kubernetes 复杂有状态应用管理框架 -- Operator Kubernetes 的包管理器 -- Helm 一起来学 Go --(3)Go Modules 如何一步一步地优化博客方案 kubectl 实用指南 Kubernetes 中的基本概念 搭建远程 Kubernetes 开发环境 大公司和小公司的 ToB 思路 开发 Tips(9) Go 入门指南 一起来学 Go --(2)数据与逻辑结构 如何预防 Web 富文本中的 XSS 攻击 django-xss-cleaner 云工作时代 一起来学 Go --(1)背景与特点 SaaS 开发团队的不同阶段 你不知道的 Git 使用技巧 输出既服务 微服务设计 继续奔跑 开发 Tips(8) 从账户安全到二次验证 Django 性能之数据库查询优化 Django 性能之分库分表 敏捷开发之研发流程 打造一致性的团队 开发 Tips(7) Pytest 进阶学习之 Mock PaaS 部署之 buildpack Go 开发配置 领域输出才是 PaaS 的核心竞争力 Pytest 入门学习 开发 Tips(6) 如何使用 Jenkins、Docker、GitLab 搭建 Django 自动化部署流程
如何在 Docker 中使用 Docker
微信公众号 · 2020-11-21 · via 陈少文的网站

1. 典型适用场景

在 CI 中,通常会有一个 CI Engine 负责解析流程,控制整个构建过程,而将真正的构建交给 Agent 去完成。例如,Jenkins 、GitLab 均是如此。

如下图, 连接 CI Engine 的 Agent, 种类很多。这是为了满足不同项目对构建环境的要求。

同时 Agent 是动态的,构建时才需要,构建完成时即销毁。CI 非常适合实践容器、Serverless 等技术,因此在生产过程中 Agent 经常是容器化的。

那么问题就来了?如果 CI Engine 也是容器化的,在容器中如何使用 Agent 容器去构建呢?如果 Agent 已经是容器化的,那么在 Agent 上如何构建镜像呢?这就是本篇将给出的回答,如何在 Docker 中使用 Docker。

2. 两种使用模式

我们需要知道 Docker 以 C/S 模式工作,主要分为两个部分,Docker CLI 和 Docker Daemon 。Docker CLI ,也就是客户端,提供给用户命令行操作 Docker,例如 docker create/images/ps 等。Docker Damon ,也就是守护进程,负责接受用户指令,维护容器的生命周期。

2.1 Docker in Docker

Docker in Docker ,以下简称 DinD 。

如上图,可以在 Container 中直接运行一个 Docker Daemon ,然后使用 Container 中的 Docker CLI 工具操作容器。

这种方式下,容器中的 Docker Daemon 完全独立于外部,具有良好的隔离特性。看起来,Container 类似一个 VM ,但 DinD 的作者自己也不是很推荐。

主要原因还是安全问题。DinD 需要以特权模式启动,这种嵌套会带来潜在的安全风险。

这种方式下,响应命令的容器嵌套于使用 docker 命令的容器。

2.2 Docker outside of Docker

Docker outside of Docker ,以下简称 DooD 。

如上图,Docker 以 C/S 模式工作,使用时用户关注的是 C 端,而生命周期的管理在 S 端。

因此,只需要将 Container 的外部 Docker Daemon 服务挂载到 Container 。让 Container 误以为本地运行了 Docker Daemon,使用 Docker CLI 命令操作时,外部的 Docker Daemon 会响应请求。

这种方式下,响应命令的容器与使用 docker 命令的容器处于同一层级。

3. Docker 环境下的演示

3.1 DinD

  • 运行 DinD 容器
1
2
3
docker run --privileged -e DOCKER_TLS_CERTDIR="" -d --name dockerd  docker:dind

d6414f2ff0076c42de19a8a1fe122481c1a72b3bd45fd490dbe1c427414b4139
  • 运行带 CLI 的容器链接 DinD 容器
1
docker run --rm -it --link dockerd:docker docker:latest sh
  • 在 DinD 容器中,拉取镜像

拉取镜像

1
docker pull shaowenchen/devops-java-sample

查看镜像

1
2
3
4
docker images

REPOSITORY                       TAG                 IMAGE ID            CREATED             SIZE
shaowenchen/devops-java-sample   latest              fa4651c24a18        6 weeks ago         122MB

使用起来和一个独立的 Docker Daemon 环境一样。

  • 查看外部是否受影响

键入 exit 退出容器,通过主机上的 Docker Daemon

1
docker images |grep fa4651c24a18

符合预期。DinD 使用的是独立的 Docker Daemon,对外部的实例没有直接影响。

3.2 DooD

  • 运行一个容器
1
docker run --rm -it -v /var/run/docker.sock:/var/run/docker.sock alpine sh
  • 安装 curl

这里为了避免安装 Docker CLI ,直接使用 curl 调用 Docker Daemon 的 API。

1
apk update && apk add curl
  • 拉取镜像
1
2
3
4
curl -XPOST --unix-socket /var/run/docker.sock http://localhost/images/create?fromImage=shaowenchen/docker-robotframework&tag=latest

...
{"status":"Status: Downloaded newer image for shaowenchen/docker-robotframework"}
  • 查看拉取的镜像

键入 exit 退出容器,通过主机上的 Docker Daemon

1
2
3
docker images |grep robotframework

shaowenchen/docker-robotframework                              latest                         d99cfa7ee716        12 months ago       1.5GB

符合预期。DooD 方式直接使用的外部 Docker Daemon。

4. Kubernetes 环境下的演示

4.1 DinD

  • 创建一个 dind.yaml 文件,内容如下:
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
apiVersion: apps/v1
kind: Deployment
metadata:
  name: dind
spec:
  replicas: 1
  selector:
    matchLabels:
      app: dind
  template:
    metadata:
      labels:
        app: dind
    spec:
      containers:
        - name: dockerd
          image: "docker:dind"
          env:
            - name: DOCKER_TLS_CERTDIR
              value: ""
          securityContext:
            privileged: true
        - name: docker-cli
          image: "docker:latest"
          env:
            - name: DOCKER_HOST
              value: 127.0.0.1
          command: ["/bin/sh"]
          args: ["-c", "sleep 86400;"]
  • 创建 Deployment
1
kubectl apply -f dind.yaml
  • 查看创建的 Pod 名
1
2
3
kubectl get pod |grep dind

dind-5446ffbc8d-68q28   2/2     Running       0          12s
  • 进入 Pod
1
kubectl exec -it dind-5446ffbc8d-68q28  -c docker-cli sh
  • 测试是否使用独立的 Docker Daemon
1
2
3
4
docker images

REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
nginx               latest              daee903b4e43        3 days ago          133MB

符合预期,这里仅显示了刚拉取的 Nginx 的镜像,完全独立于主机的 Docker Daemon。

4.2 DooD

  • 创建一个 dood.yaml 文件,内容如下:
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
apiVersion: apps/v1
kind: Deployment
metadata:
  name: dood
spec:
  replicas: 1
  selector:
    matchLabels:
      app: dood
  template:
    metadata:
      labels:
        app: dood
    spec:
      containers:
        - image: docker:latest
          name: docker-cli
          securityContext:
            privileged: false
          command: ["/bin/sh"]
          args: ["-c", "sleep 86400;"]
          volumeMounts:
            - mountPath: /var/run/docker.sock
              name: volume-docker
      volumes:
        - hostPath:
            path: /var/run/docker.sock
            type: ""
          name: volume-docker
  • 创建 Deployment
1
kubectl apply -f dood.yaml
  • 查看创建的 Pod 名
1
2
3
kubectl get pod  |grep dood

dood-667d8bcfc6-d5fzf   1/1     Running   0          15s
  • 进入 Pod
1
kubectl exec -it dood-667d8bcfc6-d5fzf  -c docker-cli sh
  • 测试是否使用的是主机的 Docker Daemon
1
2
3
docker images |wc

69       482      8509

符合预期,这里 Docker 命令使用的就是外部的 Docker Daemon。

5. 参考