1. 为什么需要物理构建机
在文章《如何接入远程 macOS 物理机进行 Jenkins 流水线构建》中，我描述了在 Jenkins 中添加物理构建机的方法。这并不是我拍脑袋想的需求，而是当时真的有 ToB 的商业客户在咨询方案。
对于多端开发商来说，构建 Android、IOS、macOS、Arm 、Windows、X86 应用是常见的需求。
好的方面是 GitHub Actions 提供了 macOS 构建环境、AWS 提供了 macOS 虚拟机，而华为提供了 ARM 主机。在云原生背景下，更多使用的是 Kubernetes 运行时，在 Kubernetes 不支持的处理器架构和操作系统面前，持续集成 (CI) 显得很无力。持续集成需要支持物理构建机运行时。
本文希望讨论的问题是在 Kubernetes 下，如何接入物理机进行 CI 的构建。本文以 Tekton 为例，其他引擎在处理逻辑上类似。
2. Tekton 如何与物理机交互
Kuberntes 对物理机或者虚拟机的管理，实际上是一个典型的 Operator 场景。我们可以定义一个 CRD 用来描述相关字段，通过写 Controller 处理 Pod 与构建机之间的逻辑。
也可以写 Tekton 的 Task 封装，本文将使用这种方式。由此也给我带来另一个疑问，Tekton 能否代替部分 Operator 的场景，在后续的文章中我会给出思考。
这里仅做原型验证，不会太关注产品化的细节。
在 Tekton 中，每个流水线由很多个 Task 构成，Task 可以并行。一个 Task 包含很多个串行的 step 步骤，对应着一个 Pod 包含很多个容器。
这里的关键是要将 Pod 与构建机关联起来。我选择的是使用 rsync 同步 Pod 与构建机之间的文件，在 Pod 中使用 sshpass 执行物理机的构建命令。
主要分为如下步骤 (以下命令都是在容器中执行):
- 克隆代码
- 执行 rsync 将代码同步到构建机
- 执行 sshpass 在构建机上执行构建命令
- 执行 rsync 将构建机中的构建产物同步到容器
- 归档构建产物(示例中, 这一步会被省略，仅验证能拿到构建产物)
可以看到整个过程其实和 Tekton 没有直接关系，对于任意容器与构建机直连的环境都是可行的。下面以 Tekton 为例进行演示。
3. 资源准备清单
- 一个 Kubernetes 集群。用来运行 Tekton，最新的 Tekton 0.23 要求 Kubernetes 不低于 1.17
- 一台物理机或虚拟机。用于构建应用
3.1 查看 Kubernetes 版本
1
2
3
4
| kubectl version
Client Version: version.Info{Major:"1", Minor:"19", GitVersion:"v1.19.7", GitCommit:"1dd5338295409edcfff11505e7bb246f0d325d15", GitTreeState:"clean", BuildDate:"2021-01-13T13:23:52Z", GoVersion:"go1.15.5", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"20", GitVersion:"v1.20.2", GitCommit:"faecb196815e248d3ecfb03c680a4507229c2a56", GitTreeState:"clean", BuildDate:"2021-01-21T01:11:42Z", GoVersion:"go1.15.5", Compiler:"gc", Platform:"linux/amd64"}
|
3.2 物理机准备
1
2
3
| uname -a
Linux test 3.10.0-957.21.3.el7.x86_64 #1 SMP Tue Jun 18 16:35:19 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
|
原计划是选择一个 macOS 的构建示例，但是无法提供直通的网络环境，因此换成 Golang 的构建示例。
1
2
3
| go version
go version go1.13 linux/amd64
|
4. 准备 Tekton 以及 Pipeline 资源
4.1 部署 Tekton Pipeline
Tekton 默认使用的是 gcr.io 镜像，如果是国内环境可以替换为 gcr.azk8s.cn 镜像。
1
| kubectl apply -f https://github.com/tektoncd/pipeline/releases/download/v0.23.0/release.notags.yaml
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
| kubectl -n tekton-pipelines get all
NAME READY STATUS RESTARTS AGE
pod/tekton-pipelines-controller-86c487c965-p6s5t 1/1 Running 0 51s
pod/tekton-pipelines-webhook-7b775d9cd8-fzdrq 1/1 Running 0 51s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/tekton-pipelines-controller ClusterIP 10.233.61.46 <none> 9090/TCP,8080/TCP 51s
service/tekton-pipelines-webhook ClusterIP 10.233.46.233 <none> 9090/TCP,8008/TCP,443/TCP,8080/TCP 51s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/tekton-pipelines-controller 1/1 1 1 51s
deployment.apps/tekton-pipelines-webhook 1/1 1 1 51s
NAME DESIRED CURRENT READY AGE
replicaset.apps/tekton-pipelines-controller-86c487c965 1 1 1 51s
replicaset.apps/tekton-pipelines-webhook-7b775d9cd8 1 1 1 51s
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
horizontalpodautoscaler.autoscaling/tekton-pipelines-webhook Deployment/tekton-pipelines-webhook <unknown>/100% 1 5 1 51s
|
4.2 资源规划
需要的流水线资源清单:
- 一个 task, 用于克隆代码
- 一个 pv, 用于共享 task 之间的文件
- 一个自定义的 task, 用于将代码同步到构建机，构建完成之后，再同步回来
- 一个 pipeline, 用于描述流水线，编排 task
- 一个 pipelinerun, 用于实例化 pipeline, 提供构建时必要的参数
4.2 编写同步文件、执行脚本的 Task
如上图，这里的 Task 就是用于打通 container 和 vm 之间的文件和进程，实现类似交叉编译的效果。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
| ---
apiVersion: tekton.dev/v1beta1
kind: Task
metadata:
name: remote-shell
labels:
app.kubernetes.io/version: "0.1"
annotations:
tekton.dev/pipelines.minVersion: "0.12.1"
tekton.dev/tags: git
tekton.dev/displayName: "remote shell"
spec:
description: >-
This task can be used to run shell in remote machine
workspaces:
- name: source
params:
- name: remote-ip
type: string
- name: remote-port
type: string
- name: remote-username
type: string
- name: remote-password
type: string
- name: remote-workspace
type: string
- name: remote-script
type: string
steps:
- name: remote-shell
image: shaowenchen/rsync-sshpass:v1
workingDir: $(workspaces.source.path)
script: |
sshpass -p "$(params.remote-password)" ssh -o StrictHostKeyChecking=no "$(params.remote-username)"@"$(params.remote-ip)" -p "$(params.remote-port)" "mkdir -p $(params.remote-workspace)"
rsync -ratlz --progress --rsh="sshpass -p $(params.remote-password) ssh -o StrictHostKeyChecking=no -l $(params.remote-username)" ./ "$(params.remote-ip)":"$(params.remote-workspace)"
sshpass -p "$(params.remote-password)" ssh -o StrictHostKeyChecking=no "$(params.remote-username)"@"$(params.remote-ip)" -p "$(params.remote-port)" "$(params.remote-script)"
rsync -ratlz --progress --rsh="sshpass -p $(params.remote-password) ssh -o StrictHostKeyChecking=no -l $(params.remote-username)" "$(params.remote-ip)":"$(params.remote-workspace)"/ .
|
在写法上，可以参考 Tekton 提供的示例。主要分为几步:
这就是一个串脚本的过程，只不过借助容器镜像，省去了安装各种工具的步骤。
4.3 准备 Tekton 的 pipeline 描述
Tekton 已经正式上线 Hub 服务，用于共享 Task，这里直接使用 https://hub.tekton.dev/tekton/task/git-clone
1
| kubectl apply -f https://raw.githubusercontent.com/tektoncd/catalog/main/task/git-clone/0.3/git-clone.yaml
|
- 构建一个工具箱镜像 shaowenchen/rsync-sshpass:v1
Dockerfile 为:
1
2
3
4
5
6
7
8
9
10
11
12
13
| ARG alpine_ver=3.13
FROM alpine:${alpine_ver}.5
RUN apk update \
&& apk upgrade \
&& apk add --no-cache \
rsync \
openssh-client \
openssh \
sshpass \
ca-certificates \
&& update-ca-certificates \
&& rm -rf /var/cache/apk/*
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
| apiVersion: tekton.dev/v1beta1
kind: Pipeline
metadata:
name: remote-build-pipeline
spec:
params:
- name: repo-url
type: string
- name: branch-name
type: string
- name: remote-ip
type: string
- name: remote-port
type: string
- name: remote-username
type: string
- name: remote-password
type: string
- name: remote-workspace
type: string
- name: remote-script
type: string
workspaces:
- name: shared-data
tasks:
- name: fetch-repo
taskRef:
name: git-clone
workspaces:
- name: output
workspace: shared-data
params:
- name: url
value: $(params.repo-url)
- name: revision
value: $(params.branch-name)
- name: remote-build
taskRef:
name: remote-shell
runAfter: ["fetch-repo"]
workspaces:
- name: source
workspace: shared-data
params:
- name: remote-ip
value: $(params.remote-ip)
- name: remote-port
value: $(params.remote-port)
- name: remote-username
value: $(params.remote-username)
- name: remote-password
value: $(params.remote-password)
- name: remote-workspace
value: $(params.remote-workspace)
- name: remote-script
value: $(params.remote-script)
|
pipeline 包含两个 task，一个 task 克隆代码，一个 task 执行远程构建。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
| ---
apiVersion: tekton.dev/v1beta1
kind: PipelineRun
metadata:
name: remote-build-pipelinerun-1
spec:
pipelineRef:
name: remote-build-pipeline
workspaces:
- name: shared-data
volumeClaimTemplate:
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 10Gi
params:
- name: repo-url
value: https://github.com/shaowenchen/terraform-provider-qingcloud.git
- name: branch-name
value: master
- name: subdirectory
value: terraform-provider-qingcloud-001
- name: remote-ip
value: 0.0.0.0
- name: remote-port
value: "22"
- name: remote-username
value: root
- name: remote-password
value: YourPassword
- name: remote-workspace
value: ~/workspaces/terraform-provider-qingcloud-001
- name: remote-script
value: |
cd ~/workspaces/terraform-provider-qingcloud-001
make
|
这里将克隆代码到 pv 的 terraform-provider-qingcloud-001 目录，同步到构建机的 ~/workspaces/terraform-provider-qingcloud-001 目录。也就是说，这两个目录最终的文件会保持一致，而构建的二进制是在构建机上生成的。
以上资源全部 apply 之后，就可以查看相关的资源和流水线状态了。
1
2
3
4
5
| kubectl get tasks.tekton.dev
NAME AGE
git-clone 18m
remote-shell 5m47s
|
1
2
3
4
| kubectl get pipelines.tekton.dev
NAME AGE
remote-build-pipeline 4m21s
|
1
2
3
4
| kubectl get pipelineruns.tekton.dev
NAME SUCCEEDED REASON STARTTIME COMPLETIONTIME
remote-build-pipelinerun-1 True Succeeded 6m15s 5m42s
|
在 pipelineruns 中可以通过 describe 拿到整个流水线执行的记录，用于展示执行步骤，查询构建日志。下面是截取的部分内容:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
| Task Runs:
remote-build-pipelinerun-1-fetch-repo-56ws8:
Pipeline Task Name: fetch-repo
Status:
Completion Time: 2021-04-27T13:22:08Z
Conditions:
Last Transition Time: 2021-04-27T13:22:08Z
Message: All Steps have completed executing
Reason: Succeeded
Status: True
Type: Succeeded
Pod Name: remote-build-pipelinerun-1-fetch-repo-56ws8-pod-mgx77
Start Time: 2021-04-27T13:21:54Z
Steps:
Container: step-clone
Image ID: docker-pullable://gcr.io/tekton-releases/github.com/tektoncd/pipeline/cmd/git-init@sha256:db18a9c1607c8cbbcd72f61d0c4d795b9ff528669deacd5f8a1672e4ef198ffd
Name: clone
Terminated:
Container ID: docker://e5258bc7b0770e0333a93395eda13514abbd293652c0c0494352407a3fbc1a7f
Exit Code: 0
Finished At: 2021-04-27T13:22:07Z
Message: [{"key":"commit","value":"d024b4deeb2f328098fed88eb702cb19dac8452f","type":"TaskRunResult"},{"key":"url","value":"https://github.com/shaowenchen/terraform-provider-qingcloud.git","type":"TaskRunResult"}]
Reason: Completed
Started At: 2021-04-27T13:22:04Z
Task Results:
Name: commit
Value: d024b4deeb2f328098fed88eb702cb19dac8452f
Name: url
Value: https://github.com/shaowenchen/terraform-provider-qingcloud.git
|
5. 功能验证
1
2
3
4
5
| kubectl get pod
NAME READY STATUS RESTARTS AGE
remote-build-pipelinerun-1-fetch-repo-56ws8-pod-mgx77 0/1 Completed 0 8m49s
remote-build-pipelinerun-1-remote-build-wxtms-pod-bcn6r 0/1 Completed 0 8m35s
|
1
2
3
4
5
6
7
8
| pwd
/root/workspaces/terraform-provider-qingcloud-001
ls
CHANGELOG.md glide.yaml go.sum main.go qingcloud scripts terraform-provider-qingcloud website
dev.md go.mod LICENSE Makefile README.md terraform vendor
|
1
2
3
4
| kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS
pvc-860016bb-14b6-414a-9c5a-1a71d7290ba8 10Gi RWO Delete Bound default/pvc-e7ceb0582a openebs-hostpath 2m12s
|
查找 PV 存储路径
1
2
3
| kubectl describe pv pvc-860016bb-14b6-414a-9c5a-1a71d7290ba8 |grep Path
Path: /var/openebs/local/pvc-860016bb-14b6-414a-9c5a-1a71d7290ba8
|
查看 PV 目录文件结构
1
2
3
4
| ls /var/openebs/local/pvc-860016bb-14b6-414a-9c5a-1a71d7290ba8
CHANGELOG.md glide.yaml go.sum main.go qingcloud scripts terraform-provider-qingcloud website
dev.md go.mod LICENSE Makefile README.md terraform vendor
|
在两个目录中，都存在构建产物 terraform-provider-qingcloud，符合预期，也说明我们达成了目标。
6. 总结
传统的 CICD 引擎通常是一个 C/S 架构。它需要一个 S 端，用于解析流程，对流水线进行调度; 需要很多个 C 端，用于执行高负载的构建任务。这种方式的扩展性并不是线性的，在云原生下、业务量大时很容易遇到瓶颈。因此，我们需要更加云原生的构建引擎。在新的引擎下我们需要解决一些老的问题，支持物理机构建就是其中之一。
本文主要以 Tekton 为例，提供了一种利用 rsync 和 sshpass 接入物理机进行构建的思路。其中的关键点如下:
- 使用 rsync\sshpass 的目的主要是将容器与物理机绑定，文件双向同步，进程空间互通。
- 不限于 Tekton, 任意的引擎都可以使用这种方式。
- 这里仅是作为方案验证，如果落地到产品，还需要考虑缓存、秘钥安全、数据安全、租户隔离等问题。
7. 参考
