惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Recent Commits to openclaw:main
Recent Commits to openclaw:main
GbyAI
GbyAI
Y
Y Combinator Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
aimingoo的专栏
aimingoo的专栏
H
Hackread – Cybersecurity News, Data Breaches, AI and More
云风的 BLOG
云风的 BLOG
博客园 - 【当耐特】
Hugging Face - Blog
Hugging Face - Blog
M
MIT News - Artificial intelligence
博客园_首页
B
Blog RSS Feed
Recorded Future
Recorded Future
N
Netflix TechBlog - Medium
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
罗磊的独立博客
Apple Machine Learning Research
Apple Machine Learning Research
D
DataBreaches.Net
IT之家
IT之家
The GitHub Blog
The GitHub Blog
P
Proofpoint News Feed
Microsoft Azure Blog
Microsoft Azure Blog
S
SegmentFault 最新的问题
宝玉的分享
宝玉的分享
T
The Blog of Author Tim Ferriss
B
Blog
The Cloudflare Blog
MyScale Blog
MyScale Blog
雷峰网
雷峰网
U
Unit 42
C
Check Point Blog
月光博客
月光博客
Blog — PlanetScale
Blog — PlanetScale
T
Tailwind CSS Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
大猫的无限游戏
大猫的无限游戏
D
Docker
Microsoft Security Blog
Microsoft Security Blog
WordPress大学
WordPress大学
L
LangChain Blog
F
Fortinet All Blogs
腾讯CDC
Martin Fowler
Martin Fowler
I
InfoQ
J
Java Code Geeks
博客园 - Franky
Engineering at Meta
Engineering at Meta
人人都是产品经理
人人都是产品经理
有赞技术团队
有赞技术团队
阮一峰的网络日志
阮一峰的网络日志

陈少文的网站

巨变与机遇的未来十年 Kubernetes 平台管理软件压力测试方案 使用镜像部署 Hexo 静态页面 终于等到你 - GitHub 镜像仓库服务(ghcr.io) 一起来学 Go --(6)Interface 一起来学 Go --(5)Goroutine 和 Channel 什么是函数式编程 如何在 Kubernetes 集群集成 Kata 柯里化与偏函数 使用 PyGithub 自动创建 Label 软件产品是团队能力的输出 Helm 2 、Helm 3 比较 IoT 变现 Kubernetes 中的 DNS 服务 国内的 Helm 镜像源 Harbor 使用自签证书支持 Https 访问 DevOps 工具链之 Prow 如何使用 kfctl 安装 Kubeflow VS Code 无法下载 Go 插件的工具包 工程师更应具有服务精神 你不知道的 Docker 使用技巧 使用 Docker 运行 Tensorflow 论中国 什么是左移 如何清空 Git 仓库全部历史记录 一禅小和尚 有风吹过厨房 时间的玫瑰 如何在 CentOS 安装 GPU 驱动 开发 Tips(19) 使用 Velero 备份 Kubernetes 集群 Kubernetes Cheat Sheet 开发 Tips(18) 如何构建一个 Java 工程 开发 Tips(17) KubeSpray 安装 Kubernetes 报错 ip in ansible_all_ipv4_addresses 基于 Kubernetes 和 Jenkins 搭建自动化测试系统 在 Kubernetes 上动态创建 Jenkins Slave 使用 Jenkins 进行服务拨测 开发 Tips(16) Kubernetes 签发 Ingress 证书及日常故障运维 Kubernetes 中 Deployment 的基本操作 Kubernetes 中的证书 如何使用 KubeBuilder 开发一个 Operator Kubernetes 1.6.0 安装问题汇总 镜像管理工具 -- Harbor 开发 Tips(15) Docker 如何拉取镜像 开发 Tips(14) 使用 Helm 安装 harbor 开发 Tips(13) 使用 S2I 构建云原生应用 在 Kubernetes 中使用 emptyDir、hostPath、localVolume 开发 Tips(12) 开发 Tips(11) 代码质量分析工具 SonarQube 使用 Kubeadm 安装 Kubernetes 集群 一起来学 Go --(4)常用函数 Kubernetes 中的 Ceph Kubernetes 之 Volumes Kubernetes 之 Labels、Selectors 开发 Tips(10) 开源正在重构商业模式 Kubernetes 之网络 Kubernetes 之 API 使用 Helm 和 Operator 快速部署 Prometheus Kubernetes 复杂有状态应用管理框架 -- Operator Kubernetes 的包管理器 -- Helm 一起来学 Go --(3)Go Modules 如何一步一步地优化博客方案 kubectl 实用指南 Kubernetes 中的基本概念 搭建远程 Kubernetes 开发环境 大公司和小公司的 ToB 思路 开发 Tips(9) Go 入门指南 一起来学 Go --(2)数据与逻辑结构 如何预防 Web 富文本中的 XSS 攻击 django-xss-cleaner 云工作时代 一起来学 Go --(1)背景与特点 SaaS 开发团队的不同阶段 你不知道的 Git 使用技巧 输出既服务 微服务设计 继续奔跑 开发 Tips(8) 从账户安全到二次验证 Django 性能之数据库查询优化 Django 性能之分库分表 敏捷开发之研发流程 打造一致性的团队 开发 Tips(7) Pytest 进阶学习之 Mock PaaS 部署之 buildpack Go 开发配置 领域输出才是 PaaS 的核心竞争力 Pytest 入门学习 开发 Tips(6) 如何使用 Jenkins、Docker、GitLab 搭建 Django 自动化部署流程
如何接入远程 macOS 物理机进行 Jenkins 流水线构建
微信公众号 · 2020-11-22 · via 陈少文的网站

本文同样适用于接入 ARM、MIPS 架构,FreeBSD、Windows 系统的物理机,如果 Jenkins 能连上构建机,可以跳过 Frp 部分。

1. 遇到的问题

在以 Kubernetes 为基础设施的场景下,Jenkins 构建流水线时,将为每一条流水线单独创建一个 Pod 用于构建。Pod 中的容器环境可以根据需要自定义设置,扩展非常方便,能够满足绝大多数的需求。

其中有一个特例,那就是构建苹果生态链的应用,例如 IOS、macOS 应用。由于没有 macOS 的容器镜像,只能采用物理机进行构建。还有一种方式是,将 macOS 安装在虚拟机中,将虚拟机接入 Jenkins 进行构建,当然也可以直接导入其他人共享的 macOS VM 。

这都会遇到一个问题,那就是 Jenkins Master 无法直接访问 macOS 系统,网络不通,无法添加 macOS 的构建节点。

本篇主要是以 Frp 作为穿透工具,打通网络,对 IOS 应用、macOS 应用提供 Jenkins 流水线构建的解决方案。

2. 解决方案

如下图,通过 Frp 可以打通 Jenkins 与物理机之间的网络。

  • 第一步,需要将 Frp 的 Server 端部署到 Jenkins Master 可以直接访问的环境上,这些环境包括物理机、VM、容器环境。
  • 第二步,在 Mac 物理机上运行 Frp Client ,将 macOS 的 SSH 服务暴露在 Frp Server 上。
  • 第三步,在 Jenkins 上添加 macOS 节点,使用 Label 选择 Mac 机器进行构建。

3. 配置相关组件

3.1 macOS 系统配置

下图是我测试的 macOS 系统版本:

  • 关闭防火墙

  • 在系统设置中,找到【Sharing】,打开 Remote Login

这一步是为了 Jenkins Master 能够远程登录到 macOS 上。这里的 172.31.140.36 是内网的 IP,Jenkins 无法直接访问。

3.2 搭建并配置 Frp 服务

Frp 服务端和客户端的配置,请参考文档 使用 frp 将本地服务发布到公网

下面贴出的是客户端的配置:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
[common]
server_addr = 139.198.120.81
server_port = 5443
token = xxxxxxxxxxxx

[ssh]
type = tcp
local_ip = 127.0.0.1
local_port = 22
remote_port = 2222

这里将本地的 macOS 的 22 端口映射到公网 139.198.120.81:2222 上。

执行命令启动 Frp 客户端。如果是生产环境,需要托管这个服务。

启动之后,会弹框报错,截图如下:

需要去系统设置->安全与隐私中,解锁运行权限,再运行 Frp 。下图中,由于已经允许,因此并没有出现 Frp 相关的提示字样。

再次执行 ./frpc -c ./frpc.ini ,弹框会新增 Open 选项。

点击 Open 之后,可以看到 Frp 客户端已经正常运行。

1
2
3
2020/11/22 08:59:06 [I] [service.go:288] [97da648b05e7e343] login to server success, get run id [97da648b05e7e343], server udp port [0]
2020/11/22 08:59:06 [I] [proxy_manager.go:144] [97da648b05e7e343] proxy added: [ssh]
2020/11/22 08:59:06 [I] [control.go:180] [97da648b05e7e343] [ssh] start proxy success

3.3 Jenkins 新增节点配置

Jenkins 中的配置主要分为如下几步:

  1. 进入 Jenkins 后台的节点管理页面

  1. 新增 OSX 节点,勾选 Permanent Agent

  1. 配置节点信息

如图进行配置,Host 设置为 Frp Server 的地址,点击【高级】,可以配置 SSH 的端口号为 2222 。

这里需要添加一个凭证,用于登录 macOS 。为了简便,我直接使用的是账户和密码。如果对安全有较高要求,可以使用 SSH Key 进行认证。

  1. 启动节点并查看节点列表

上一步完成之后,节点默认会直接启动,也就是初始化节点,运行一个进程,用于与 Master 通信。

在初始化的过程中,在 macOS 系统上,会出现授权的弹框。如下图,点击 Open

返回节点列表页面,将会看到 macOS 节点。

  1. 查看 Mac 物理机上初始化文件

回到 macOS 上,可以看到工作目录下面,初始化了一系列文件。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
cd /Users/shaowenchen/Downloads

tree -L 3

.
├── remoting
│   ├── jarCache
│   └── logs
│       ├── remoting.log.0
│       └── remoting.log.0.lck
├── remoting.jar
└── support
    └── all_2020-11-22_01.07.11.log

4. 测试流水线

创建自由风格的流水线,粘贴如下内容:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
pipeline {
  agent {
    node {
      label 'osx'
    }

  }
  stages {
    stage('get env info') {
      steps {
        sh 'uname -a'
      }
    }
  stage('upload file') {
        steps {
            sh "echo `date` >> newfile.txt"
        }
   post {
    success {
        archiveArtifacts 'newfile.txt'
      }
    }
    }
  }
}

执行完成之后,可以看到如下结果:

在 macOS 的工作目录中,可以查看到相关的工作目录和文件:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
 tree -L 3
.
├── newfile.txt
├── remoting
│   ├── jarCache
│   └── logs
│       ├── remoting.log.0
│       ├── remoting.log.0.1
│       ├── remoting.log.1
│       ├── remoting.log.2
│       └── remoting.log.3
├── remoting.jar
├── support
│   ├── all_2020-11-22_01.07.11.log
│   ├── all_2020-11-22_01.30.36.log
│   └── all_2020-11-22_01.35.10.log
└── workspace
    ├── aaaak2c24
    │   ├── a
    │   └── a@tmp
    ├── osx
    └── osx@tmp

从结果看,流水线在 macOS 执行命令之后,归档了构建产物,符合预期。这里如果是 IOS 构建,只需要在 macOS 系统上安装 XCode 工具,在流水线中执行构建,归档之后,同样能下载到 IOS 安装包。