惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
T
Tenable Blog
D
DataBreaches.Net
GbyAI
GbyAI
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
腾讯CDC
V
Visual Studio Blog
B
Blog
雷峰网
雷峰网
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
I
InfoQ
M
MIT News - Artificial intelligence
有赞技术团队
有赞技术团队
T
Tailwind CSS Blog
The Cloudflare Blog
L
LangChain Blog
MongoDB | Blog
MongoDB | Blog
Vercel News
Vercel News
Cloudbric
Cloudbric
L
Lohrmann on Cybersecurity
博客园 - 司徒正美
T
The Exploit Database - CXSecurity.com
Google DeepMind News
Google DeepMind News
www.infosecurity-magazine.com
www.infosecurity-magazine.com
Attack and Defense Labs
Attack and Defense Labs
Martin Fowler
Martin Fowler
SecWiki News
SecWiki News
T
Threat Research - Cisco Blogs
J
Java Code Geeks
Cyberwarzone
Cyberwarzone
Forbes - Security
Forbes - Security
Spread Privacy
Spread Privacy
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
大猫的无限游戏
大猫的无限游戏
O
OpenAI News
D
Darknet – Hacking Tools, Hacker News & Cyber Security
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Schneier on Security
Schneier on Security
S
Security @ Cisco Blogs
酷 壳 – CoolShell
酷 壳 – CoolShell
The Hacker News
The Hacker News
H
Help Net Security
Y
Y Combinator Blog
C
Cybersecurity and Infrastructure Security Agency CISA
T
Tor Project blog
量子位
U
Unit 42
S
SegmentFault 最新的问题
V
V2EX
D
Docker

陈少文的网站

巨变与机遇的未来十年 Kubernetes 平台管理软件压力测试方案 使用镜像部署 Hexo 静态页面 终于等到你 - GitHub 镜像仓库服务(ghcr.io) 一起来学 Go --(6)Interface 一起来学 Go --(5)Goroutine 和 Channel 什么是函数式编程 如何在 Kubernetes 集群集成 Kata 柯里化与偏函数 使用 PyGithub 自动创建 Label 软件产品是团队能力的输出 Helm 2 、Helm 3 比较 IoT 变现 Kubernetes 中的 DNS 服务 国内的 Helm 镜像源 Harbor 使用自签证书支持 Https 访问 DevOps 工具链之 Prow 如何使用 kfctl 安装 Kubeflow VS Code 无法下载 Go 插件的工具包 工程师更应具有服务精神 你不知道的 Docker 使用技巧 使用 Docker 运行 Tensorflow 论中国 什么是左移 如何清空 Git 仓库全部历史记录 一禅小和尚 有风吹过厨房 时间的玫瑰 如何在 CentOS 安装 GPU 驱动 开发 Tips(19) 使用 Velero 备份 Kubernetes 集群 Kubernetes Cheat Sheet 开发 Tips(18) 如何构建一个 Java 工程 开发 Tips(17) KubeSpray 安装 Kubernetes 报错 ip in ansible_all_ipv4_addresses 基于 Kubernetes 和 Jenkins 搭建自动化测试系统 在 Kubernetes 上动态创建 Jenkins Slave 使用 Jenkins 进行服务拨测 开发 Tips(16) Kubernetes 签发 Ingress 证书及日常故障运维 Kubernetes 中 Deployment 的基本操作 Kubernetes 中的证书 如何使用 KubeBuilder 开发一个 Operator Kubernetes 1.6.0 安装问题汇总 镜像管理工具 -- Harbor 开发 Tips(15) Docker 如何拉取镜像 开发 Tips(14) 使用 Helm 安装 harbor 开发 Tips(13) 使用 S2I 构建云原生应用 在 Kubernetes 中使用 emptyDir、hostPath、localVolume 开发 Tips(12) 开发 Tips(11) 代码质量分析工具 SonarQube 使用 Kubeadm 安装 Kubernetes 集群 一起来学 Go --(4)常用函数 Kubernetes 中的 Ceph Kubernetes 之 Volumes Kubernetes 之 Labels、Selectors 开发 Tips(10) 开源正在重构商业模式 Kubernetes 之网络 Kubernetes 之 API 使用 Helm 和 Operator 快速部署 Prometheus Kubernetes 复杂有状态应用管理框架 -- Operator Kubernetes 的包管理器 -- Helm 一起来学 Go --(3)Go Modules 如何一步一步地优化博客方案 kubectl 实用指南 Kubernetes 中的基本概念 搭建远程 Kubernetes 开发环境 大公司和小公司的 ToB 思路 开发 Tips(9) Go 入门指南 一起来学 Go --(2)数据与逻辑结构 如何预防 Web 富文本中的 XSS 攻击 django-xss-cleaner 云工作时代 一起来学 Go --(1)背景与特点 SaaS 开发团队的不同阶段 你不知道的 Git 使用技巧 输出既服务 微服务设计 继续奔跑 开发 Tips(8) 从账户安全到二次验证 Django 性能之数据库查询优化 Django 性能之分库分表 敏捷开发之研发流程 打造一致性的团队 开发 Tips(7) Pytest 进阶学习之 Mock PaaS 部署之 buildpack Go 开发配置 领域输出才是 PaaS 的核心竞争力 Pytest 入门学习 开发 Tips(6) 如何使用 Jenkins、Docker、GitLab 搭建 Django 自动化部署流程
Jenkins 集成 GitHub 开发
微信公众号 · 2017-07-19 · via 陈少文的网站

1. 基本概念

  • 持续集成,Continuous Integration

持续集成强调开发人员提交了新代码之后,立刻进行构建、(单元)测试。根据测试结果,我们可以确定新代码和原有代码能否正确地集成在一起。

  • 持续交付,Continuous Delivery

持续交付在持续集成的基础上,将集成后的代码部署到更贴近真实运行环境的类生产环境中。比如,我们完成单元测试后,可以把代码部署到连接数据库的 Staging 环境中更多的测试。如果代码没有问题,可以继续手动部署到生产环境中。

  • 持续部署,Continuous Deployment

持续部署则是在持续交付的基础上,把部署到生产环境的过程自动化。

2. Jenkins

2.1 Jenkins 简介

Jenkins 是一个用 Java 编写的开源的持续集成工具。在与 Oracle 发生争执后,2011年1月11日,社区投票将项目名称从 “Hudson” 变更为 “Jenkins” 。

Jenkins 提供了软件开发的持续集成服务。它运行在 Servlet 容器中(就像 Apache Tomcat 一样)。它支持软件配置管理工具(包括AccuRev SCM、CVS、Subversion、Git、Perforce、Clearcase和RTC),可以执行基于Apache Ant 和 Apache Maven 的项目,以及任意的 Shell 脚本和 Windows 批处理命令。

2.2 下载安装

  • 如果在本地

本地 安装 Java 允许环境,然后去 http://mirrors.jenkins-ci.org/war-stable/ 下载最新版本的 jenkins.war 文件。执行如下命令:

即可在本地,http://127.0.0.1:8080,访问 Jenkins 服务。

  • 如果在服务器

通常,会通过 Nginx 代理请求,这里以 Ubuntu 系统为例,介绍如何配置和安装。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# 查看 nginx 的配置文件地址
nginx  -t
# 编辑显示的配置文件,新增如下内容:
server
{
     listen 80;
    server_name jenkins.domain.com;
    access_log  /var/log/jenkins.access.log ;
    error_log   /var/log/jenkins.error.log ;
    client_max_body_size 60M;
    client_body_buffer_size 512k;
    location /
    {
      port_in_redirect on;
      proxy_pass http://127.0.0.1:8080$request_uri;
      proxy_redirect off;
      proxy_set_header Host $host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}
# Nginx 重新加载配置文件
nginx -s reload

安装 Jenkins

1
2
3
4
wget -q -O - https://pkg.jenkins.io/debian/jenkins-ci.org.key | sudo apt-key add -
sh -c 'echo deb http://pkg.jenkins.io/debian-stable binary/ > /etc/apt/sources.list.d/jenkins.list'
apt-get update
apt-get install jenkins

启动 Jenkins

还有 exit,restart,reload,可以使用。

最后别忘了 配置 DNS,将 jenkins.domain.com 解析到 服务器 IP,即可 通过 jenkins.domain.com 域名访问 Jenkins 服务了。

2.3 插件安装和配置

第一次启动时,Jenkins 会自动生成一个随机字符串。根据页面提示的文件路径,找到该字符串,输入即可。 接着,会有提示安装推荐的插件。如果选择安装,那么常用的一些插件会被自动安装上。

Jenkins 有着丰富的第三方插件,和其他工具进行深度的集成。正是这些插件,使得 Jenkins 的能集成的功能越来越多、满足各种定制化的需求。

有两种方法可以安装插件, 在 Manage Jenkins - > Manage Plugins

  • available 标签下,可以勾选需要安装的插件安装。
  • advanced 标签下,可以上传离线的插件进行安装。

Jenkins中,创建新的 Item 有如下类型:

  • Freestyle project,基础功能,用来执行各种构建任务 Job。
  • Pipeline,用来组装很多 Job 的执行流程。
  • External job,用来监视外部执行的 Job。
  • Multi-configuration project ,让 Job 跑在不同的机器上。
  • Folder,创建一个文件视图,用于归档
  • GitHub Organization,搜索 GitHub 项目
  • Multibranch Pipeline,创建一组管道项目

2.4 中文显示

Jenkins 的 Web 页面,默认会从浏览器设置中获取当前语言设置。有两种方式可以中文化:

  • 设置浏览器语言为中文

在 【设置】-【高级】- 【语言】选项中,新增 【中文(简体)】

  • 安装插件 Locale Plugin

    1.在【Manage Jenkins】-【Manage Plugins】-【Available】中找到 Locale Plugin 插件,勾选安装,重启生效。

    2.在【Manage Jenkins】-【Configure System】中,找到 【Locale】- 【Default Language】设置为 zh_CN ,勾选 Ignore browser preference and force this language to all users,点击【Apply】即可。

2.5 Jenkins API

Jenkins 提供了 html、json、Python API,实质都是以 http get/post 方式调用的。查看 http://jenkins.domain.com/api/ , 即可得到相应的说明。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 1.创建
curl -X POST http://www.xxx.xxx/jenkins/createItem?name=JavaStd  --user peterguo:peterguo --data-binary "@javastd.config.xml" -H "Content-Type: text/xml"

# 2.禁用
curl -X POST http://www.xxx.xxx/jenkins/job/JavaStd/disable  --user peterguo:peterguo

# 3.启用
curl -X POST http://www.xxx.xxx/jenkins/job/JavaStd/enable --user peterguo:peterguo

# 4.删除
curl -X POST http://www.xxx.xxx/jenkins/job/JavaStd/doDelete --user peterguo:peterguo

# 5.获取项目描述
curl -X GET http://www.xxx.xxx/jenkins/job/JavaStd/description --user peterguo:peterguo

# 6.获取配置文件
curl -X GET http://www.xxx.xxx/jenkins/job/JavaStd/config.xml --user peterguo:peterguo

# 7.触发SCM检查
curl -X GET http://www.xxx.xxx/jenkins/job/JavaStd/polling --user peterguo:peterguo

# 8.普通触发
curl -X GET http://www.xxx.xxx/jenkins/job/JavaStd/build --user peterguo:peterguo

# 9.带参数触发
curl -X GET "http://www.xxx.xxx/jenkins/job/helloworld-freestyle/buildWithParameters?bAllTest=&Choices=2&strParam=abc" --user peterguo:peterguo

3. Jenkins 集成 GitHub

这部分,主要描述如何利用 GitHub 的 WebHooK 触发 Jenkins 构建任务。这里以 Java 项目常用的 Maven 构建工具为例。

3.1 关于 Maven

Maven 和 make 一样,是个构建工具,将源代码转换为可执行的代码。Maven 使用配置文件 pom.xml 对环境进行配置,例如设定编译器的版本,设定所需支持包的 URL ,这样 maven 就可以自动去下载所需的包。如果需要对构建环境进行改变时,直接改变 pom.xml 文件就可以了,maven 会自动下载配置包。

Maven 比 make 的更强大的地方是,可以利用其他工具,实现对编译结果的统计,对源代码的检查,对于代码的测试等。例如 checkstyle,cobertura 等都有对应的 Maven 插件。

Maven 控制编译,控制连接,生成各种报告,进行代码测试,而 Jenkins 控制这个流程。

3.2 GitHub 设置

  • Personal Access Token

进入GitHub 主页,在【settings】-【Personal Access Token页面,点击 【Generate new token】
勾选 【repo】 和 【admin:repo_hook】,生成 Token。注意这里的,Token,只会显示一次,之后如果丢失了,就需要重新生成。

  • WebHook

新建一个 GitHub 项目,在【Settings】-【Webhooks】页面,点击【Add webhook】,【Payload URL】参数填入:http://jenkins.domain.com/github-webhook/ ,在【Content type】参数选择:application/json,保存即可。

  • 初始化项目
    为了能够快速的验证 GitHub 的 WebHook 能够触发 Jenkins 的构建任务,建议直接找一个比较简单的开源 Maven 项目。下面是实例的代码结构:
1
my-app/src/ my-app/pom.xml

3.3 Jenkins 插件和服务器环境配置

  • 服务器环境
1
2
apt-get install git
apt-get install maven2
  • Jenkins 插件安装

需要安装插件 Maven Integration pluginGitHub Plugin

3.4 Jenkins 系统配置

在【系统管理】- 【系统设置】里面

  • 设置 TOKEN: 找到 【GitHub】选项,点击 【Add GitHub Server】,将 Token 填入图中,红色框中,其他设置如图所选。

在【系统管理】- 【Global Tool Configuration】里面设置 Git 和 Maven 的安装地址,由于 git 和 mvn 命令都已经添加到了 PATH 中,这里只需要设置为 default 即可。

3.5 创建 Maven 项目

点击【新建】,选择 【构建一个 maven 项目】,输入项目名称。

选择为【GitHub project】,设置为在 GitHub 上新建项目的 URL 地址。

选择【源码管理】为 Git,并设置项目地址,这里需要新增用户名和密码。

设置【构建触发器】,是为了告知 Jenkins 在何种情况执行构建。这里,选择【GitHub hook tigger for GITScm polling】,也就是通过代码提交时,产生的 WebHook 事件触发。

【Build】设置告知 Maven 项目的 POM.xml 文件位置,如果找不到该文件,Jenkins 会有提示。

3.5 触发构建

在GitHub 上提交代码:

1
2
3
git add *
git commit -m 'Update pom.xml'
git push origin master

将触发构建任务执行。

执行完毕,在【Console Output】可以看到执行的详细情况。

在【状态集】可以看到构建的状态信息。

在【Module Builds】中,点击【my-app】,可以看到构建产生的文件。

将构建文件下载到本地,执行。

4. 参考