惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

量子位
小众软件
小众软件
S
SegmentFault 最新的问题
人人都是产品经理
人人都是产品经理
博客园 - 【当耐特】
博客园 - 三生石上(FineUI控件)
C
Check Point Blog
S
Schneier on Security
Microsoft Azure Blog
Microsoft Azure Blog
N
Netflix TechBlog - Medium
Engineering at Meta
Engineering at Meta
GbyAI
GbyAI
罗磊的独立博客
有赞技术团队
有赞技术团队
V
V2EX
Y
Y Combinator Blog
博客园 - 叶小钗
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
F
Fortinet All Blogs
W
WeLiveSecurity
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Stack Overflow Blog
Stack Overflow Blog
The Cloudflare Blog
S
Security @ Cisco Blogs
TaoSecurity Blog
TaoSecurity Blog
MyScale Blog
MyScale Blog
Hugging Face - Blog
Hugging Face - Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
www.infosecurity-magazine.com
www.infosecurity-magazine.com
PCI Perspectives
PCI Perspectives
H
Heimdal Security Blog
Schneier on Security
Schneier on Security
Security Latest
Security Latest
AWS News Blog
AWS News Blog
月光博客
月光博客
Security Archives - TechRepublic
Security Archives - TechRepublic
Recent Announcements
Recent Announcements
Google DeepMind News
Google DeepMind News
博客园 - Franky
Cisco Talos Blog
Cisco Talos Blog
T
Threat Research - Cisco Blogs
M
MIT News - Artificial intelligence
T
Troy Hunt's Blog
N
News and Events Feed by Topic
Cloudbric
Cloudbric
Scott Helme
Scott Helme
云风的 BLOG
云风的 BLOG
Attack and Defense Labs
Attack and Defense Labs

Xiaobin's Notes

Mac本地快速部署DeepSeek Electron的原理 如何让大语言模型输出JSON格式 webstorm 的 cpu 占用高 修改Joplin主题样式 ECMAScript 历代版本 新一代包管理器 PNPM React useEffect() Hook Vue 2.x 使用高德地图JS API 2.0加载起点终点路径轨迹 家庭用电插座 MacOS 14.4 引发Java 应用崩溃 重定向广告 Pyenv工具 ElasticSearch集群原理 ElasticSearch集群节点 Elasticsearch Mapping 参数 Elasticsearch元数据 Elasticsearch的数据类型 Go 1.21 新增特性
Go语言的向后兼容和toolchain规则
xbl · 2023-10-21 · via Xiaobin's Notes
  • 1. Go 1.21版本之前的向前兼容问题
  • 2. Go 1.21版本后的向前兼容策略
  • 3. module依赖的Go toolchain版本的选择过程
  • 4. GOTOOLCHAIN环境变量与toolchain版本选择
  • 5. 小结
  • 6. 参考资料

Go语言在发展演进过程中一直十分注重向后兼容性(backward compatibility),在Go 1.0版本发布之初就发布了Go1兼容性承诺,简单来说就是保证使用新版本Go可以正常编译和运行老版本的Go代码语法编写的go代码),不会出现breaking change(其实也不是绝对的不会出现)。

但是在Go 1.21版本之前,Go语言在向前兼容性方面却存在一定的不确定性问题。Go 1.21版本对此进行了改进,并引入了go toolchain规则。

1. Go 1.21版本之前的向前兼容问题

在Go 1.21版本之前,Go module中的go directive用于声明建议的Go版本,但并不强制实施。例如:

1
2
3
4
// go.mod
module demo1

go 1.20

上面go.mod文件中的go directive表示建议使用Go 1.20及以上版本编译本module代码,但并不强制禁止使用低于1.20版本的Go对module进行编译。你也可以使用Go 1.19版本,甚至是Go 1.15版本编译这个module的代码。

但Go官方对于这种使用低版本(L)编译器编译go directive为高版本(H)的Go module的结果没有作出任何承诺和保证,其结果也是不确定的

如果你在代码中没有引入高版本(>=L+1)go的新语法特性,那么编译是可以通过的。

如果你的代码没有用到任何高版本(>=L+1)的语法行为变更、bug或安全漏洞的代码,那么编译出的可执行程序运行起来也可以是正常的。

否则,可能会编译失败、运行失败, 或者运行时出现breaking change的问题。

自己的代码可以避免这些问题,但如果你的module有外部依赖,就无法避免了。从Go 1.21版本开始,Go团队在向前兼容方面做了改善,以规避编译结果的不确定性。

2. Go 1.21版本后的向前兼容策略

Go从Go 1.11版本引入go module,在go 1.16版本,go module构建模式正式成为默认构建模式,替代了原先的GOPATH构建模式。

注:《Go语言第一课》专栏的第6讲第7讲对Go module构建模式与6类常规操作做了全面系统的讲解。

通过go module,结合语义导入版本(semantic import versioning)最小版本选择(Minimal version selection)等机制,go build可以实现精确的依赖管控。

Go 1.21版本后的向前兼容性策略的调整就是参考了go module对依赖的管理方法:即将go版本和go toolchain版本作为一个module的“依赖”来管理。如果你真正理解了这个,那理解后面那些具体的规则就容易多了!

如果Russ Cox当初设计Go module就想到了今天这个思路,估计就会直接使用go.mod文件中的require语法像管理依赖module那样来管理go version和go toolchain了:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
// go.mod (假想的)

module demo1

require (
go 1.20.5
toolchain go1.21.1
)

require (
github.com/gomodule/redigo v1.8.5
github.com/google/gops v0.3.19
github.com/panjf2000/ants v1.2.1
)

但时间无法倒流,历史不能重来,Russ Cox现在只能使用go directive和toolchain directive来提供对go版本和go工具链的依赖信息:

1
2
3
4
5
6
// go.mod

module demo1

go 1.20.5
toolchain 1.21.1

同时和使用go get可以改变go.mod的require块中的依赖的版本一样,通过go get也可以修改go.mod中go和toolchain指示的版本:

1
2
$go get go@1.21.1
$go get toolchain@go1.22.1

基于上述策略调整,为解决向前兼容不确定性的问题,Go从1.21版本开始,改变了go.mod中go directive的语义:它不再是建议,而是指定了module最小可用的Go版本。

这样在仅使用本地go工具链的情况下,如果Go编译器版本低于go.mod中的go版本,将无法编译代码:

1
2
3
4
5
6
7
8
// go.mod

module demo1

go 1.21.1 // 指定最小可用版本为Go 1.21.1

$GOTOOLCHAIN=local go build
go: go.mod requires go >= 1.21.1 (running go 1.21.0; GOTOOLCHAIN=local)

这里有一个前提:“在仅使用本地go工具链的情况下(即设置了GOTOOLCHAIN=local)”,在Go 1.21版本之前,我们遇到的都属于这种情况。遇到这种情况后,我们一般的作法是手动下载对应版本的Go工具链(比如这里的go 1.21.1),然后用新版工具链重新编译。

Go团队考虑到手动管理go工具链带来的体验不佳问题,在Go 1.21版本及以后,go还提供了自动Go工具链管理,如果go发现本地工具链版本低于go module要求的最低go版本,那么go会自动下载高版本的go工具链,缓存到go module cache中(不会覆盖本地安装的go工具链),并用新下载的go工具链对module进行编译构建:

1
2
3
4
5
6
7
8
// go.mod

module demo1

go 1.21.1 // 指定最小可用版本为Go 1.21.1

$go build
go: downloading go1.21.1 (darwin/amd64)

注:从兼容性方面考虑,如果go.mod中没有显式的用go指示go版本,那么默认go版本为1.16。

对应module有依赖的情况,比如下图:

这里要正确编译图中的main module,我们至少需要go 1.21.0版本,这个版本是main所有依赖中version最大的那个。

当然最终选择哪个版本的go工具链对module进行编译,则有一个选择决策的过程。

go module构建模式下,go工具链选择依赖module的版本时有一套机制,比如最小版本选择等,Go 1.21以后,go工具链版本的选择,也有一套类似的逻辑。接下来我们就来简单看一下。

3. module依赖的Go toolchain版本的选择过程

go module中依赖module的版本选择机制:最小版本选择(mvs)

上图来自https://go.dev/ref/mod

以module C的版本选择为例,A依赖C 1.3,B依赖C 1.4,那么满足应用依赖需求的最小版本就是1.4。如果选择1.3,则不满足B对依赖的要求。

对Go toolchain的选择过程也遵循mvs方法,我们把前面的那个例子拿过来:

现在我们帮这个例子选择go toolchain版本。

注:如果go.mod中没有显式用toolchain指示工具链版本,那我们可以认为go.mod中有一个隐含的toolchain指示版本,该版本与go directive指示的版本一致。

上面的例子中对toolchain version的最高要求为module D的go 1.21.0,当startup toolchain(执行的那个go命令的版本)得到这个信息后,就会在当前可用的toolchain版本列表中选出满足go 1.21.0的最小版本的go toolchain,然后会有一个叫Go toolchain switches(Go工具链切换)的过程,切换后,选出的新版go toolchain会继续后面的工作(编译和链接)。例如,如果可用的toolchain版本有如下三个:

  • go 1.22.7
  • go 1.21.3
  • go 1.21.5

那么startup toolchain会根据mvs原则选出满足go 1.21.0的最小版本,即go 1.21.3。

这里大家可能会马上问:什么是可用的toolchain版本?别急!接下来我们就来回答这个问题。

4. GOTOOLCHAIN环境变量与toolchain版本选择

是否执行自动工具链下载和缓存、Go toolchain switches(Go工具链切换)以及切换的工具链的版本取决于GOTOOLCHAIN环境变量的设置、go.mod中go和toolchain指示的版本。

当go命令捆绑的工具链与module的go.mod的go或工具链版本一样时或更新时,go命令会使用自己的捆绑工具链。例如,当在main module的go.mod包含有go 1.21.0时,如果go命令绑定的工具链是Go 1.21.3版本,那么将继续使用初始toolchain的版本,即Go 1.21.3。

而如果go.mod中的go版本写着go 1.21.9,那么go命令捆绑的工具链版本1.21.3显然不能满足要求,那此时就要看GOTOOLCHAIN环境变量的配置。

GOTOOLCHAIN的设置以及对结果的影响略复杂,下面是GOTOOLCHAIN的多种设置形式以及对toolchain选择的影响说明(以下示例中本地go命令捆绑的工具链版本为Go 1.21.0):

  • <name>

例如,GOTOOLCHAIN=go1.21.0。go命令将始终运行该特定版本的go工具链。如果本地存在该版本工具链,就使用本地的。如果不存在,会下载、缓存起来并使用。如果go.mod中的工具链版本高于name版本,则停止编译:

1
2
3
4
5
6
7
8
$cat go.mod
module demo1

go 1.23.1
toolchain go1.23.1

$GOTOOLCHAIN=go1.21.0 go build
go: go.mod requires go &gt;= 1.23.1 (running go 1.21.0; GOTOOLCHAIN=go1.21.0)
  • <name>+auto

当GOTOOLCHAIN设置为<name>+auto时,go命令会根据需要选择并运行较新的Go版本。具体来说,它会查询go.mod文件中的工具链版本和go version。如果go.mod 文件中有toolchain行,且toolchain指示的版本比默认的Go工具链(name)新,那么系统就会调用toolchain指示的工具链版本;反之会使用默认工具链。

当本地不存在决策后的工具链版本时,会自动下载、缓存,并使用该缓存工具链进行后续编译。

1
2
3
4
5
6
7
8
9
10
11
$cat go.mod
module demo1

go 1.23.1
toolchain go1.23.1

$GOTOOLCHAIN=go1.24.1+auto go build
go: downloading go1.24.1 (darwin/amd64) // 使用name指定工具链,但该工具链本地不存在,于是下载。

$GOTOOLCHAIN=go1.20.1+auto go build
go: downloading go1.23.1 (darwin/amd64) // 使用go.mod中的版本的工具链
  • <name>+path

当GOTOOLCHAIN设置为<name>+path时,go命令会根据需要选择并运行较新的Go版本。具体来说,它会查询go.mod文件中的工具链版本和go version。如果go.mod 文件中有toolchain行,且toolchain指示的版本比默认的Go工具链(name)新,那么系统就会调用toolchain指示的工具链版本;反之会使用默认工具链。当使用<name>+path时,如果决策得到的工具链版本在PATH路径下没有找到,那么go命令执行过程将终止。

1
2
3
4
5
6
7
8
9
10
11
$cat go.mod
module demo1

go 1.23.1
toolchain go1.23.1

$GOTOOLCHAIN=go1.24.1+path go build // 使用name指定工具链,但该工具链本地不存在,于是编译停止
go: cannot find "go1.24.1" in PATH

$GOTOOLCHAIN=go1.20.1+path go build // 使用go.mod中的版本的工具链,但该工具链本地不存在,于是编译停止
go: cannot find "go1.23.1" in PATH
  • auto (等价于 local+auto,这也是默认值)

auto的语义是当go.mod中工具链版本低于go命令捆绑的工具链版本,则使用go命令运行捆绑的工具链;反之,自动下载对应的工具链版本,缓存起来并使用。

1
2
3
4
5
6
7
8
$cat go.mod
module demo1

go 1.23.1
toolchain go1.23.1

$GOTOOLCHAIN=auto go build
go: downloading go1.23.1 (darwin/amd64)
  • path (等价于 local+path)

path的语义是当go.mod中工具链版本低于go命令捆绑的工具链版本,则使用go命令运行捆绑的工具链;反之,在PATH中找到满足go.mod中工具链版本的go版本。如果没找到,则会停止编译过程:

1
2
3
4
5
6
7
8
$cat go.mod
module demo1

go 1.23.1
toolchain go1.23.1

$GOTOOLCHAIN=path go build
go: cannot find "go1.23.1" in PATH
  • local

当GOTOOLCHAIN设置为local时,go命令总是运行捆绑的 Go 工具链。如果go.mod中工具链版本高于local的版本,则会停止编译过程。

1
2
3
4
5
6
7
8
$cat go.mod
module demo1

go 1.23.1
toolchain go1.23.1

$GOTOOLCHAIN=local go build
go: go.mod requires go &gt;= 1.23.1 (running go 1.21.0; GOTOOLCHAIN=local)

当Go工具在编译module依赖项时发现当前go toolchain版本无法满足要求时,会进行go toolchain switches(切换),切换的过程就是从可用的go toolchain列表中取出一个最适合的。

那么“可用的go toolchain列表”究竟是如何组成的呢? go命令有三个候选版本(以 Go 1.21.1为例,这些版本也是Go当前承诺提供support的版本):

  • 尚未发布的Go语言版本的最新候选版本(1.22rc1)
  • 最近发布的 Go 语言版本的最新补丁 (1.21.1)
  • 上一个Go语言版本的最新补丁版本(1.20.8)。

当GOTOOLCHAIN设置为带auto形式的值的时候,Go会下载这些版本;当GOTOOLCHAIN设置为代path形式的值的时候,Go会在PATH路径搜索适合的go工具链列表。

接下来,go会用mvs(最小版本选择)来确定究竟使用哪个toolchain版本。Go toolchain reference中就有这样一个例子。

假设example.com/widget@v1.2.3需要Go 1.24rc1或更高版本。go命令会获取可用工具链列表,并发现两个最新Go工具链的最新补丁版本是Go 1.28.3和Go 1.27.9,候选版本Go 1.29rc2也可用。在这种情况下,go 命令会选择Go 1.27.9。

如果 widget 需要 Go 1.28或更高版本,go命令会选择 Go 1.28.3,因为 Go 1.27.9 太旧了。如果widget需要Go 1.29或更高版本,go命令会选择Go 1.29rc2,因为Go 1.27.9和Go 1.28.3都太老了。

5. 小结

Go 1.21通过增强go语句语义和添加工具链管理,大幅改进了Go语言的向前兼容性。开发者可以放心使用新语言特性,无需担心旧版本编译器带来的问题。go命令会自动处理不同module使用不同go版本和不同工具链版本的情况,使用Go语言变得更简单。

6. 参考资料