惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

G
Google Developers Blog
Jina AI
Jina AI
大猫的无限游戏
大猫的无限游戏
Martin Fowler
Martin Fowler
博客园 - 司徒正美
云风的 BLOG
云风的 BLOG
C
Cybersecurity and Infrastructure Security Agency CISA
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
S
Securelist
S
Security Affairs
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
L
LINUX DO - 热门话题
博客园 - 三生石上(FineUI控件)
T
Threatpost
T
The Blog of Author Tim Ferriss
C
CERT Recently Published Vulnerability Notes
IT之家
IT之家
P
Palo Alto Networks Blog
Microsoft Azure Blog
Microsoft Azure Blog
Spread Privacy
Spread Privacy
Cyberwarzone
Cyberwarzone
腾讯CDC
L
LangChain Blog
Know Your Adversary
Know Your Adversary
C
CXSECURITY Database RSS Feed - CXSecurity.com
GbyAI
GbyAI
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
I
Intezer
T
Tor Project blog
AWS News Blog
AWS News Blog
T
Tenable Blog
NISL@THU
NISL@THU
Security Latest
Security Latest
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
H
Hackread – Cybersecurity News, Data Breaches, AI and More
人人都是产品经理
人人都是产品经理
MongoDB | Blog
MongoDB | Blog
MyScale Blog
MyScale Blog
D
DataBreaches.Net
Microsoft Security Blog
Microsoft Security Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
量子位
美团技术团队
The Cloudflare Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
罗磊的独立博客
The GitHub Blog
The GitHub Blog
阮一峰的网络日志
阮一峰的网络日志
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Stack Overflow Blog
Stack Overflow Blog

Mohuishou

如何实现支持多集群的 Kubernetes Operator? 第三方应用如何调用我们 kubebuilder 生成的自定义资源? Kubernetes 简明教程 k8s job 为何迟迟不能结束? Go 工程化(十一) 如何优雅的写出 repo 层代码 Go 工程化(十) 如何在整洁架构中使用事务? 给博客添加章节目录 使用 Notion Database 管理静态博客文章 一个普通 Go 开发的三年 4. localhost 就一定是 localhost 么? Go可用性(七) 总结: 一张图串联可用性知识点 Go可用性(六) 熔断 10. 总结 9. kubebuilder 进阶: 源码分析 8. kubebuilder 进阶: webhook 7. kubebuilder 进阶: 测试 6. kubebuilder 实战: status & event 5. kubebuilder 实战: CRUD 4. kustomize 简明教程 3. KubeBuilder 简明教程 2. Kind: 如何快速搭建本地 K8s 开发环境? 1. Operator概述: 如何对 Kubernetes 进行扩展 Go可用性(五) 自适应限流 Go可用性(四) 漏桶算法 Go可用性(三) 令牌桶的实现 rate/limt Go可用性(二) 令牌桶原理及使用 Go可用性(一) 隔离设计 Go并发编程(十二) Singleflight Go工程化(九) 项目重构实践 Go工程化(八) 单元测试 Go工程化(六) 配置管理 Go工程化(五) API 设计下: 基于 protobuf 自动生成 gin 代码 Go工程化(四) API 设计上: 项目结构 & 设计 Go工程化(三) 依赖注入框架 wire Go工程化(二) 项目目录结构 Go工程化(一) 架构整洁之道阅读笔记 Go并发编程(十一) 总结 Go并发编程(十) 深入理解 Channel Go并发编程(九) 深入理解 Context Go并发编程(八) 深入理解 sync.Once Go并发编程(七) 深入理解 errgroup Go并发编程(六) 深入理解 WaitGroup Go并发编程(五) 深入理解 sync/atomic Go并发编程(四) 深入理解 Mutex Go并发编程(三) data race Go并发编程(二) Go 内存模型 Go并发编程(一) goroutine Go错误处理最佳实践 微服务(二) 服务发现&多租户 微服务(一) 微服务概览 5. 栈下: 深入理解 defer 4. 栈上: 如何实现一个计算器 Go Struct 初始化风格的抉择 3. 数组下: 使用 GDB 调试 Golang 代码 2. 数组上: 深入理解 slice 1. 链表: 深入理解container/list&LRU缓存的实现 Go设计模式24-总结(更新完毕) Go设计模式23-中介模式 Go设计模式22-解释器模式 Go设计模式21-命令模式 Go设计模式20-备忘录模式 Go设计模式19-访问者模式 Go设计模式18-迭代器模式 Go设计模式17-状态模式 Go设计模式16-职责链模式(Gin的中间件实现) Go设计模式15-策略模式 Go模板模式14-模板模式 Go设计模式13-观察者模式(实现简单的EventBus) Go设计模式12-享元模式 Go设计模式11-组合模式 Go设计模式10-门面模式 Go设计模式09-适配器模式 Go设计模式08-装饰器模式 Go设计模式07-桥接模式 Go设计模式06-代理模式(generate实现类似动态代理) Go设计模式05-创建型模式总结 Go设计模式04-原型模式 Go设计模式03-建造者模式 Go设计模式02-工厂模式&DI容器 笔记-让你最快速地改善代码质量的20条编程规范 Go设计模式01-单例模式 一点拙见-如何写好一个技术预研报告? Go Web小技巧(四)在单个仓库中支持多个 go mod 模块 Go Web 小技巧(三)Gin 参数绑定 Go Web 小技巧(二)GORM 使用自定义类型 Go Web 小技巧(一)简化Gin接口代码 善用工具之postman高级用法概述 go generate and ast hexo-next-algolia-search全文搜索 docker镜像瘦身&优化 GORM避坑指南之含关联关系的更新 Github Actions介绍&自动构建Github Pages博客 在blog中内嵌在线PPT 记一次net http内存泄漏 使用TravisCI自动部署Blog 使用Goland调试Go程序 一个十分边缘的gorm的bug Httprouter介绍及源码阅读 Gin源码阅读 从0.1开始
Go工程化(七) Go Module
Mohuishou · 2021-03-07 · via Mohuishou

注:本文已发布超过一年,请注意您所使用工具的相关版本是否适用

本系列为 Go 进阶训练营 笔记,访问 博客: Go进阶训练营, 即可查看当前更新进度,部分文章篇幅较长,使用 PC 大屏浏览体验更佳。

3 月进度: 04/15 3 月开始会尝试爆更模式,争取做到两天更新一篇文章,如果感兴趣可以拉到文章最下方获取关注方式。

本文将会分为两部分,第一部分会简单介绍一下 go module 的使用,算是一个简明教程,第二部分会重点介绍一下使用 go module 使用过程当中会遇到的一些坑的解决办法。

PS: Go 的版本管理一直是一个槽点,虽然 go module 已经解决了很多问题,但是槽点还是比较多,本文会介绍一些常见的坑,如果遇到了其他的坑也不要慌,Google 可以帮助你

从 go 1.11 的初步支持,到 1.16 后的默认开启,go module 已经经历了 5 个版本,已然成为了创建 go 项目的首选包管理方式,这一趴我们就先看一下 go module 的基本使用。

使用 Go Module

初始化

1
2
# go mod init [包路径]
go mod init github.com/mohuishou/go-mod-example

执行上述命令会在当前目录下生成一个 go.mod  文件

1
2
3
module github.com/mohuishou/go-mod-example

go 1.16

添加依赖

执行 go get 包 添加添加对应库到 go mod 中

1
go get github.com/sirupsen/logrus

这时候会在 go mod 中添加如下信息

1
2
3
4
5
module github.com/mohuishou/go-mod-example

go 1.16

require github.com/sirupsen/logrus v1.8.0 // indirect

  • 在 go get 的时候如果不手动指定版本信息,会自动拉取最新的版本的包
  • 如果想要拉取指定版本可以通过 go get github.com/sirupsen/logrus@v1.7.0  的方式,支持
    • @版本号 例如 @v1.7.0
    • @分支名  例如 @master
    • @commit tag  例如 @6cff360233dc4457f1536e4f3df4e4e740fd3410
  • // indirect  表示,我们在代码中没有直接应用这个包

执行完 go get 命令之后还会在目录下生成一个 go.sum  文件

1
2
3
4
5
6
7
8
......

github.com/pmezard/go-difflib v1.0.0 h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=
github.com/pmezard/go-difflib v1.0.0/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4=
github.com/sirupsen/logrus v1.8.0 h1:nfhvjKcUMhBMVqbKHJlk5RPrrfYr/NMo3692g0dwfWU=
github.com/sirupsen/logrus v1.8.0/go.mod h1:4GuYW9TZmE769R5STWrRakJc4UqQ3+QQ95fyz7ENv1A=

......

这个文件主要包含当前依赖的所有的包,像 go-difflib  我们没有直接依赖,但是我们依赖的 logrus  有依赖它,所以会列在这里

h1:4DBwDE0NGyQoBHbLQYPwSUPoCMWR5BEzIk/f1lZbAQM=  这一串是一个加密的哈希数据,用来保证这个版本一定是一致的,避免包的发布者删除了这个版本之后,修改代码重复发布

现在我们在代码中使用这个包试试

1
2
3
4
5
6
7
package main

import "github.com/sirupsen/logrus"

func main() {
logrus.Info("hello")
}

清理依赖

随着我们开发,可能会有一些包,之前依赖但是后面就不再依赖了,这个时候我们如果要清理哪些不再需要的依赖可以执行下面的命令来进行清理

1
go mod tidy

发布 Go Module

Go 版本号

go 默认使用语义化的版本来表示版本号,基本的方式

  • vMAJOR.MINOR.PATCH
    • 有破坏性变更的时候需要增加主版本号,也就是 MAJOR ,例如 v1.0.0 -> v2.0.0
    • 当有新增的函数或者是 API 时,我们增加 MINOR  版本号,例如 v1.1.0 -> v1.2.0
    • 当没有新的 feature 的时候,例如 bug 修复时,我们增加 PATCH  版本号,例如 v1.1.1 -> v1.1.2
  • 除此之外我们还可以在版本号后面使用 -  表示一些特殊的预发布版本例如 alpha beta 版本等
    • v1.1.1-alpha
    • v1.1.1-beta.2
    • 上面这种特殊的版本只会在手动指定的版本号的时候才会去获取它,默认情况或者是在更新版本的时候不会获取这些版本
  • 为了兼容在 Go Module 出现之前的一些版本,你可能会看到还有一种比较特殊的版本号
    • v0.0.0-20170915032832-14c0d48ead0c
    • 如果依赖的仓库从来没有发布过版本,就会以这种方式存在

v1 及之前版本的发布

1.0 之前的版本发布非常简单,只需要做两件事情

  • 添加一个 LICENSE 文件(非必须)
  • 使用 git tag v1.0.0  加一个版本 tag 即可

v2 及之后版本的发布

2.0 之后的版本发布就麻烦一些了,因为 Go Module 的限制,v2 之后的版本需要在 go.mod  中显示的指定 /v2  主版本好标识,用户在使用导入包的时候也必须加上这个版本标志,这个好处就是可以同时同时导入不同版本的包,但是在升级的时候就比较蛋疼了,必须要将所有文件的导入路径都修改一下

那么该如何发布新版本的包呢?官方推荐的操作是

  • 我们先在当前目录下创建一个 v2  文件夹,应为这样可以兼容那些还在使用 GOPATH  的用户,当然这不是必须的
  • 然后我们再修改一下 go.mod  文件, 在包名后加上主版本号,例如
    • module github.com/mohuishou/go-mod-example/v2
  • 最后我们再使用 git tag v2.0.0  打一个版本并发布即可

Go Module 避坑指南

1. 拉取依赖很慢,有的包还拉取不到

Go 默认的 GOPROXY 配置是 proxy.golang.org , 默认国内无法访问,我们可以配置国内镜像,推荐 goproxy.cn  或者 goproxy.io

1
go env -w GOPROXY=https://goproxy.cn,direct

1.16 之前 Go Module 并未默认开启还需要配置

1
go env -w GO111MODULE=on

2. 公司私有仓库包如何获取

Go 获取包的时候默认会走 PROXY,这个只要你们的库没有对公网发布,那就获取不到,可以通过设置环境变量解决

1
go env -w GOPRIVATE=gitlab.com/xxx

3. 依赖的包被自动升级

在 1.16 后, go build, go test, go get 等命令已经不会自动升级我们依赖的包了,但是在 1.16 之前,这个操作很难受。

首先,这个操作非常的反直觉,其次还有可能会导致非预期的 bug,虽然在 Go Module 的设计当中,主版本不变的情况下都应该保持向前兼容,但是很多知名的第三库都做不到这个,包括 Google 自己开发的 grpc,我们之前就出现过由于 grpc 版本自动升级导致的程序连接错误,必须要回退版本才行。

三个解决办法都可以解决:

  • 升级 Go 版本到 1.16
  • 使用 -mod=readonly ,例如 go build -mod=readonly
  • go.mod  文件中使用 replace  指令指定版本

4. 包的源代码仓库删库了怎么办?

这个其实在 Go Module 上还好一些,因为 Go Module 默认使用 Go Proxy 只要你使用的库的 LICENSE 和 GOPROXY 没有问题,一般都会有缓存

  • 建议公司需要搭建一套自己的 GOPROXY
  • 建议使用官方的 GOPROXY 或者是 goproxy.cn

5. logrus 包名问题

1
2
3
4
5
go: downloading github.com/Sirupsen/logrus v1.4.1
go get: github.com/Sirupsen/logrus@v1.0.6 updating to
github.com/Sirupsen/logrus@v1.4.1: parsing go.mod:
module declares its path as: github.com/sirupsen/logrus
but was required as: github.com/Sirupsen/logrus

现在这个错误应该比较少了,但是我们碰到过很多次了,主要的原因就是 logrus 的作者改了 github 名字,从 Sirupsen  -> sirupsen  就导致了大量依赖 logrus 库的第三方库报错冲突,这个的解决方案也是使用 replace

go.mod  的最后加上这么一句就可以了

1
2
3
replace (
github.com/Sirupsen/logrus v1.4.1 => github.com/sirupsen/logrus v1.4.1
)

6. go.sum git merge 冲突

其实很多包管理都有类似的问题,解决方法一般情况下 git merge 合并后再重新执行 go mod tidy 清理一下即可

7. Go 版本升级无法使用新特性

举个例子,我从 go 1.15 升级到 1.16 想使用 embed,也就是静态文件打包的特性,但是我们发现升级 Go 之后执行还是会报错

1
2
3
❯ go run ./main.go
# command-line-arguments
./main.go:9:3: go:embed requires go1.16 or later (-lang was set to go1.15; check go.mod)

这种情况修改一下 go.mod  文件中 go 1.15  到 go 1.16  即可

总结

关于 Go Module 的介绍就到这里了,说实话 Go 的包管理一直以来都是社区的痛点,从 GOPATH 到 Go Vendor 再到 dep 、 glide  等社区工具再到现在的 go mod 整体来说还是变得越来越好,特别是最新的 go 1.16 版本,如果没有其他问题的话还是建议升级的,仅默认 readonly  模式这一项就可以少很多事情

参考文献

  1. Go 进阶训练营-极客时间
  2. https://blog.golang.org/modules2019
  3. https://blog.golang.org/using-go-modules
  4. https://blog.golang.org/migrating-to-go-modules
  5. https://blog.golang.org/module-mirror-launch
  6. https://blog.golang.org/publishing-go-modules
  7. https://blog.golang.org/v2-go-modules
  8. https://blog.golang.org/module-compatibility
  9. Go mod 七宗罪
  10. golang 1.13 - 依赖管理从 dep 到 mod 踩坑 | 存档 Save&Load
  11. Go 填坑之将 Private 仓库用作 module 依赖 | 小木屋

关注我获取更新

猜你喜欢