惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

WordPress大学
WordPress大学
G
Google Developers Blog
小众软件
小众软件
V
V2EX
月光博客
月光博客
腾讯CDC
aimingoo的专栏
aimingoo的专栏
J
Java Code Geeks
Y
Y Combinator Blog
人人都是产品经理
人人都是产品经理
B
Blog RSS Feed
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Microsoft Azure Blog
Microsoft Azure Blog
博客园 - 【当耐特】
D
Docker
M
MIT News - Artificial intelligence
Google DeepMind News
Google DeepMind News
N
Netflix TechBlog - Medium
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
I
InfoQ
MongoDB | Blog
MongoDB | Blog
Apple Machine Learning Research
Apple Machine Learning Research
Jina AI
Jina AI

小松鼠的博客

记录一次线上k8s工作节点无法创建容器的问题排查思路与解决办法 记一次线上GoLang项目OOM排查过程 从LastPass转向拥抱开源KeePass的心路历程 故障定位与 AI 结合前后端编码实践 FileBeat收集nginx-ingress-controller日志 K8s云原生环境下文件描述符占用过高查询思路 2024年最新关闭火绒安全工具的开机自启方法 Kubernetes任务调度实践-Go语言实现Job和CronJob对比分析 离线更新k8s环境下的trivy漏洞库方法 使用Go语言接入Choerodon实现基于OAuth2的统一身份认证登录 在Vue2中自定义Switch组件并实现父子组件双向数据绑定 关于docker jdk1.8镜像中的GB18030-2022标准支持及验证 Go框架gin中的session存储gin-contrib-sessions和go-session 关于修改node_module中的源码问题记录 docker-compose网络和内网服务IP冲突问题 慎用存储过程:一条语句引发的数据库存储100%占用 Spring Boot中4种文件下载方法的实现 避坑-不能将specific类型的gitlab-runner改变为share类型 Docker compose中的MySQL主从复制模式和percona-toolkit工具使用 在minio中开启https访问以及使用rclone备份minio桶 在多机Docker环境下部署Choerodon的解决方案 Prometheus中Monitor添加对SpringBoot Actuator的Basic认证 在Nginx的容器镜像中隐藏Nginx的Server响应头 K8s中的两种nginx-ingress-controller及其区别 两个docker工具:runlike和whaler Grafana中的邮件报警和截图插件grafana-image-enderer K8s中externalName-service和services-without-selectors maven配置文件settings.xml中的一些概念总结 K8s中flexvolume插件驱动的安装 K8s中的coredns无法解析svc问题排查
关于k8s中对于SpringBoot应用TCP类型的就绪探针不准确的问题发现
ycyin · 2022-06-25 · via 小松鼠的博客

2022年6月25日大约 3 分钟云原生k8sSpring Boot


在K8s中我们知道可以使用Exec或TCP或HTTP对应用进行就绪探针检测和存活检测、以便K8s可以对应用进行平滑更新、升级、关停等。最近在K8s中部署SpringBoot应用,使用TCP 8080(应用端口)进行就绪探针检测,在更新应用时发现了一个问题。

由于该应用启动时间比较长,大概60s,K8s设定每15秒进行一次TCP就绪探针检测,发现进行应用更新过程中,新版本还未完全启动时便kill掉了老版本,导致应用出现大概35秒的时间不可用,使用kubectl get pod -w观察过程如下:

使用TCP Socket进行就绪探测:

NAME                                       READY   STATUS            RESTARTS   AGE
configcenter-6776d8df57-rx9jh              0/2     PodInitializing   0          13s
configcenter-88b79dbf9-k8fqr               2/2     Running           0          97m
configcenter-6776d8df57-rx9jh              0/2     Running           0          14s
configcenter-6776d8df57-rx9jh              1/2     Running           0          15s
configcenter-6776d8df57-rx9jh              2/2     Running           0          25s
configcenter-88b79dbf9-k8fqr               2/2     Terminating       0          97m
configcenter-88b79dbf9-k8fqr               0/2     Terminating       0          97m
configcenter-88b79dbf9-k8fqr               0/2     Terminating       0          97m
configcenter-88b79dbf9-k8fqr               0/2     Terminating       0          97m

可以发现新版本在25秒时状态已经变为Running状态,紧接着旧版本就处于Terminating状态,而实际上应用启动需要耗时60秒。这就出现了新版本还未真正就绪就杀死了旧版本Pod导致应用短时不可用现象。

使用HTTP进行就绪探测:

NAME                                       READY   STATUS            RESTARTS   AGE
configcenter-6776d8df57-rx9jh              2/2     Running           0          6m38s
configcenter-5c86fb6b57-fndqw              0/2     PodInitializing   0          2s
configcenter-5c86fb6b57-fndqw              0/2     Running           0          14s
configcenter-5c86fb6b57-fndqw              1/2     Running           0          15s
configcenter-5c86fb6b57-fndqw              2/2     Running           0          65s
configcenter-6776d8df57-rx9jh              2/2     Terminating       0          8m7s
configcenter-6776d8df57-rx9jh              0/2     Terminating       0          8m13s
configcenter-6776d8df57-rx9jh              0/2     Terminating       0          8m14s
configcenter-6776d8df57-rx9jh              0/2     Terminating       0          8m14s

发现这个问题后改为HTTP进行就绪探测,可以从上面的新旧版本Pod切换状态观察可以看出这次就是正常的,新版本在65秒时才是Running状态已经完全就绪,这时再杀死旧Pod已经完全没问题了。

原因猜测

没有深究这个问题,但是根据经验应该可以猜出大致问题所在:SpringBoot在启动过程中先启动了内置的Tomcat打开了应用8080端口,此时外部其实可以通过TCP进行连接这个端口了,而我们的Web应用还未就绪,HTTP请求也还进不来各种API服务还未提供。

总结

在K8s中部署SpringBoot应用,对应用进行就绪探针检测尽量使用HTTP类型更为准确,可以在应用中自己写一个/healthz接口(Google推荐这个接口名),或者可以通过加入监控包Prometheus提供默认的Http接口(xxx:8081/actuator/health)。

另外,如果项目出现OOM异常,使用TCP探针K8s也是无法检测到进行重启容器的。