基于 centos7.9，docker-ce-20.10.18，kubelet-1.22.3-0
kubelet logs 命令的流程
kubectl logs --请求--> apiserver --请求--> kubelet --读取--> container日志
k8s 日志包含两大类：
journalctl -u kubelet
kubectl logs kube-proxy -n kube-system
/var/log/messages
实时查看 pod 标准输出日志
kubectl logs [options] <podname>
kubectl logs -f <podname>
kubectl logs -f <podname> -c <containername>
kubectl logs --previous <podname> # 查看pod上次重启的日志
k8s 会将每个 pod 中每个 container 的日志记录到 pod 所在 node 的 /var/log/pods 目录中, 日志文件其实是 docker 保存的日志文件的一个软连接.
k8s 会为每个 pod 的每个 container 日志保留 2 份, 一份为 container 当前状态的日志, 另一份是 container 上一次生命周期的日志, 日志保留数量应该是由 k8s 的 gc 机制管控.
# k8s 日志
/var/log/pods/<pod namespace>_<pod name>_<pod uid>/<容器名称>/容器重启次数.log
# docker日志
/var/lib/docker/containers/<container-id>/<container-id>-json.log
示例
# 可以看到 calico-kube-controllers 这个 pod 重启了 7 次
[root@k8s-node1 ~]# kubectl get pods -n kube-system -l k8s-app=calico-kube-controllers
NAME READY STATUS RESTARTS AGE
calico-kube-controllers-6c76574f75-69flf 1/1 Running 7 (41h ago) 4d1h
# k8s 分别保存了编号 6 和 7 两个日志文件
[root@k8s-node3 ~]# ls -l /var/log/pods/kube-system_calico-kube-controllers-6c76574f75-69flf_066e1042-97a4-4547-8d2d-6580cbad40c5/calico-kube-controllers/
lrwxrwxrwx. 1 root root 165 Apr 20 14:31 6.log -> /var/lib/docker/containers/8ed4865daa5d984d9b7e3412f61251ce1a5e12e295fce1f14ee341c3f79b1afe/8ed4865daa5d984d9b7e3412f61251ce1a5e12e295fce1f14ee341c3f79b1afe-json.log
lrwxrwxrwx. 1 root root 165 Apr 23 10:23 7.log -> /var/lib/docker/containers/c30d353ee464efd853968dcd1524933aa214294303e5a7cd7828b0e86f0e94ec/c30d353ee464efd853968dcd1524933aa214294303e5a7cd7828b0e86f0e94ec-json.log
# 7 号日志文件是当前生命周期的日志
[root@k8s-node1 ~]# kubectl logs --tail=1 calico-kube-controllers-6c76574f75-69flf -n kube-system
2023-04-23 03:05:54.256 [INFO][1] resources.go 350: Main client watcher loop
[root@k8s-node3 calico-kube-controllers]# tail -n 1 7.log | python -m json.tool
{
"log": "2023-04-23 03:05:54.256 [INFO][1] resources.go 350: Main client watcher loop\n",
"stream": "stderr",
"time": "2023-04-23T03:05:54.257447874Z"
}
# 6 号日志文件是上一次生命周期的日志
[root@k8s-node1 ~]# kubectl logs --tail=1 --previous calico-kube-controllers-6c76574f75-69flf -n kube-system
2023-04-21 08:57:20.637 [INFO][1] resources.go 350: Main client watcher loop
[root@k8s-node3 calico-kube-controllers]# tail -n 1 6.log | python -m json.tool
{
"log": "2023-04-21 08:57:20.637 [INFO][1] resources.go 350: Main client watcher loop\n",
"stream": "stderr",
"time": "2023-04-21T08:57:20.637780663Z"
}
比如 nginx 应用的日志一般保存在 accesss.log 和 error.log 日志中，这些日志是不会输出到标准输出的，可以采用如下两种方式进行采集
创建 pod 时挂载 emptyDIr 类型的数据卷，用以持久化自定义的日志文件
需要先找到 pod 分配的节点
再查看 pod 的 id
docker ps | grep pod-name
# 或者
kubectl get pod <podname> -n <namespace> -o jsonpath='{.metadata.uid}'
pod 日志文件路径
/var/lib/kubelet/pods/<pod-id>/volumes/kubernetes.io~empty-dir
示例
apiVersion: v1
kind: Pod
metadata:
name: pod-logs-emptydir
spec:
containers:
- name: web
image: nginx
volumeMounts:
- name: logs
mountPath: /var/log/nginx/
volumes:
- name: logs
emptyDir: {}
通过创建边车容器实现将应用原本的日志文件输出到标准输出
示例：
apiVersion: v1
kind: Pod
metadata:
name: nginx
labels:
app: nginx
spec:
containers:
- name: web
image: nginx:1.22.1
volumeMounts:
- name: logs
mountPath: /var/log/nginx/
- name: accesslog
image: busybox:1.28
command: ['/bin/sh', '-c', 'tail -f /opt/access.log']
volumeMounts:
- name: logs
mountPath: /opt
volumes:
- name: logs
emptyDir: {}
以上
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。