谈一下Docker与Kubernetes集群的日志和日志管理

栏目: 服务器 · 发布时间: 6年前

内容简介：本文的测试环境为CentOS 7.3，Kubernetes集群为1.11.2，安装步骤参见日志对于我们管理Kubernetes集群及其上的应用具有非常重要的作用，特别是在出现故障或者Bug的时候。如果你能回答下面几个问题，那么可以不用再看本文了，如果不能回答，本文可能正好适合你。Docker产生的日志有两类:

本文的测试环境为CentOS 7.3，Kubernetes集群为1.11.2，安装步骤参见 kubeadm安装kubernetes V1.11.1 集群

日志对于我们管理Kubernetes集群及其上的应用具有非常重要的作用，特别是在出现故障或者Bug的时候。如果你能回答下面几个问题，那么可以不用再看本文了，如果不能回答，本文可能正好适合你。

Docker都会产生哪些日志？
Docker产生的日志都放在哪里？
Docker的日志的分割、清理策略默认为什么？
如何配置 Docker 日志的分割、清理策略？
Kubernetes都会产生哪些日志？
Kubernetes产生的日志都存放在那里？
如何集中管理Kubernetes产生的日志？

1. Docker的日志处理方案

Docker产生的日志有两类:

一类是Docker引擎日志。Docker引擎日志在不同的操作系统下管理方式不一样，在Centos中是通过journalctl来进行管理。
一类是容器日志。容器中的应用产生的日志默认都输出到 stdout 和 stderr 中，可以通过 docker logs 来访问。Docker为容器日志提供了多种实现机制称为logging driver。通过 docker info 可以查看本机使用的logging driver，默认为 json-file 形式，这种形式下每个容器的日志默认以json格式存储在 /var/lib/docker/containers/<容器id>/<容器id>-json.log 下。下面两种情况使用 docker logs 看不到什么有用的信息：
- 容器内的应用不是交互式应用，而是实现了自己的日志输出，例如对于Apache、Nginx等Web服务，通常会将访问日志和错误日志记录到不同的文件，而不是打到标准输出和错误输出。
- 使用不同的 logging driver 将日志送到了文件、外部服务器、数据库等集中的日志后台。

Docker目前支持的logging driver类型：

none
json-file
syslog
journald
gelf
fluentd
awslogs
splunk
etwlogs
gcplogs
logentries

1.1 配置logging driver

运行容器时，可以通过命令行参数指定logging driver的类型。

bogon:log rousseau$ docker run -it --log-driver none alpine sh
/ # ls
#切换一个终端
bogon:log rousseau$ docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
8ec61e8feb61        alpine              "sh"                13 seconds ago      Up 12 seconds                           xenodochial_ptolemy
bogon:log rousseau$ docker logs 8ec61e8feb61
Error response from daemon: configured logging driver does not support reading
bogon:log rousseau$ docker inspect -f '{{.HostConfig.LogConfig.Type}}' 8ec61e8feb61
none

对于日志输出到文件的应用，可以通过软连接的方式将日志输出到标准输出和标准错误输出。例如：The official nginx image creates a symbolic link from /var/log/nginx/access.log to /dev/stdout, and creates another symbolic link from /var/log/nginx/error.log to /dev/stderr, overwriting the log files and causing logs to be sent to the relevant special device instead.

对于多行格式的日志信息，有一点需要特别关注。The Docker json logging driver treats each line as a separate message. When using the Docker logging driver, there is no direct support for multi-line messages. You need to handle multi-line messages at the logging agent level or higher.

1.3 日志分割策略配置

在CentOS中，可以通过修改 /etc/docker/daemon.json 来配置Docker的日志分割策略。

{
    "log-driver": "json-file",
    "log-opts": {
        "max-size": "9m", # Max size of the log files.
        "max-file": "5" # The maximum number of log files that can be present.
    }
}

总结：对于单机的Docker来说，可以将日志以json-file的形式存储到本地磁盘，同时提供了根据文件大小进行文件分割的配置，也提供了根据文件数量进行文件清理的策略。配置好这两个参数，基本上就不需要担心容器应用将磁盘写满的风险了。而Docker引擎本身的日志则是通过journald来进行管理的。

2. Kubernetes的日志处理方案

Kubernetes的日志管理方式与Docker有所不同，因为容器封装在Pod中，当遇到Pod被删除或者Node节点故障的情况下，日志会被删除，单纯依靠Docker本身的日志机制将无法在故障后查询日志，因此在管理集群时需要认真考虑日志的管理问题。

Kubernetes集群的日志包括以下几种：

kubectl describe pod

2.1 日志的位置

Kubernetes集群中包含众多组件，在用kubeadm方式安装的集群上，有些组件不是容器化运行的，包括Master节点的kubelet、kube-scheduler、kube-controller-manager、kube-apiserver，Node节点上运行了kubelet和kube-proxy。有些组件是容器化方式运行的，当然包括我们的应用。因此日志就分为两类：容器化组件及应用的日志，非容器化组件的日志。