内容简介:我们在k8s部署服务时,一般来说一个服务会对应一类pod,而pod通过rs实现副本集,而这些pod的日志一般有控制台stdout和文件的,一般会把这些日志最终输出到elasticsearch里,再通过kabana进行分析,而在实现由pod到elasticsearch(es)时有多种方法,下面我列举一下:从上面的解析可以看到第1种如果你是docker swarm环境可以使用,而第2种与业务代码耦合太紧也不合适,只有第三种是未来的趋势,目前大都是使用这种方式!1 sidecar的fluentd的mapconfi
我们在k8s部署服务时,一般来说一个服务会对应一类pod,而pod通过rs实现副本集,而这些pod的日志一般有控制台stdout和文件的,一般会把这些日志最终输出到elasticsearch里,再通过kabana进行分析,而在实现由pod到elasticsearch(es)时有多种方法,下面我列举一下:
- 直接从标准控制台 stdout中通过fluentd进行收集,再存到es( 早期 docker 有实现)
- 通过logback里的fluentd包,直接把日志输出到fluentd,再存到es
- 在k8s里,可以为pod添加一个边车(边斗,sidecar),这个边车主要是fluentd插件,从容器日志文件里读取日志,收集到es
从上面的解析可以看到第1种如果你是docker swarm环境可以使用,而第2种与业务代码耦合太紧也不合适,只有第三种是未来的趋势,目前大都是使用这种方式!
实现方式
1 sidecar的fluentd的mapconfig
apiVersion: v1 kind: ConfigMap metadata: name: fluentd-config namespace: saas data: fluentd.conf: | <source> type tail format none path /var/log/*.log pos_file /var/log/log.pos tag saas </source> <match **> @id elasticsearch @type elasticsearch @log_level debug index_name fluentd type_name _doc host elasticsearch.elk port 9200 include_tag_key true tag_key @log_name logstash_format true flush_interval 10s </match>
运行
kubectl create -f fluentd-config-sidecar.yaml
测试一个pod,像容器输出日志到目录,定时反复输出
apiVersion: v1 kind: Pod metadata: labels: example: logging-sidecar name: logging-sidecar-example spec: containers: - name: synthetic-logger image: 172.17.0.22:8888/saas/hello-world:latest command: ["bash", "-c", "i=\"0\"; while true; do echo \"`hostname`: $i \" >> /var/log/1.log; date --rfc-3339 ns >> /var/log/1.log; sleep 4; i=$[$i+1]; done"] volumeMounts: - name: varlog mountPath: /var/log - name: sidecar-log-collector image: registry.cn-beijing.aliyuncs.com/k8s-mqm/fluentd-elasticsearch:v2.1.0 env: - name: FLUENTD_ARGS value: -c /etc/fluentd-config/fluentd.conf volumeMounts: - name: varlog mountPath: /var/log - name: config-volume mountPath: /etc/fluentd-config volumes: - name: varlog emptyDir: {} - name: config-volume configMap: name: fluentd-config
部署它
kubectl create -f fluentd-demo.yaml
然后去你的kabana里查看日志,可以按着@log_name字段去查询,这就是我们日志里的tag,这个我们可以在代码里配置,可以设置成一个namespace,这样方便日志的跟踪!
以上所述就是小编给大家介绍的《K8s~为pod添加sidecar进行日志收集》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- mica 2.0.8-GA 发布,添加对 druid 指标收集
- Qt 5.13可能会为选择加入的匿名数据收集添加QTelemetry
- JVM 笔记:垃圾收集算法与垃圾收集器
- JVM 笔记:垃圾收集算法与垃圾收集器
- Java 垃圾收集技术
- 日志收集的 “DNA”
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Test Driven Development
Kent Beck / Addison-Wesley Professional / 2002-11-18 / USD 49.99
Quite simply, test-driven development is meant to eliminate fear in application development. While some fear is healthy (often viewed as a conscience that tells programmers to "be careful!"), the auth......一起来看看 《Test Driven Development》 这本书的介绍吧!