基于Docker的EFK日志系统与使用经验( 一 )-EFK部署 荐

栏目: 编程工具 · 发布时间: 5年前

内容简介:术语约定

项目背景

随着业务的不断优化调整,开发的环境由传统环境转向 Docker 容器方向,各种开发过程和应用的日志变得更加种类繁多。
因此,集中式的日志管理与展示分析变得尤为重要。

项目实施架构

基于Docker的EFK日志系统与使用经验( 一 )-EFK部署 荐

Docker环境搭建

Centos 7.5 docker ( 一 ) 安装

EFK简介

## Elasticsearch :
    官网 https://www.elastic.co
    分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析,并能将这三者结合起来。
    Elasticsearch 基于 Lucene 开发,现在使用最广的开源搜索引擎之一,Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。

## Fluentd (td-agent):
    https://www.fluentd.org
    是开源社区中流行的日志采集器,提供了丰富的插件来适配不同的数据源、输出目的地等。
    fluentd基于C和 Ruby 实现,并对性能表现关键的一些组件用 C语言 重新实现,整体性能不错
    由于docker的log driver默认支持Fluentd,所以发送端默认选定Fluentd.
    td-agent是fluentd的易安装版本,由Treasure Data公司维护。一般会默认包含一些常用插件
    fluentd适合折腾,td-agent适合安装在大规模的生产环境。

## Kibana :
    官网 https://www.elastic.co
    可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。

术语约定

Elasticsearch 后续简称为 ES

三大日志采集器横向对比

网上转发前辈的对比

日志客户端(Logstash,Fluentd, Logtail)横评

阿里云ECS配置参数

ES+Kibana 所在主机
ecs.mn4.small 共享通用型 1核 4GB

# cat /etc/centos-release
CentOS Linux release 7.6.1810 (Core) 
# uname -r
4.4.162-1.el7.elrepo.x86_64

td-agent 所在主机
需要采集数据的每一台主机。注意,并不是在docker容器内安装。(当然,这视乎你是如何设计日志收集方式而定)

部署EFK

下载docker镜像

点开Download会有比较详细的指引

基于Docker的EFK日志系统与使用经验( 一 )-EFK部署 荐 基于Docker的EFK日志系统与使用经验( 一 )-EFK部署 荐

具体使用的指令如下:

docker pull docker.elastic.co/elasticsearch/elasticsearch:6.5.4
docker tag docker.elastic.co/elasticsearch/elasticsearch:6.5.4 elasticsearch:6.5.4
docker rmi docker.elastic.co/elasticsearch/elasticsearch:6.5.4 

docker pull docker.elastic.co/kibana/kibana:6.5.4
docker tag docker.elastic.co/kibana/kibana:6.5.4 kibana:6.5.4
docker rmi docker.elastic.co/kibana/kibana:6.5.4 

以上指令看不懂的话,请自行补docker知识

ES + Kibana 所在宿主机内核参数优化

vim /etc/sysctl.conf
vm.max_map_count=262144

立即生效
sysctl -w vm.max_map_count=262144

如果不设置,容器将会报如下错误
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

docker-compose 配置生成容器

用到的一些辅助配置(这些需要你去了解ES和Kibana是如何工作的)

mkdir -p /data/docker/EFK
cd /data/docker/EFK

elasticsearch 相关

主配置文件
vim elasticsearch.yml
内容如下
cluster.name: EFK                   # 这是注释:集群名称
node.name: host-elk01               # 集群中节点名称
path.data: /var/lib/elasticsearch   
path.logs: /var/log/elasticsearch

ES的JVM参数配置文件
vim jvm.options

内容如下,这些内容,可以从官方安装包内获取,这里只是把内容贴出来而已。
# JVM heap size,注意,此2个值要保持一致,否则会出现启动不了
-Xms1500m
-Xmx1500m

## 以下内容我没有修改,建议不熟悉参数的话,使用官方提供的参数
## GC configuration
-XX:+UseConcMarkSweepGC
-XX:CMSInitiatingOccupancyFraction=75
-XX:+UseCMSInitiatingOccupancyOnly

# pre-touch memory pages used by the JVM during initialization
-XX:+AlwaysPreTouch

## basic

# explicitly set the stack size
-Xss1m

# set to headless, just in case
-Djava.awt.headless=true

# ensure UTF-8 encoding by default (e.g. filenames)
-Dfile.encoding=UTF-8

# use our provided JNA always versus the system one
-Djna.nosys=true

# turn off a JDK optimization that throws away stack traces for common
# exceptions because stack traces are important for debugging
-XX:-OmitStackTraceInFastThrow

# flags to configure Netty
-Dio.netty.noUnsafe=true
-Dio.netty.noKeySetOptimization=true
-Dio.netty.recycler.maxCapacityPerThread=0

# log4j 2
-Dlog4j.shutdownHookEnabled=false
-Dlog4j2.disable.jmx=true

-Djava.io.tmpdir=${ES_TMPDIR}

## heap dumps

# generate a heap dump when an allocation from the Java heap fails
# heap dumps are created in the working directory of the JVM
-XX:+HeapDumpOnOutOfMemoryError

# specify an alternative path for heap dumps; ensure the directory exists and
# has sufficient space
-XX:HeapDumpPath=data

# specify an alternative path for JVM fatal error logs
-XX:ErrorFile=logs/hs_err_pid%p.log

## JDK 8 GC logging

8:-XX:+PrintGCDetails
8:-XX:+PrintGCDateStamps
8:-XX:+PrintTenuringDistribution
8:-XX:+PrintGCApplicationStoppedTime
8:-Xloggc:logs/gc.log
8:-XX:+UseGCLogFileRotation
8:-XX:NumberOfGCLogFiles=32
8:-XX:GCLogFileSize=64m

# JDK 9+ GC logging
9-:-Xlog:gc*,gc+age=trace,safepoint:file=logs/gc.log:utctime,pid,tags:filecount=32,filesize=64m
# due to internationalization enhancements in JDK 9 Elasticsearch need to set the provider to COMPAT otherwise
# time/date parsing will break in an incompatible way for some date patterns and locals
9-:-Djava.locale.providers=COMPAT

# temporary workaround for C2 bug with JDK 10 on hardware with AVX-512
10-:-XX:UseAVX=2

kibana相关

vim kibana.yml

内容如下
xpack.monitoring.ui.container.elasticsearch.enabled: true   # 这是注释,xpack是一个权限控制插件,30天试用。
server.port: 5601                               # kibana 监听端口
server.host: "0"                                # kibana 监听地址,0代表所有地址(0.0.0.0/0)
#server.basePath: ""
#server.rewriteBasePath: false
#server.maxPayloadBytes: 1048576
server.name: kibana                             # 服务器名称
elasticsearch.url: http://elasticsearch:9200    # ES服务器访问地址
#elasticsearch.preserveHost: true
#kibana.index: ".kibana"
#kibana.defaultAppId: "home"
#elasticsearch.username: "user"
#elasticsearch.password: "pass"
#server.ssl.enabled: false
#server.ssl.certificate: /path/to/your/server.crt
#server.ssl.key: /path/to/your/server.key
#elasticsearch.ssl.certificate: /path/to/your/client.crt
#elasticsearch.ssl.key: /path/to/your/client.key
#elasticsearch.ssl.certificateAuthorities: [ "/path/to/your/CA.pem" ]
#elasticsearch.ssl.verificationMode: full
#elasticsearch.pingTimeout: 1500
#elasticsearch.requestTimeout: 30000
#elasticsearch.requestHeadersWhitelist: [ authorization ]
#elasticsearch.customHeaders: {}
#elasticsearch.shardTimeout: 30000
#elasticsearch.startupTimeout: 5000
#elasticsearch.logQueries: false
#pid.file: /var/run/kibana.pid
#logging.dest: stdout
#logging.silent: false
#logging.quiet: false
#logging.verbose: false
#ops.interval: 5000
#i18n.locale: "en"

nginx 反向代理相关

因为要用到nginx反向代理,因此,会有一个容器专门运行nginx服务器
SSL证书可以采用Let’s Encrypt颁发的,免费使用90天,到期续约便可一直免费。

提供此nginx容器的主配置文件nginx.conf供参考

user nginx;
worker_processes auto;
worker_rlimit_nofile 60000;
error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;

events {
    use epoll;
    worker_connections 10240;
}

http {
        server_tokens off;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

#### logs
    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    types_hash_max_size 2048;

#### include
    include /usr/share/nginx/modules/*.conf;
    include  /etc/nginx/mime.types;
    include /etc/nginx/conf.d/*.conf;
    default_type        application/octet-stream;

  # server set
    include /data/nginx_conf/vhosts/*.conf;

  # upstream set
  #  include /data/nginx_conf/upstream/*.conf;

##### Timeout
        keepalive_timeout   60;
        client_header_timeout 12;
        client_body_timeout 120;
        send_timeout 12;

##### post
        client_max_body_size 100M; # 这个自己设置了,允许上传的大小。

##### Buffer
        client_body_buffer_size 128k;
        client_header_buffer_size 4k;
        client_body_in_single_buffer on;
        large_client_header_buffers 4 8k;
        open_file_cache max=60000 inactive=20s;
        open_file_cache_valid 30s;
        open_file_cache_min_uses 2;

#### Compression
        gzip on;
        gzip_comp_level 6;
        gzip_min_length 1k;
        gzip_buffers 16 8k;
        gzip_types text/plain text/css text/xml application/xml text/javascript application/javascript application/x-javascript application/x-httpd-php;
        gzip_vary off;
        gzip_disable "MSIE [1-6]\.";

# proxy set

        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        proxy_connect_timeout 300;
        proxy_read_timeout 300;
        proxy_send_timeout 300;
        proxy_intercept_errors off;
        proxy_ignore_client_abort on;

此容器的虚拟主机配置供参考
# server set
    server {                                               
        listen       9001 default_server ssl;              
        listen       [::]:9001 default_server ssl;         
        server_name  demo.com;                    
        index        index.html index.htm         

# SSL set                                         

    ssl on;                                       
    ssl_certificate "/你的证书链路径/fullchain.cer";
    ssl_certificate_key "/你的证书私钥路径/demo.com.key";
    ssl_session_cache shared:SSL:10m;                                  
    ssl_session_timeout  30m;                                          
    ssl_ciphers HIGH:!aNULL:!MD5;                                      
    ssl_prefer_server_ciphers on;                                      
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains; preload";

## kibana                                                                               
        location / {                                                                    
                auth_basic "Authorization";                 # 用来在kibana访问前进行账号验证                            
                auth_basic_user_file /etc/.htpasswd;        # 参考下面的 工具 用法                             
                proxy_pass http://172.18.1.222:5601;        # 反向代理到内部的kibana主机                            
        }                                                                               
}

nginx 基本认证htpasswd工具用法参考

注意,因为kibana默认是没有权限管理的,暴露在公网上,必须在前面加一层nginx基本模块认证,且配置为https协议。
有钱的同学可以使用xpack。
nginx 的基本认证模块auth_basic 中用到的htpasswd加密文件,根据不同的容器需要安装以下组件
centos: httpd-tools
alpine: apache2-utils

创建使用文本文件作为数据库

htpasswd [ -c ] [ -m ] [ -D ] passwdfile username
htpasswd -b [ -c ] [ -m | -d | -p | -s ] [ -D ] passwdfile username password

-c:自动创建文件,仅在文件不存在时使用
-m:md5格式加密,默认方式
-s: sha格式加密
-D:删除指定用户
-b: 批处理时使用,可以通过命令行直接读取密码而不是交互。
-n: 不更新文件,仅仅屏幕输出命令执行结果。

交互方式:
#htpasswd -c /etc/httpd/conf.d/.htpasswd hunk1
New password: 
Re-type new password: 
Adding password for user hunk1

非交互方式:
#htpasswd -bs /etc/httpd/conf.d/.htpasswd hunk2 1234567
Adding password for user hunk2

生成的密码是经过加密的
#cat .htpasswd 
hunk1:xLhgTub5K6Css
hunk2:{SHA}IOq+XWSw4hZ5boNPUtYf0LcDMvw=

仅仅显示命令执行效果
#htpasswd -nbs hunk3 1234567
hunk3:{SHA}IOq+XWSw4hZ5boNPUtYf0LcDMvw=

删除指定用户
#htpasswd -D /etc/httpd/conf.d/.htpasswd hunk2
Deleting password for user hunk2

docker-compose.yml编排

docker创建外部自定义网络和数据卷,注意,这是使用docker-compose编排启动的必要条件
docker network create efk
docker volume create elasticsearch

####################
docker-compose.yml
内容如下

version: "2.4"
## 声明网络
networks:
  efk:
    external: true

## 声明数据卷
volumes:
  elasticsearch:
    external: true

### 服务
services:
  elasticsearch:
    image: elasticsearch:6.5.4
    container_name: elasticsearch
    environment:
      - cluster.name=EFK
      - node.name=host-elk01
      - bootstrap.memory_lock=true
      - "discovery.zen.ping.unicast.hosts=elasticsearch"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    networks:
      - efk
    ports:
      - "9200:9200"
    volumes:
      - /etc/localtime:/etc/localtime
      - "elasticsearch:/usr/share/elasticsearch/data"
      - "/data/docker/EFK/jvm.options:/usr/share/elasticsearch/config/jvm.options"
    restart: "always"

    logging:
      driver: "json-file"
      options:
         max-size: "200k"
         max-file: "1"

  kibana:
    image: kibana:6.5.4
    container_name: kibana
    networks:
      - efk
    ports:
      - "5601:5601"
    volumes:
      - /etc/localtime:/etc/localtime
      - /data/docker/EFK/kibana.yml:/usr/share/kibana/config/kibana.yml
    restart: "always"

    logging:
      driver: "json-file"
      options:
         max-size: "200k"
         max-file: "1"

### 注意,以下服务的镜像属于自定义的,请参考上面的给的参考文件。基于nginx-alpine制作。
  efk-proxy:
    image: efk-proxy:latest
    container_name: efk-proxy
    networks:
      - efk
    ports:
      - "9001:9001"
    volumes:
      - /etc/localtime:/etc/localtime
      - "/data/docker/EFK/ssl/demo.com:/data/ssl/demo.com:ro"
    command: ["nginx", "-g", "daemon off;"]
    restart: "always"
    depends_on:
      - kibana
    logging:
      driver: "json-file"
      options:
         max-size: "200k"
         max-file: "1"

启动ES + Kibana + nginx

docker-compose up -d
宿主机会出现端口5601,9001和9200

简单验证下
# curl 172.18.1.222:9200
{
  "name" : "host-elk01",
  "cluster_name" : "EFK",
  "cluster_uuid" : "CMJ4F-E5TcypIhrReze7mQ",
  "version" : {
    "number" : "6.5.4",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "d2ef93d",
    "build_date" : "2018-12-17T21:17:40.758843Z",
    "build_snapshot" : false,
    "lucene_version" : "7.5.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

打开浏览器,输入EFK对应的域名

基于Docker的EFK日志系统与使用经验( 一 )-EFK部署 荐

基于Docker的EFK日志系统与使用经验( 一 )-EFK部署 荐

部署 fluentd (td-agent)

在需要采集数据的机器安装client

查看是否安装:
rpm -qa|grep td-agent

按系统版本选择操作
https://www.fluentd.org
Installation Guide 提供了安装指引

基于Docker的EFK日志系统与使用经验( 一 )-EFK部署 荐

查看本地安装了哪些组件

# td-agent-gem list --local

*** LOCAL GEMS ***

addressable (2.5.2)
elasticsearch (6.1.0)
elasticsearch-api (6.1.0)
elasticsearch-transport (6.1.0)
excon (0.62.0)
faraday (0.15.3)
fluent-config-regexp-type (1.0.0)
fluent-logger (0.7.2)
fluent-plugin-elasticsearch (2.11.11)
fluent-plugin-kafka (0.7.9)
fluent-plugin-record-modifier (1.1.0)
fluent-plugin-rewrite-tag-filter (2.1.0)
fluent-plugin-s3 (1.1.6)
fluent-plugin-td (1.0.0)
fluent-plugin-td-monitoring (0.2.4)
fluentd (1.2.6)
以上由于篇幅有限,仅仅列出一部分,其中包括了后续要使用到的fluent-plugin-elasticsearch

td-agent 配置文件

不同的操作系统位置不一样,centos系统如下
/etc/td-agent/td-agent.conf
默认会带有一些示例配置,此处暂时不作变更,后续会单独篇章讲解。

默认配置文件路径:/etc/td-agent/td-agent.conf
默认日志文件路径:/var/log/td-agent/td-agent.log
可以从这个日志文件中查看td-agent服务运行日志/报错信息

td-agent相关操作指令

设置开自动启动:                              systemctl enable td-agent.service
启动:                                                systemctl start td-agent
重新启动:                                         systemctl restart td-agent.service
热加载配置文件:                              systemctl reload td-agent.service
停止服务:                                         systemctl stop td-agent.service
检查是否设置了开机启动:                systemctl is-enabled td-agent.service 
                                                            enabled:已开启
                                                            disabled:已关闭

启动之后,默认会监听tcp和udp的24224端口

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

深入浅出HTML5编程

深入浅出HTML5编程

弗里曼 (Eric Friiman)、罗布森 (Elisabdth Robson) / 东南大学出版社 / 2012-4 / 98.00元

《深入浅出HTML5编程(影印版)(英文)》就是你的特快车票,它可以带你学习如何使用今天的标准同时也会是明日的最佳实践来搭建Web应用。同时,你会了解HTML5的新API的基本知识,甚至你还会弄明白这些API是如何与你的网页进行交互,JaVaScript如何为它们提供动力,以及你如何使用它们来搭建能够打动你的老板并且吸引你的朋友的Web应用。一起来看看 《深入浅出HTML5编程》 这本书的介绍吧!

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具