nginx/tomcat日志格式规范

为rolling时生成的索引号。统一日志名称的原因是：易于通过文件名了解日志的来源和核心特性，此外对于Flume而言可以从文件名中得知项目的名称、日志等重要信息，既可以在收集时对日志进行按项目、日志进行分类存储。

5）严格控制日志文件的大小，适时对日志文件进行rolling，我们约定任何日志文件的大小不得超过256M，超过此值时应该对日志进行rolling。原因非常简单，较大的日志文件既不便于收集、传输，也不便于进行查看，此外较大的日志还会降低文件IO的效率。在此基础上，我们要求在打印日志时需要对日志信息进行合理规划，尽可能精简日志信息，冗杂而庞大的日志信息不仅价值较低，而且消耗存储，此外较大的日志内容输出还会增加宿主机器的IO负载，毕竟我们的普通的application机器的IOPS通常不高。

6）为了便于日志分拣、日志内容的可读性、本地性，我们在nginx、tomcat等所有日志内容中，都打印“当前机器的IP”、“日志产生的时间戳”等标记信息。

1、nginx日志格式：

log_format  main  '$time_local|$hostname|$remote_addr|$upstream_addr|$request_time|$upstream_response_time|$upstream_connect_time|'

'$status|$upstream_status|-|$bytes_sent|-|-|$remote_user|$request|$http_user_agent|$http_referer|^_^|'

'$scheme|$request_method|$request_trace_id|$request_trace_seq|^_^|'

'$http_x_forwarded_for|$http_Authorization|$cookie_uid';

其中有几个“-”占位符，本人使用nginx 1.10版本，但是有几个非常重要的字段需要等到1.11版本发布后才能使用，所以此处先用“-”占位。

nginx日志格式，本人参考了AWS ELB，我觉得ELB的日志格式还是比较规范，具有较高的参考价值。此处的nginx格式，与ELB日志格式在字段含以上一一对应，对于nginx缺失的字段，先用“-”占位。

我们将nginx日志分为四个域，第一个域包含一些最常用、最重要的字段，通常与性能评估、数据分拣有关系；第二个域表示此次请求的一些状态信息，排查问题时可以关注此域；第三个域，是关于请求追踪的，我们为每个请求设定request_id等（其中$request_trace_id，$request_trace_seq是自定义的变量），此后在业务监控时可以将异常请求的全追踪链整理出来；第四个域，面向开发，通常用于打印一些HTTP参数等。

$request_trace_id和$request_trace_seq是自定义的变量，分别表示“请求的追踪ID”和“请求追踪的序列数字”：

一个新的请求都会有一个唯一的trace_id，此trace_id通常有最顶层proxy负责生成，生成后将会把trace_id添加到header中并传递给upstream层（tomcat等），upstream应用中如果有请求扇出，则继续将此trace_id下发，最终实现请求的链路追踪，我们将链路的追踪信息收集并整理，后期用于评估接口性能、业务监控、流量异常发现、容量规划等。

如果proxy层发现请求的header中已经包含trace_id，那么我们认为此请求是“链路的一个环节”而不是一个新的请求，此时保留trace_id，并添加到header中继续转发。request_trace_seq默认为0，有upstream负责进行维护seq的值，比如每次下发对其值进行自增，nginx不负责此值的自增的原因是希望有应用程序自己决定seq的顺序。

##trace.setting

set$request_trace_id $http_x_request_id;

set $request_trace_seq $http_x_request_req;

if ( $request_trace_id = '' ) {

set$request_trace_id $pid-$connection-$bytes_sent-$msec;

}

if ( $request_trace_seq = '' ) {

set$request_trace_seq 0;

}

....

server {

listen       80;

server_name  demo.com;

include trace.setting;

access_log  /var/log/nginx/demo.log  main;

proxy_send_timeout      1800s;

proxy_read_timeout      1800s;    

location / {

proxy_pass         http://10.0.0.1:8080;

proxy_set_header   Host             $host;

proxy_set_header   X-Request-ID $request_trace_id;

proxy_set_header   X-Request-Seq $request_trace_seq;

}

}

....

字段含义（逐一对应）：

字段名                          解释

time_local                   日志时间

hostname                 当前机器的hostname（非IP）

remote_addr                  客户端地址

upstream_addr               后端Server的地址

request_time            nginx处理请求的时长，从获取Client请求的首个字节开始到响应数据发送完毕，单位为“秒 + 毫秒”

upstream_response_time      从nginx与upstream建立连接开始到response数据接收完毕。

upstream_connect_time     与upstream建立连接的时间。

status                  nginx响应状态码

upstream_status        upstream返回给nginx的状态码（tomcat或者后继nginx）

bytes_received         nginx接收到Client的请求数据大小，1.11版本才能支持，此处用“-”占位符替代

bytes_sent               nginx返回给Client的数据大小

upstream_bytes_sent      nginx发送给upstream的字节数，1.11版本才支持，此处使用“-”占位符替代

upstream_bytes_received   nginx接收到upstream响应的字节数，1.11版本才支持，此处使用“-”占位符替代

remote_user            基本认证中的user信息

request                   HTTP请求行—首行

http_user_agent         标头中“User-Agent”值

http_referer              标头中“Referer”值

scheme                  请求的Scheme，HTTP或者HTTPS

request_method            HTTP(S)请求的方法名：GET,POST等

request_trace_id        获取标头中“X-Request-ID”值，如果不包含此header，则创建新的Trace_id。

request_trace_seq       获取标头中“X-Request-Seq”值，如果存在，表明此请求是trace link下发的请求。此值用于追踪请求链的层级或者顺序

http_{key}           获取HEADER中指定key的值。

cookie_{key}          获取COOKIE中指定key的值。

2、Tomcat Access log格式规范

对于JAVA WEB项目，tomcat提供了内置的access日志机制，有点类似于nginx的access日志；在开启时，tomcat会把接收到的请求信息打印在日志中，这对我们分析数据、排查问题、性能检测等有很大帮助。只需要修改server.xml文件即可：