个推基于Zipkin的分布式链路追踪实践

随着微服务架构的流行，系统变得越来越复杂，单体的系统被拆成很多个模块，各个模块通过轻量级的通信协议进行通讯，相互协作，共同实现系统功能。

单体架构时，一个请求的调用链路很清晰，一般由负载均衡器将用户请求转发到后端服务，由后端服务进行业务处理，需要的数据从外部的存储中获取，处理完请求后，再经由负载均衡器返回给用户。

而在微服务架构中，一个请求往往需要多个模块共同协作处理，不同模块可能还依赖于不同的外部存储，各个模块的实现技术还不尽相同，一个请求是如何在整个系统不同模块间进行流转，整个调用链上的各个模块之间的调用关系如何，每个微服务处理的时间长短，处理的结果是否正确，很难去进行追踪，而这些信息对于整个系统运维、性能分析、故障追踪都特别有帮助，也正因为此，才有了各种分布式链路追踪的技术。

分布式链路追踪的技术有很多，有开源的也有闭源的。开源的有Jaeger、PinPoint、Zipkin、SkyWalking、CAT等，闭源的有Google Dapper、淘宝的鹰眼Tracing、新浪的Watchman、美团的MTrace等。CNCF(Cloud Native Computing Foundation)为了解决业界分布式追踪系统跨平台兼容性问题，设计了trace的标准，提出了分布式跟踪系统产品的统一范式-OpenTracing，Zipkin也部分支持OpenTracing标准。

在实践的过程中，基于以下原因选择了Zipkin来进行链路追踪：

• 开源，社区活跃

• 支持多种语言，Nodejs，Lua，Java都有开源实现，而我们的服务主要是这三种语言实现的

• 提供查询API，方便二次开发

Zipkin的整体架构如下图所示：

Http Tracing的时序图

（引用自Zipkin官网：https://zipkin.io/pages/architecture.html）

以上是Http Tracing的时序图，用户的请求/foo首先被Trace Instrumentationlan拦截，记录下Tags，时间戳，同时在Header里增加Trace信息，然后再流转到后端服务进行处理，处理完成后，正常响应，Trace Instrumentationlan拦截响应，记录处理延时后，将Response正常返回给调用方，同时异步地将Trace的Span发送给Zipkin Server。Span中的traceId是在整个调用链路上唯一的ID，用于唯一标识一条调用链。

个推的微服务是基于Kubernetes和 Docker 进行部署的，每个微服务对应于Kubernetes中的一组Pod。

在整个微服务体系中，API网关是基于Openresty开发的，主要使用 Lua 进行开发；后端服务主要使用Node.js和 Java 进行开发实现。在对接Zipkin时，不同的微服务采用不同的方式进行实现。

API网关主要通过增加网关插件（主要参考了Kong的Zipkin插件实现）来实现与Zipkin的对接；Node.js实现的服务主要使用了中间件实现与Zipkin的对接；Java服务使用了spring-cloud-sleuth来与Zipkin对接。 整体的架构如下图所示：

个推基于Zipkin的分布式链路追踪系统的整体架构

其中，Zipkin也容器化部署在Kubernetes集群中，简化了Zipkin的搭建和部署。如下图所示，通过Zipkin可以很方便地追踪请求的调用链路，整个调用链上各个服务的处理耗时，响应状态，服务间的调用关系都可以方便地在Zipkin中进行查询。Zipkin对于分析整个系统的性能瓶颈，定位故障也都有很大的帮助。

Zipkin的Web界面

Zipkin作为一个分布式链路追踪系统， 有着应用侵入较小、社区活跃度较高、支持多种语言等优势， 一般基于开源的实现稍做修改就可以实现与Zipkin的对接。因此个推在微服务架构中也引入了Zipkin，用Zipkin来追踪微服务的调用关系，对微服务进行性能分析和故障诊断。未来，个推会基于Zipkin做二次开发，提供更为友好的界面。