UAVStack之文件数据归集

本周我们向大家介绍UAVStack中的文件数据归集功能。该功能可以有效解决日志查找费时和日志文件丢失等问题，帮助快速定位解决问题，规避日志访问权限可能带来的安全风险。

前言

在分布式微服务架构下，单个应用中往往包含很多实例。日常工作中，我们常常需要查看应用运行过程中产生的日志。但登陆服务器从大量实例中查找目标日志耗时耗力；有时日志文件还会在应用重启过程中丢失。

UAVStack的文件数据归集功能不仅能够集中所有业务的日志，方便工程师更加轻松地查找相关日志，进而快速定位、解决问题；还能省去服务器权限授予环节，有效规避日志访问权限可能带来的安全风险。

架构

归集的文件数据包含应用日志、调用链跟踪、浏览器跟踪和线程分析的数据；也可以在启动参数中配置任意文件路径，配置其它任意文件；还支持UAVStack自身日志文件的归集控制。整体架构如下：

● Source：落盘后的数据文件，包括应用日志文件、调用链数据文件、浏览器数据文件和线程分析数据文件。

● 日志采集器：文件数据采集端，负责数据读取、过滤以及上送。

● Channel：数据消费队列，UAVStack使用的消息队列是RocketMQ。

● Sink：从Channel中拉取文件数据，分发到别处。UAVStack默认分发到数据库ElasticSearch，用于存储归集上送的文件数据。

采集模块

UAVStack的文件数据归集是MonitorAgent的Feature。MonitorAgent以守护进程的形式部署，如若死掉将会立即重启，重启后可继续归集文件数据。主要模块如下：

● 归集任务控制器：控制下发归集的任务，包括正在运行的任务和已存在的任务；定时轮询归集任务，构建可执行的归集任务。

● 归集任务调度器：定时调度归集任务。

● 任务：执行文件数据归集任务。

● 数据读取器：读取、过滤文件数据。

● 数据发布器：发布已读取上来的文件数据。

归集过程

● 开启归集：文件数据归集模块自动发现应用日志的画像信息，并进行处理，判断应用日志画像信息是否更新；用户可控制应用日志、调用链跟踪、浏览器跟踪和线程分析的归集功能。AppHub支持启停文件数据归集功能，可动态选择需要读取的文件。

● 归集任务下发：当用户触发归集后，AppHub端会开启文件数据归集任务并自动下发，生成数据归集任务，写到任务列表中，并持久化到本地文件task.cache中。

● 归集任务控制：定时任务轮询管理任务列表，分别构建可执行的归集任务,并通过ForkJoin提交。

● 文件数据读取：读取ForkJoin提交的每个任务。其中需要处理的日志文件都是通过具体的类进行操作处理。这些类包括RandomAccessFile类，其中seek()方法随机访问文件，read()方法读取文件数据。另外，数据位置定时更新任务能够将读取到的数据的位置更新到本地文件position.cache，供下一次文件读取使用。

● 文件数据过滤：根据配置的日志策略，对读取的日志进行正则表达式的匹配过滤，完成日志数据取舍。

● 文件数据发布：归集上来的日志数据，可按照不同的发布类型走不同的发布实现逻辑，发布到指定的目的地。UAVStack默认发布到RocketMQ中，并支持自定义发布。

另外，HM服务拉取RocketMQ中指定topic的日志数据，处理成相应的格式后存储到ElasticSearch数据库中。

文件数据展示

通过AppHub可以查看归集上来的应用日志、调用链跟踪、浏览器跟踪和线程分析的文件数据。由AppHub调用后台服务的http查询接口，通过HM日志数据服务读取数据库，进行文件数据的查询和展示，如下图所示：

文件数据的展示效果如下：

● 支持查看不同应用集群、应用实例和日志文件的归集数据。

● 支持按日、小时或分钟查看不同时间的文件数据。

● 支持按升序或降序查看文件数据。

● 支持关键字搜索，多个关键字用空格分开，表示“或”连接，即任意一个关键字匹配即可；多个关键字用“+”分开，表示“与”连接，即所有关键字都匹配的日志信息；如果同时使用空格和“+”，则“或”连接优先；如果关键字首尾都加“*”，则表示模糊匹配，展示所有匹配结果。

● 点击单行日志，支持向前、向后滚动查看日志信息，如下图：

文件数据关联

对于归集上来的应用日志、调用链跟踪和浏览器跟踪数据，可进行相互关联；浏览器跟踪数据可关联调用链跟踪数据，调用链跟踪数据可关联应用日志数据，如下图所示：

文件数据预警

归集后的文件数据支持预警，可针对文件数据中是否出现关键字或者关键字出现的次数配置预警策略。预警策略触发后可通过邮件、短信、微信等方式通知用户，也可通过Http形式通知第三方应用系统。

总结

UAVStack的文件数据收集功能已被广泛使用，是具备较高可用性和可靠性的分布式服务。如果需要归集的日志量较大，仅需增加UAVStack自身的HM服务，可扩展性较强。

官方网站： https://uavorg.github.io/main/

开源地址： https://github.com/uavorg

UAVStack已在Github上开放源码，并提供了安装部署、架构说明和用户指南等双语文档，欢迎访问-给星-拉取~~~

作者： 段德华 宜信技术学院