之家可视化平台AutoBI的设计与实践

总篇79篇 2020年 第3篇

1. 背景

随着企业的发展和 IT 环境的日益复杂，业务需求灵活多变，企业内部各系统数据呈爆发式增长，业务部门对数据的需求也不断提高。

如何在庞大的数据里快速整合数据、挖掘数据价值、提高决策质量变的至关重要。

以汽车之家以往的数据解决方案为例，一个数据看板需求，从需求方案的提出到最终上线（流程图如下），要经过数仓、前后端开发、测试、验收上线，参与角色多，开发链路长，整体效率非常低。

图 1- 需求流程

即使是一个微小的数据看板需求或变更，都要走一遍完整的流程，耗时耗力。

另外公司内部各种可视化平台冗余，造成资源的浪费，各种数据服务出口不统一，相同指标重复开发、一致性难保证、并难以监测。

而对于移动互联网时代，常规定制化数据看板无法适配各类终端，以上种种因素，都可能导致最终的数据决策方案滞后。

从以上痛点出发，我们致力于打造之家公司级的一站式可视化平台。

产品定位：

（1） 易用，通过拖拉拽所见即所得的设计方式，业务人员也能轻松快速的制作数据看板。

（ 2 ） 构建之家可视化组件库，支持丰富的图表控件及可视化配置，组件自动实现图表间的动态数据交互。

（ 3） 自动适配 PC 和移动端，可随时随地的通过移动设备进行数据分析，从而做出正确的决策。

（ 4） 高效，打通数据准备、加工和消费链路，从数据分析到快速呈现结果的一站式平台。

2. 总体架构                                   

图 2- 总体架构

如图 2 所示，整体架构分为数据层、数据服务中台、前端应用层三大模块。

（ 1） 数据层支持之家常用数据源。

（ 2） 模型注册功能为底层数据提供统一数据服务出口。

（ 3） 前端组件采用原子化设计，输出之家 UI 组件规范，利于扩展和维护，并能够智能适配 PC 和移动端，方便看数。

产品落地后，通过自助的方式，平均 1-3 小时可配置完成一张仪表板页面，通过图 3 和图 1 的对比，从 2 人 2-5 天的开发和联调时间，变为 1 人 1-3 小时，极大优化开发流程，节省人力，提高人效。

               图 3- 优化后需求流程

3. 技术要点  

3.1. 实时与离线数据在同一个组件上的切换

很多业务场景中，我们希望在同一个图表中查看指标的实时数据和离线数据，而往往实时数据和离线数据会存储于不同的数据源中，如 Redis 或 ES 等， 这时我们可能需要为它们配置多个图表 。为解决此问题，我们做了如下设计：

（ 1） 数据模型的注册阶段，通过指标与维度的组合，构造实时与离线数据映射模型。

（2） 在数据查询处理器中，通过配置规则分别解析实现与离线数据。

图 4- 实时与离线指标映射

3.2. 数据查询处理器

经过之前一些项目的开发，我们发现数据展示的过程中存在一些问题：

（ 1） 数据接口层与图表展示层依赖性太强，影响开发效率。

（ 2 ） 缺少统一的图形数据规范和图形渲染组件。

（ 3 ） 后期维护、扩展成本高。

对此，我们通过如下方式解决：

（ 1 ） 将离线、实时数据转换成基于二维表结构的通用数据。

（ 2 ） 制定统一的图形渲染组件的规范。

（ 3 ） 通过一个可扩展、易维护的图形适配器将通用数据处理成符合图形渲染组件规范的标准结构数据。

（ 4 ） 图表展示层将标准结构数据解析成图形渲染组件（如 Echarts 、 Highcharts 等）需要的数据。

图 5- 解析器流程

3.3. 集成能力

（ 1 ） 邮件订阅：系统支持对仪表板邮件订阅，通过邮件定时分发相关仪表板的文字和图片信息。

（ 2 ） 截图服务：基于服务器端的截图服务可以高效稳定的提供 PC 、移动端页面的长截图。

（ 3 ） 移动集成：通过基于汽车人 App 的应用如移动罗盘、数据问答来展示业务报表和仪表板。

4. 场景案例    

AutoBI 包含丰富的配置功能和系统功能，主要有以下几点：

（ 1 ） 支持 9 种图表组件类型，指标卡、折线图、表格柱状图、饼图、漏斗图等。

（ 2 ） 支持自定义页面布局，高度不限制，通过对宽度切割，可实现自定义布局。

（ 3 ） 丰富的筛选过滤功能，支持单下拉、级联下拉、时间筛选、常量配置等。

图 6- 创建仪表板流程

4.1  数据准备

数据准备是为图表提供数据模型，一个数据模型对应一个业务指标集，准备分为两个阶段：

（ 1 ） 接入数据源： 目前支持的数据源包括：

redis 、 mysql 、 sqlServer 、 es 、 kylin 等。

（ 2 ） 定义指标、维度： 根据实际的业务需求，定义图表展示所需的指标、维度信息。

4.2 仪表板配置

仪表板 编辑器共分为三个区域：

（1） 左侧区域： 组件选择 区

选择区目前可选择折线图、柱状图、饼图、指标卡、表格、排行榜、漏斗图、气泡图等9类图表组件。

（2） 中部区域：图表展示区       

将选择好的图表拖动到此区域进行展示。

（3） 右侧区域： 图表配置包括数据模型展示Tab页和图表配置Tab页

• 数据模型展示

  在选择了数据模型后，会将所选的数据模型分类展示在下方 ，   维度字段展示在 “ 维度 ” 列表中，   指标字段展示在 “ 指标 ” 列表中。

  用户可拖拽字段到图表配置区 “ 数据 ” 页签对应的区域中。

• 图表配置区，包含以下配置项：

基础信息： 配置图表标题、备注信息等。

图表样式： 图表样式配置。

坐 标 轴 ： 可配置图表双外轴、轴标题、轴单位等。

系列设置： 可配置图表单个线条、柱的颜色、是否堆积等。

功能设置：功能性配置 , 如组件与组件之间的关联、下载等。                   

图 7- 仪表板配置

4.3 仪表板上线

仪表板发布至数据罗盘门户或通过系统集成的方式发布至外部项目，发布后的效果图如下所示，可根据个人喜好切换主题。

图 8- 发布效果图

4.4 邮件订阅与分享

通过邮件订阅与分享可定时对目标仪表板进行单人或多人的邮件 发送。   

5. 总结与展望  

作为一款自主研发的数据可视化产品， AutoBI 的目标是为公司各类数据可视化应用提供了一种新的解决方案，帮助各业务部门方便快捷的利用数据为业务赋能，目前 AutoBI 已经广泛应用在之家大数据中心各类新增数据可视化需求中。

当前，我们还面临着一些问题和挑战，与业界同类型产品相比还存在着一定的差距，下一步，AutoBI还将持续的升级开发，增加多维分析、异构数据源关联、统计报表等功能，提供更加丰富的图表类型，以满足不同场景的业务需求，提升用户体验。

我们期待着与大家交流、探讨，同时也欢迎大家给我们提出宝贵的意见，在此感谢大家的支持，谢谢!