数据产品经理——平台架构知识加持让你更专业

“数据产品经理角色有很多种，要处理的问题也有多方面，想做好数据产品工作，最基础要做到比用户更懂系统，比研发更懂用户。”

01

一个好的数据产品经理在工作中一定是在不断地做角色切换，但是能让你角色切换自如的基础一定是你够专业，对于工作中遇到的问题能快速响应并解决。作为数据产品经理，用户和研发是我们的主要客户，解决他们的问题占了我们日常工作的很大一部分。相信你经常会遇到以下问题：

1. 用户

“我用excel直接透视很快就能计算完成的表，你们怎么就做不了呢？为什么做不了，你能给个理由吗，还是就是你们不想做？”
“你别跟我说这是业务系统的问题，我的表是你们开发的，数据有问题我不找你们找谁？”
“这个数据取不到，跟我们有什么关系啊，取不到你们就想办法去取啊。”
“这么简单的一个东西你们做出来还需要一周的时间？你搞错了吧？ ”

2. 研发

“这个指标计算逻辑就不合理啊，不能这么做，我做不出来。”
“这个表指标逻辑很复杂，我需要两周。为什么？因为研发过程很困难啊！跟你说了你也不懂，你就跟用户说搞不出来就行了。”
“我跟你说过啊，这个数据出不来不是我们的原因，你去找业务系统那边的人解决。”

面对上述用户和研发提出的这些问题，如果数据产品经理不知道如何处理，那你可能经常被怼的手足无措，产品研发工作推进滞后，然而责任还都是你的。

02

怎么办呢？细看下上述问题，如果你了解一些开发相关的知识，清楚数据产品研发过程，你就会清楚为什么有些问题必须要业务系统先解决；你也能判断开发预估的研发时间是否合理；你甚至能直接跟开发提供一个解决方案，从被动接受转变为主动规划。

对开发知识的了解，建议你先从平台架构开始，一般很少有人会主动去跟你介绍平台的架构，大家都觉得这是开发要清楚的事，所以很多数据产品很容易就让自己对于某个问题陷入模棱两可状态。了解数据平台架构不仅让你轻松解决上述问题，同时让你能提前预见研发过程中可能存在的问题及难点，并在做产品设计环节甚至内容规划环节就能考虑到风险点并提前规划解决方案。

03

数据平台架构，网上查一下就有很多相关的书籍资料，不过每个人的接受和理解程度不一样，接下来我会以数据产品经理的角度基于日常遇到的问题进行归纳总结，希望能对大家有帮助。

在公司业务规摸小，产生数据量少的时候，对于数据的需求都是直接从业务系统数据库直接取数，并没有数据平台架构的概念，但随着数据量的增多，数据分析需求与日俱增，公司开始组建大数据团队，搭建数据平台。

数据平台架构从数据流向来看，简单来说分为三大层：源系统数据层、ODS层、数据仓库层、大数据平台应用层。

具体框架如图所示：

1. 业务系统层

在业务层面，大数据平台本身不产生数据，所有数据均来自于各业务系统，以零售行业来说，如销售订单数据、商品信息、商品库存数据、会员信息等数据。

2. ODS层

ODS层翻译过来是指操作性数据存储，是介于业务系统数据库和数据仓库之间的一种数据存储形态，数据从业务系统抽取至ODS层，一般不会做处理，与源系统数据保持一致，这样就降低了数据抽取过程中数据转化的复杂性。

之所以有ODS层，目的是为了在业务系统和数据仓库之间形成一个隔离层，同时转移一部分业务系统细节查询的功能。在建立数据仓库之前，数据都是直接从业务系统提取，随着数据量和指标复杂性增强，对业务系统产生了比较大的压力，有了ODS层之后，这部分的需求就可以直接在ODS层进行。

3. 数据仓库层

数据仓库以ODS层数据为基础，通过一定的逻辑转换输出表。基于数据集成程度不同，数据仓库的表也分为三个层次：基础数据层，主题大宽表、数据集市层。

基础数据层

基础数据层的数据是基于ODS层数据进行轻度汇总，产生出一定的明细表。譬如商品相关的主要信息譬如商品的大中小分类、商品供应商信息、商品配送信息等在业务系统里面分散在不同的表中，数据仓库将这些数据进行汇总成商品主数据，后面跟商品相关的信息的则可以直接查询。

大宽表主题层

大宽表主题层的数据来自于ODS层和基础数据层，在这一层，会将业务数据按主题划分聚合集成。譬如分析商品时，一般业务会将商品库存作为一个主题去分析，在这一层，开发会将商品库存相关的数据按一定的维度及指标进行聚合。譬如商品在门店、各仓库的现在库存、在途库存、调拨库存、在单库存等，报表一般会到最细颗粒（商品、仓库库位）。

数据集市层

数据集市层出的表及字段一般都是直接按用户需求出表，基于基础数据层和大宽表主题层报表进行进一步的高度集成，譬如用户需要分析不同大类的商品库存金额、库存数量，开发则会将商品主数据和商品库存表上部分字段按一定逻辑进行聚合生成用户需求报表。

4. 数据应用展现层

数据仓库开发完成用户需求报表数据后，通过大数据平台应用层展现给用户查询使用。当然大数据平台的内容很多，这里我们只按数据流向说明数据平台的应用功能。

上述为根据数据流向解析的大数据平台架构，平台搭建和实际开发过程中肯定更为复杂，其中数据仓库的建设与研发同事对于业务的理解和报表数据结构的规划有很大关系，但是作为数据产品经理，能清楚这个数据开发过程就能解决我们工作中的很多问题了。

04

1. 作为数据产品经理，日常工作中会遇到很多问题需要你有一定的开发只是作为基础去解决,清楚大数据平台架构，理解数据开发过程和流向能让我们更专业地解决上述问题。

2. 大数据平台架构体现的数据研发过程以及平台建设过程，按数据流向来看能助你更好的理解：数据分布在产生数据的业务系统，大数据平台抽过来通过一定逻辑集成、组合并生成用户需求数据。

3. 下次面对用户或者研发的问题，你可以这样回，譬如：

“你别跟我说这是业务系统的问题，我的表是你们开发的，数据有问题我不找你们找谁？”
——我们数据平台不产生数据的，基础数据都来自于业务系统，这个指标数据有误，是因为业务系统那边对应的基础数据有误，我也问了他们产品经理，原因是您所在部门负责维护这个字段的人维护数据有误。
“这个表指标逻辑很复杂，我需要两周。为什么？因为研发过程很困难啊！跟你说了你也不懂，你就跟用户说搞不出来就行了。”
——我已经问了另一个同事，这个指标对应的基础数据已经全部从业务系统抽取过来了，并有相应基础数据大宽表，指标对应字段你都是可以直接取数的，请问难度要两周的原因在哪里呢？

作者：王小涂，微信公众号：数据产品经理进阶之路（ID：DATAPMLZ）希望和你一起探讨数据产品经理进阶之路！

本文由 @王小涂 原创发布于人人都是产品经理。未经许可，禁止转载

题图来自Unsplash，基于CC0协议