数据指标构建方案

栏目: 数据库 · 发布时间: 5年前

内容简介:TheWhy·Liam·Blog byWhyLiam is licensed under a由WhyLiam创作并维护的Why·Liam·Blog采用创作共用本文首发于

TheWhy·Liam·Blog byWhyLiam is licensed under a Creative Commons BY-NC-ND 4.0 International License .

由WhyLiam创作并维护的Why·Liam·Blog采用创作共用 保留署名-非商业-禁止演绎4.0国际许可证

本文首发于 Why·Liam·Blog (https://blog.naaln.com) ,版权所有,侵权必究。

本文永久链接: https://blog.naaln.com/2019/05/indicators-management/

数据指标作为业务和数据的结合,也是数据统计的基础,也是量化业务效果的依据。数据指标是数据仓库的根基,也是数据报表呈现的依赖。

数据指标构建方案

1、数据建模

数据仓库一般采用的建设方法是应用驱动,业务逻辑知识散落在各个ETL开发与PD的头脑中,缺乏总整体上对源系统的一个全面了解。全面的数据调研工作对后续数据仓库模型中的设计具有非常重大的指导作用,在数据的取舍、数据整合策略、指标计算方法等方面对非常重要。

1.1 第三范式建模

范式建模法其实是在构建数据模型常用的一个方法,该方法的主要由 Inmon 所提倡,主要解决关系型数据库得数据存储,利用的一种技术层面上的方法。目前,我们在关系型数据库中的建模方法,大部分采用的是三范式建模法。

一个符合第三范式的关系必须具有以下三个条件:

  1. 每个属性值唯一,不具有多义性;
  2. 每个非主属性必须完全依赖于整个主键,而非主键的一部分;
  3. 每个非主属性不能依赖于其他关系中的属性,因为这样的话,这种属性应该归到其他关系中去。

1.2 维度建模

维度模型是数据仓库领域另一位大师 Ralph Kimall 所倡导,他的《数据仓库 工具 箱》是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型,构建的数据模型为分析需求服务,因此它重点解决用户如何更快速完成分析需求,同时还有较好的大规模复杂查询的响应性能。

典型的代表是我们比较熟知的星形模型(Star-schema),以及在一些特殊场景下适用的雪花模型(Snow-schema)。维度建模中比较重要的概念就是 事实表(Fact table)维度表(Dimension table) 。其最简单的描述就是,按照事实表、维度表来构建数据仓库、数据集市。

2、指标模型

目前,阿里巴巴数据公共层建设的指导方法是一套统一化的集团数据整合及管理的方法体系(OneData),其包括一致性的指标定义体系、模型设计方法体系以及配套工具。

OneData体系分为:数据规范定义体系、数据模型规范设计、ETL规范研发以及支撑整个体系从方法到实施的工具体系。

数据指标构建方案

2.1 数据指标搭建流程

数据指标构建方案

数据指标构建方案

2.2 指标的规范定义

指标的规范定义,以维度建模作为理论基础,构建总线矩阵,划分和定义数据域、业务过程、维度、度量/原子指标、修饰类型、修饰词、时间周期、派生指标等。

数据指标构建方案

  • 事务型指标:是指对业务活动进行衡量的指标。例如,新增注册会员数、订单支付金额,这类指标需要维护原子指标以及修饰词,在此基础上创建派生指标。
  • 存量型指标:是指对实体对象(如商品、会员)某些状态的统计,例如商品总数、注册会员总数,这类指标需要维护原子指标以及修饰词,在此基础上创建派生指标,对应的时间周期一般为“历史截止当前某个时间”。
  • 复合型指标:是在事务性指标和存量型指标的基础上复合成的。例如,浏览UV-下单买家数转化率。

数据指标构建方案


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

成功由我

成功由我

刘世英、彭征 / 湖南人民出版社 / 2010-2 / 28.00元

《成功由我:李彦宏快乐成功之道》讲述:他,18岁高分考入北京大学,毕业后到美国名校学习最热门的计算机专业,然后闯荡于华尔街和硅谷这两大金融和技术圣地,31岁回国创立百度……到如今身价数十亿美元,领导的百度发展成为全球第二大搜索引擎,在国内搜索市场占据近八成的市场份额,将有“上帝”之称的Google抛在身后,最近他又掀起了“框计算”风暴,并雄心万丈宣称“未来十年,要让百度在全球一半以上国家成为家喻户......一起来看看 《成功由我》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具