YDB基础

内容简介：YDB基础

第二章 YDB基础

一、 YDB是什么？

YDB全称延云YDB，是一个基于Hadoop分布式架构下的实时的、多维的、交互式的查询、统计、分析引擎，具有万亿数据规模下的秒级性能表现，并具备企业级的稳定可靠表现。

YDB是一个细粒度的索引，精确粒度的索引。数据即时导入，索引即时生成，通过索引高效定位到相关数据。YDB与Spark深度集成，Spark对YDB检索结果集直接分析计算，同样场景让Spark性能加快百倍。

二、 为探索性分析与即席分析而设计

YDB的即席分析（Ad Hoc）概念的解释

1：当场，就是当场去查询，现场 随意、即兴 查询。

2：响应时间要求为几秒才能称为即席。

即席分析与普通分析的区别

1.普通的应用分析是定制开发的，大多是预先计算好的。

2.即席分析是用户在使用时临时生产的分析，查询条件事先未知，系统无法预先优化这些查询，在现场没法预先准备，所以即席查询的性能也是评估数据仓库的一个重要指标。

三、 YDB适合的行业

四、 企业级特性：稳定，可靠，易用

五、 哪些用户适合使用YDB？

1.传统关系型数据，已经无法容纳更多的数据，查询效率严重受到影响的用户。

2.目前在使用SOLR、ES做全文检索，觉得solr与ES提供的分析功能太少，无法完成复杂的业务逻辑，或者数据量变多后SOLR与ES变得不稳定，在掉片与均衡中不断恶性循环，不能自动恢复服务，运维人员需经常半夜起来重启集群的情况。

3.基于对海量数据的分析，但是苦于现有的离线计算平台的速度和响应时间无满足业务要求的用户。

4.需要对用户画像行为类数据做多维定向分析的用户。

5.需要对大量的UGC（User Generate Content）数据进行检索的用户。

6.当你需要在大数据集上面进行快速的，交互式的查询时。

7.当你需要进行数据分析，而不只是简单的键值对存储时。

8.当你想要分析实时产生的数据时。

六、 什么情况下不需要用YDB?

1.当数据量可以在 MySQL 中很轻松的处理时

2.当批量数据集成对你来说已经足够好的情况下

3.当你只需要执行固定的查询时

七、 在公安系统的-典型的场景

八、 现有大数据技术痛点分析

九、 主要功能概述

功能	概述
检索过滤	等值匹配,支持 in操作,>,<,>=,<= and与or的嵌套组合
统计分析	单/多列group by,max,min,sum,avg,count,distinct
复杂SQL	自定义udf,udaf,udtf,SQL多层嵌套,union,join
模糊查询	全文检索,临近搜索,相似文本(文章)搜索, like。
数据类型	string,int,long,float,double 支持一列多值适合一条记录多个标签的存储与检索
中文分词	内嵌二元分词，号码分词，IK词库分词，以及YDB的多元分词。 也可自定义或拓展第三方分词。

十、 卓越的性能

1. 稽查布控场景性能

2. 卓越的检索与分析性能

与Spark txt性能对比（提升倍数）

与ORACLE性能对比

3. 卓越的 排序 性能

按照时间逆序排序可以说是很多日志系统的硬指标。在延云YDB系统中，我们改变了传统的暴力排序方式，通过索引技术，可以超快对数据进行单列排序，不需要全表暴力扫描，这个技术我们称之为BlockSort，目前支持tlong、tdouble、tint、tfloat四种数据类型。

由于BlockSort是借助搜索的索引来实现的，所以采用BlockSort的排序，不需要暴力扫描，性能有大幅度的提升。

BlockSort的排序，并非是预计算的方式，可以进行全表进行排序，也可以基于任意的过滤筛选条件进行过滤排序。

       详细测试地址： http://blog.csdn.net/qq_33160722/article/details/54447022

       300亿条数据的排序 演示视频   http://blog.csdn.net/qq_33160722/article/details/54834896

测试结果(时间单位为秒)

amtint列筛选	筛选后条数	排序方式	YDBBlockSort	Spark
无筛选	100亿	降序	3.3	1118
		升序	3.6	1085
100 TO 900	80亿	降序	1.5	1093
		升序	1.3	1070
100 TO 600	50亿	降序	1.53	1104
		升序	1.38	867
100 TO 200	10亿	降序	7.00	1115
		升序	1.11	1131
100 TO 110	1亿	降序	2.1	1160
		升序	3.44	1114
100 TO 101	0.1亿	降序	10.67	1089
		升序	7.0	1110

以上所述就是小编给大家介绍的《YDB基础》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

猜你喜欢:

• java面试基础复习----基础的基础（1）
• 算法基础之基础排序
• golang基础（2）基础类型
• Go 语言基础系列：基础语法
• Go 语言基础系列：基础语法
• wed服务基础·httpd基础配置详解

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。