内容简介:刘睿民:数据库是保障数据安全的有力屏障
2017年5月26日,在贵阳数博会大数据标准化论坛上,国际信标委国际协调员、刘睿民发表了题为《流数据库技术实现及国际标准制定路线图》的演讲。
刘睿民指出, 大数据行业已经进入流数据爆发的时代,中国应充分发挥自身优势,依托中国已经引领制定的2018流数据库国际标准,尽快制定自己的国家标准及相关工业标准,把握现在国际核心技术重新布局过程中,中国现在拥有的话语权,掌握国际大数据市场主导权。
刘睿民介绍, 中国在流数据领域拥有国际领先的技术实力 。比如,我国提案“SQL对MapReduce及与之相关的流数据处理的支持”得到国际标准为技术专家的高度肯定,WG3在2016年孟菲斯会议全票通过了这个来自中国的首个提案。
中国首次作为SC32 WG3“数据库语言工作组”和JTC1 WG10“物联网工作组”的联络员,负责探索流数据处理和WG10工作组的相关性,以便完善我国的提案作为 SQL 数据库语言ISO国际标准的独立章节。
刘睿民在会上还明确指出, 流数据库是2025中国制造巨大支点 。原来不管是在工业界还是金融界,使用的数据库95%以上都是甲骨文的,我们整个工业化进程,就是甲骨文在国际社会不断发展壮大的进程。
据不完全统计,中国一年至少给甲骨文交的服务费至少在60-70亿美元,这使得我国工业、金融甚至政府的数据全部都在这些国际公司的数据库里,按他们的制定的规则被保存着,我们的数据安全完全依赖这些国际公司的技术,这其中的安全路径里存在的隐患,在不远的将来可能会让中国付出不可估量的代价,这不是杞人忧天,是我们必须正视的问题,所以拥我们自己国际领先技术标准的数据库才是根本解决方案。
刘睿民在论坛上还分享了他在国际会议上打败国际数据标准巨头甲骨文的实现弯道超车的核心亮点技术:
即原来传统数据库是静态的,所以数据是被进行清洗以后再放在磁盘里,要进行数据分析时,需要到磁盘里提取出数据再进行不同渠道、不同来源的滞后分析,所以分析不具有实时性,数据对经济实时指导价值不能更有效的体现出来。
而流数据库所有数据都存在于在内存里,就如同数据瀑布在流动过程中,就利用数据库内置模块对数据实时打上标签、归并、分析,使数据产生实时分析指导结果;而在流动中打上的这些标签是为今后对数据做进一步处理,将数据进行有序存储,从而进一步成为不断变动的数据的存量历史经验参考依据。
因此,实时流数据分析与传统静态查询的区别在于, 传统静态查询后即成为沉淀数据,数据价值不能充分发挥,而流数据处理完后不存储,而实时交互式是即席查询,数据的实效性及有效性成百倍千倍提高。而对大数据的实时分析意味着:即席查询使得索引没法预先被计算。
譬如,在线广告匹配、物联网、交通优化等。数据的价值如果在秒级,甚至毫秒级来体现,其价值要远远大于若干天后的滞后评估结果带给经济社会的价值,所以,流数据实时处理才是数据的核心价值。
这才是和以前技术完全不一样的亮点,这是一项颠覆性技术,也就是这项技术征服了所有的国际技术评委。
也只有这样的技术才能使得数据能够实时对经济社会、经营决策产生科学分析,并提供预警预测的指导结果,才能切实指导社会生活及生产经营,使得数据产生最大价值。
重磅福利!【 2017中国互联网+新商业峰会 】, 6月15-16日两天3000人次,携程创始人梁建章,嘉御基金创始人、前阿里巴巴CEO卫哲,分众传媒创始人江南春等嘉宾已确认出席,期待你的参与, 限量钜惠 票 等你拿!
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 垃圾回收之写屏障
- CyclicBarrier - 同步屏障实现分析
- Java 并发编程(三):MESI、内存屏障
- Java 并发编程(三):MESI、内存屏障
- Golang三色标记、混合写屏障GC模式图文全分析
- Java并发编程的艺术(十一)——倒计时器、同步屏障、信号量
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Hive编程指南
卡普廖洛 (Edward Capriolo)、万普勒 (Dean Wampler)、卢森格林 (Jason Rutherglen) / 曹坤 / 人民邮电出版社 / 2013-12-1 / 69
市场中第一本Hive图书。 Hive在Hadoop系统中的应用趋势比较可观。一起来看看 《Hive编程指南》 这本书的介绍吧!