为什么说,大数据是从流式计算开始切入的?

栏目: 编程工具 · 发布时间: 5年前

内容简介:大数据说了很多年,我说雷声大,雨点小,这您同意吗?为什么?关键在创造的价值,如果仅仅是辅助决策,效果难以显现,如何才能够立竿见影?从技术上,对应的就是流式计算,因为它对应的是业务,能够带来收入的应用。

大数据说了很多年,我说雷声大,雨点小,这您同意吗?

为什么?

关键在创造的价值,如果仅仅是辅助决策,效果难以显现,如何才能够立竿见影?从技术上,对应的就是流式计算,因为它对应的是业务,能够带来收入的应用。

什么是流式大数据?有哪些应用?现在就让我们一起回顾下流计算平台的发展历史,以及如何在企业中运用。

为什么说,大数据是从流式计算开始切入的?

流计算在苏宁的前世今生

课程简介:1. 流计算平台的发展历程

2014年到现在4年多的发展历程,经历storm->spark streaming->flink的转变,目前在转变中。

2. storm及spark streaming的缺点&我们为什么选择flink?

(1)兼顾吞吐量和延时;(2)高效的状态管理;(3)Exactly-Once的保证;(4)Event-Time

3. 关于flink,我们做了哪些工作?

(1)平台层功能丰富:sql语法丰富(distinct,流表join),算子自动扩缩容,connector(mysql, hbase,kafka1.0),sink降速;(2)工具层:统一日志收集及展示、统一监控管理平台(平台层&业务层);(3)服务层:Dlink 一站式开发平台。

4. 未来展望

数据集成 && 机器学习 && CEP 等

为什么说,大数据是从流式计算开始切入的?

讲师介绍:苏宁易购IT总部大数据平台高级技术经理陈丰,负责苏宁易购集团大数据流计算平台建设,包括Storm、SparkStreaming、Flink等组件,经历了流计算从组件化到平台服务化到智能化的发展过程。对大数据开源框架有较为丰富的经验,在分布式计算架构设计和系统优化方面有自己的思考和领悟。

流式大数据和即时交互式分析技术

课程简介:大数据技术逐渐变成企业的标配,漫长的等待数据分析结果已经不合时宜,延迟更低的流式大数据处理技术,即时分析变得越来越重要。在本论坛将给大家带来行业中领先的流式大数据,即时交互式分析技术的相关分享。

为什么说,大数据是从流式计算开始切入的?

讲师介绍:TalkingData研发副总裁阎志涛,现任TalkingData研发副总裁,领导研发了公司的数据管理平台(DMP)、数据观象台等产品,并且负责公司大数据计算平台的研发。目前专注于构建一个融合多种计算模型,支持机器学习和数据挖掘的大数据计算平台。关注Spark、Hadoop、HBase、 MongoDB 等技术。超过15年的IT领域从业经验,一直从事大规模分布式计算系统、中间件、BI等相关工作。

流式计算在内容资讯推荐服务的应用

课程简介:流式计算一直是近年来赤手可热的专业技术话题,内容资讯也是互联网发展近20年来一致持续受资本青睐的创业方向,本期内容主要是向大家介绍流式计算在内容资讯推荐方面的应用,给大家介绍当前主流资讯推荐服务流程,介绍其中用户画像的实时更新,这个也正是流式计算的典型应用。

为什么说,大数据是从流式计算开始切入的?

讲师介绍:中东新媒体首席架构师王成光,曾先后在百丽电商优购、搜狐、网易、一点资讯任职架构师、技术专家等职位,一直从事搜索、数据挖掘和个性化推荐的设计、研发工作,曾多次从零构建完整的搜索和推荐系统,曾开源轻量级分布式实时计算框架light_drtc,并于2016年出版《分布式实时计算框架原理及实践案例》。

为什么说,大数据是从流式计算开始切入的?

【本文版权归存储在线所有,未经许可不得转载。文章仅代表作者看法,如有不同观点,欢迎添加存储在线微信公众号(微信号:doitmedia)进行交流。】


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

增长黑客实战

增长黑客实战

范冰、张溪梦 / 电子工业出版社 / 2017-6 / 59.00

《增长黑客实战》围绕硅谷前沿的增长黑客职业,讲解增长理念的树立、增长团队的组建、流程制度的创立、技术营销的运用等团队运营成功实战经验。作者以自身创业经验为蓝本,结合真实案例,并融入一些伟大创业者的智慧,创建了一套思考、验证和追求卓越增长的理论体系。那些想要验证自己的创意、解决实际增长问题和拥有成功事业的人,可以将《增长黑客实战》当成一套清晰的实践指南、一幅组建增长团队的指导蓝图,或者一套值得反复玩......一起来看看 《增长黑客实战》 这本书的介绍吧!

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试