阅读更多
一.背景
有时候我们需要过滤数据,有些中间数据是不需要的,比如场景:
binlog 数据更新的时候,我们仅仅需要最新数据。会根据ID 分组,然后取version 最大的一条,存储
二.简单实例
@Data @ToString public class Order { // 主键id private Integer id; // 版本 private Integer version; private Timestamp mdTime; public Order(int id, Integer version) { this.id = id; this.version = version; this.mdTime = new Timestamp(System.currentTimeMillis()); } public Order() { } }
public class OrderSource implements SourceFunction<Order> { Random random = new Random(); @Override public void run(SourceContext<Order> ctx) throws Exception { while (true) { TimeUnit.MILLISECONDS.sleep(100); // 为了区分,我们简单生0~2的id, 和版本0~99 int id = random.nextInt(3); Order o = new Order(id, random.nextInt(100)); ctx.collect(o); } } @Override public void cancel() { } }
public class ReduceApp { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); DataStream<Order> userInfoDataStream = env.addSource(new OrderSource()); DataStream<Order> timedData = userInfoDataStream.assignTimestampsAndWatermarks(new AscendingTimestampExtractor<Order>() { @Override public long extractAscendingTimestamp(Order element) { return element.getMdTime().getTime(); } }); SingleOutputStreamOperator<Order> reduce = timedData .keyBy("id") .timeWindow(Time.seconds(10), Time.seconds(5)) .reduce((ReduceFunction<Order>) (v1, v2) -> v1.getVersion() >= v2.getVersion() ? v1 : v2); reduce.print(); env.execute("test"); } }
结果:
Order(id=2, version=97, mdTime=2019-03-11 17:39:34.052)
Order(id=0, version=99, mdTime=2019-03-11 17:39:32.913)
Order(id=1, version=96, mdTime=2019-03-11 17:39:34.155)
Order(id=2, version=97, mdTime=2019-03-11 17:39:34.052)
Order(id=1, version=96, mdTime=2019-03-11 17:39:34.155)
Order(id=0, version=99, mdTime=2019-03-11 17:39:32.913)
这个会对同一个窗口做过滤,比如同步到另一个mysql,hdfs,就能减少数据量
0顶
0踩
分享到:
- 1 小时前
- 浏览 9
- 分类:互联网
- 查看更多
评论
发表评论
以上所述就是小编给大家介绍的《flink-reduce》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
共鸣:内容运营方法论
舒扬 / 机械工业出版社 / 2017-5-8 / 59.00
近5年来网络信息量增长了近10倍,信息极度过剩。移动互联网以碎片化、强黏度以及惊人的覆盖率给传统的商业环境带来了巨大的影响,向陈旧的广告、公关、媒体行业展开了深度的冲击。 传统的以渠道为中心的传播思想几近失效,优秀内容成为了各行业最稀缺的资产,这是时代赋予内容生产者的巨大机会。本书作者在多年经验和大量案例研究的基础上,总结出了移动互联网时代的内容运营方法论——共鸣,它将告诉我们如何收获核心粉......一起来看看 《共鸣:内容运营方法论》 这本书的介绍吧!