首页 > 其他 > 详细

flink watermark

时间:2019-10-14 00:04:35      阅读:134      评论:0      收藏:0      [点我收藏+]

1.Flink时间类型

(1) Event Time:事务(数据)自带的时间戳

(2) Ingestion Time: 数据进入Flink的时间

(3) Processing Time: 数据被处理时间(墙上时间)

2.划分窗口带来的问题

在数据是有序的情况下,窗口很容易划分。现实中,由于一些原因,数据的时间不是有序的,那么如何确保时间窗口里的数据全部进入了Flink系统处理,如果确保不了,Flink会一直维护这个窗口的数据状态,造成资源浪费。我们很容易知道,如果时间是有序的,就很容易解决这个问题。是不是可以人为 定一个时间,保证有序性。Flink中watermark由此而来。

3.watermark机制

watermark产生方式

(1) 一定时间间隔或者数据量到达一定程度时,产生一个watermark

(2) 根据event time产生watermater。如一条记录产生一个watermark,时间是event time + 10s,Flink处理watermark指定时间时,默认这个时间窗口内的数据全部到达,认为超出这个范围内的数据出现概率小,不影响准确性,可以直接丢弃;或者改变watermark处理机制

 

flink watermark

原文:https://www.cnblogs.com/chimpan/p/11668838.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!