一种Flink回退位点watermark乱序的解决方法技术

本发明专利技术涉及Flink乱序处理技术领域，具体是一种Flink回退位点watermark乱序的解决方法，设定watermark水位线生成周期，设定好后，根据两个周期内到达的事件计算出新的watermark水位线；自定义watermark水位线策略、createWatermarkGeneratorx0，指定默认允许延迟的时间定义为delay，初始化偏移量offset，默认值为指定的延迟时间；初始化LinkedList，在一定范围内基于当前时刻到达的数据计算watermark，初始化0为最后一次生成的watermark，定义为lastWm；本发明专利技术针对Flink回退位点场景，能够保证watermark的有序，计算出真正符合当前数据的正确的watermark，针对Flink回退位点场景，能够保证算子的计算性能和最终计算数据的完整性。

【技术实现步骤摘要】

本专利技术涉及flink乱序处理，具体是一种flink回退位点watermark乱序的解决方法。

技术介绍

1、在flink流式处理中，watermark的使用方式主要分为两种：

2、一种是使用默认的单调递增watermark，在指定延迟时间后，触发窗口计算或定时器逻辑计算。

3、另一种是基于指定的周期生成watermark时间来达到每个固定时间生成一个watermark的效果。

4、在回退位点的场景下，数据乱序问题会被放大，watermark会远大于期望的的watermark，在窗口计算或或定时器计算场景下，会在同一时间触发多个窗口和定时器计算，消耗更多的计算资源，并且会导致计算结果不完整。

5、在无事件触发的场景下，窗口或定时器由于无法生成watermark导致延迟计算不能被触发，最终会导致数据产出延迟。

6、为此，提供一种flink回退位点watermark乱序的解决方法。

技术实现思路

1、有鉴于此，本专利技术实施例希望提供一种flink回退本文档来自技高网...

【技术保护点】

1.一种Flink回退位点watermark乱序的解决方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种Flink回退位点watermark乱序的解决方法，其特征在于：所述S1中watermark水位线生成周期设置为5S。

3.根据权利要求2所述的一种Flink回退位点watermark乱序的解决方法，其特征在于：所述S2中默认允许延迟的时间定义为delay设置为10S。

4.根据权利要求1所述的一种Flink回退位点watermark乱序的解决方法，其特征在于，该方法还包括以下步骤：

5.根据权利要求4所述的一种Flin...

【技术特征摘要】

1.一种flink回退位点watermark乱序的解决方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种flink回退位点watermark乱序的解决方法，其特征在于：所述s1中watermark水位线生成周期设置为5s。

3.根据权利要求2所述的一种flink回退位点watermark乱序的解决方法，其特征在于：所述s2中默认允许延迟的时间定义为delay设置为10s。

4.根据权利要求1所述的一种flink回退位点watermark乱序的解决方法，其特征在于，该方法还包括以下步骤：

5.根据权利要求4所述的一种flink回退位点watermark乱序的解决方法，其特征在于：所述transform方法包括输出一个比特的vld有效位信号，用于指示本次转换预测输出的期望结果是否会被写入到比较器m_before_fifo缓存中以进行检查比较。

6.根据权利要求4所述的一种flink回退位点watermark乱序的解决方法，其特征在于：所述输出级处理节点接收至少一个输入级处理节点按照逐包均衡的传输策略配置传输的，经由中间级处理节点转发的，配置有初始编号的各个数据包，所述初始编号为所述...

【专利技术属性】
技术研发人员：于志杰，
申请(专利权)人：北京白龙马云行科技有限公司，
类型：发明
国别省市：