【技术实现步骤摘要】
乱序数据处理方法、装置、设备及可读存储介质
本专利技术涉及金融科技(Fintech)
，尤其涉及一种乱序数据处理方法、装置、设备及可读存储介质。
技术介绍
随着金融科技(Fintech)，尤其是互联网科技金融的不断发展，越来越多的技术(如人工智能、大数据、云存储等)应用在金融领域，但金融领域也对各类技术提出了更高的要求，如要求实时计算过程中对大量数据的准确统计等。当前实时计算的场景中，数据乱序是很常见的问题，乱序数据的处理准确，对数据统计的准确性有重大影响。而Flink框架因高效的处理特性而广泛应用于实时计算场景中，其将数据分配到窗口，通过窗口的状态管理来实现数据统计。但是Flink框架对于乱序数据，会进行丢弃，如此一来，导致所统计的数据具有不准确性。因此，如何依赖Flink框架对实时计算过程中的乱序数据进行准确统计是当前亟待解决的技术问题。
技术实现思路
本专利技术的主要目的在于提供一种乱序数据处理方法、装置、设备及可读存储介质，旨在解决现有技术中如何依赖Flink框架对实时计算过...
【技术保护点】
1.一种乱序数据处理方法，其特征在于，所述乱序数据处理方法包括以下步骤：/n基于预设流处理框架从消息队列中读取待处理数据，并判断与所述待处理数据的生成时间匹配的时间窗口是否处于清除状态；/n若处于清除状态，则判定所述待处理数据为乱序数据，基于所述预设流处理框架重新形成所述时间窗口，并读取与所述时间窗口对应的历史清除数据，将所述历史清除数据恢复到所述时间窗口；/n基于所述预设流处理框架将所述待处理数据分配到所述时间窗口，与恢复到所述时间窗口内的所述历史清除数据进行聚合，完成对乱序数据的处理。/n
【技术特征摘要】
1.一种乱序数据处理方法，其特征在于，所述乱序数据处理方法包括以下步骤：
基于预设流处理框架从消息队列中读取待处理数据，并判断与所述待处理数据的生成时间匹配的时间窗口是否处于清除状态；
若处于清除状态，则判定所述待处理数据为乱序数据，基于所述预设流处理框架重新形成所述时间窗口，并读取与所述时间窗口对应的历史清除数据，将所述历史清除数据恢复到所述时间窗口；
基于所述预设流处理框架将所述待处理数据分配到所述时间窗口，与恢复到所述时间窗口内的所述历史清除数据进行聚合，完成对乱序数据的处理。
2.如权利要求1所述的乱序数据处理方法，其特征在于，所述基于所述预设流处理框架将所述待处理数据分配到所述时间窗口，与恢复到所述时间窗口内的所述历史清除数据进行聚合的步骤包括：
基于所述预设流处理框架将所述待处理数据分配到所述时间窗口，并对所述时间窗口添加延时时长；
判断所述延时时长内是否读取到目标待处理数据，其中，所述目标待处理数据的生成时间与所述时间窗口匹配；
若读取到所述目标待处理数据，将所述目标待处理数据分配到所述时间窗口，并在所述延时时长结束后，对所述时间窗口内的各个数据进行聚合。
3.如权利要求1所述的乱序数据处理方法，其特征在于，所述判断与所述待处理数据的生成时间匹配的时间窗口是否处于清除状态的步骤之后，所述方法还包括：
若与所述待处理数据的生成时间匹配的时间窗口处于未清除状态，则将所述待处理数据分配到所述时间窗口，并判断所述待处理数据的生成时间是否达到所述时间窗口的水位线；
若达到所述时间窗口的水位线，则对所述时间窗口内的各个数据进行聚合处理，生成处理结果存储到预设数据库。
4.如权利要求3所述的乱序数据处理方法，其特征在于，所述生成处理结果存储到预设数据库的步骤之后，所述方法还包括：
将所述时间窗口内的所有数据传输到所述预设数据库缓存，并在缓存成功后，清除所述时间窗口内的所有数据；
调整所述时间窗口的水位线，以读取所述消息队列中新的待处理数据进行聚合处理。
5.如权利要求4所述的乱序数据处理方法，其特征在于，所述将所述时间窗口内的所有数据传输到所述预设数据库缓存的步...
【专利技术属性】
技术研发人员：卢子杰，王亮，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。