数据处理方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术的实施例提供了一种数据处理方法、装置、电子设备和存储介质，涉及数据处理技术领域。本发明专利技术实施例提供的数据处理方法、装置、电子设备和存储介质，通过从数据缓存区中读取数据，设定时间窗口，基于时间窗口判断是否存在延时的数据，然后将延时的数据写入延时缓存区，并对未延时的数据进行处理，整个处理过程使用相同的逻辑，降低了数据处理的耦合度，并且延时的数据不会丢失，提高了数据计算的精确性。

Data processing methods, devices, electronic equipment and storage media

【技术实现步骤摘要】
数据处理方法、装置、电子设备和存储介质
本专利技术涉及数据处理
，具体而言，涉及一种数据处理方法、装置、电子设备和存储介质。
技术介绍
随着流式计算在大数据时代的飞速发展，对流式数据的实时性、质量、可靠性和可用性都提出了越来越高的要求，流式计算引擎会进行大量的实时计算和读取海量的数据。目前，很多场景下都使用lambda架构来进行流式数据计算处理，lambda架构分为三层，分别是批处理层(BatchLayer)，服务层(ServingLayer)和加速层(SpeedLayer)，通过lambda架构进行流式数据处理，如果其中的某一层的逻辑变了，其他两层或某一层的逻辑也要跟着变，导致层与层之间的耦合度较大，且数据可能会丢失，导致数据计算结果不精确。
技术实现思路
基于上述研究，本专利技术提供了一种数据处理方法、装置、电子设备和存储介质，以改善上述问题。本专利技术的实施例可以这样实现：第一方面，本专利技术实施例提供一种数据处理方法，所述方法包括：从数据缓存区中读取数据，设定时间窗口，基于所述时间窗口判本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n从数据缓存区中读取数据，设定时间窗口，基于所述时间窗口判断是否存在延时的数据；/n将延时的数据写入延时缓存区，并对未延时的数据进行处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
从数据缓存区中读取数据，设定时间窗口，基于所述时间窗口判断是否存在延时的数据；
将延时的数据写入延时缓存区，并对未延时的数据进行处理。


2.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述时间窗口判断是否存在延时的数据的步骤包括：
获取读取的数据的时间戳，判断所述时间戳是否在当前时刻的时间窗口内；
若所述时间戳在所述当前时刻的时间窗口内，判定所述数据未延时，若所述时间戳未在所述当前时刻的时间窗口内，且所述时间戳在上一个时刻的时间窗口内，判定所述数据延时。


3.根据权利要求1所述的数据处理方法，其特征在于，基于所述时间窗口判断是否存在延时的数据的步骤，包括：
获取读取的数据的时间戳，判断所述时间戳是否在当前时刻的可延迟时间内；其中，所述可延迟时间为当前时刻的时间窗口后可延迟的时间段与当前时刻的时间窗口之和；
若所述时间戳在所述可延迟时间内，判定所述数据未延时，若未在所述可延迟时间内，且所述时间戳在上一个时刻的可延迟时间内，判定所述数据延时。


4.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
在将延时的数据写入延时缓存区之后，读取所述数据缓存区中的数据以及所述延时缓存区中的延时数据，基于相同长度的时间窗口，对所述数据缓存区中的数据以及所述延时缓存区中的延时数据进行处理。


5.根据权利要求4所述的数据处理方法，其特征在...

【专利技术属性】
技术研发人员：李尧，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11