【技术实现步骤摘要】
基于滑动窗口的数据处理方法、流处理系统、介质与设备
[0001]本公开涉及数据处理
，尤其涉及一种基于滑动窗口的数据处理方法、流处理系统、基于滑动窗口的数据处理装置、计算机可读存储介质与电子设备。
技术介绍
[0002]随着互联网的发展和移动终端应用程序的广泛使用，产生了规模巨大的数据，而为了向用户提供更为优质的服务、优化服务结构，往往需要对这些数据进行分析和处理。
[0003]其中，在一些数据密集型应用中，流数据往往是快速产生、转瞬即逝的，需要及时对数据进行处理，如在网络监控、电信数据管理、传感器网络、量化交易等应用中，需要对实时产生的流数据进行处理。现有方法可以采用批处理模式对无边界的流数据进行处理，但这种方法无法满足流数据的实时性需求。因此，需要提供一种能够提高流数据处理的实时性的方法。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开提供了一种基于滑...
【技术保护点】
【技术特征摘要】
1.一种基于滑动窗口的数据处理方法，应用于流处理系统，其特征在于，所述方法包括：根据预设的划分规则确定接收的流数据的目标滑动窗口和所述流数据在所述目标滑动窗口内的分片位置；调用聚合算法对处于所述目标滑动窗口内各分片位置的流数据进行聚合处理，得到聚合结果；利用所述聚合结果更新使用循环数组构建的树结构，所述树结构的叶子节点和非叶子节点分别用于存储所述目标滑动窗口内的流数据和所述目标滑动窗口内流数据的局部聚合结果；通过所述树结构的节点确定所述目标滑动窗口内的流数据的计算结果。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述流数据的接收时间是否大于或等于动态到达时间，所述动态到达时间依据进入窗口的流数据的最大事件时间与预设延迟时间之间的时间差确定；在所述流数据的接收时间大于或等于所述动态到达时间时，触发确定所述流数据的目标滑动窗口。3.根据权利要求1所述的方法，其特征在于，所述根据预设的划分规则确定接收的流数据的目标滑动窗口和所述流数据在所述目标滑动窗口内的分片位置，包括：根据所述流数据的数据参数和各窗口的窗口参数确定所述流数据的目标滑动窗口和所述流数据在所述目标滑动窗口内的分片位置；其中，所述流数据的数据参数包括所述流数据的接收时间和接收顺序，各窗口的窗口参数包括各所述窗口的窗口长度和窗口类型。4.根据权利要求3所述的方法，其特征在于，所述按照所述流数据的数据参数和各窗口的窗口参数确定所述流数据的目标滑动窗口和所述流数据在所述目标滑动窗口内的分片位置，包括：当所述流数据的接收时间大于各滑动窗口的窗口长度时，创建新的滑动窗口，并将所述新的滑动窗口确定为所述流数据的目标滑动窗口；当所述流数据的接收时间不大于任一滑动窗口的窗口长度时，将所述任一滑动窗口确定为所述流数据的目标滑动窗口。5.根据权利要求1所述的方法，其特征在于，所述目标滑动窗口内每个分片位置对应一个数据分片，所述数据分片由一个或多个流数据构成。6.根据权利要求5所述的方法，其特征在于，在调用聚合算法对处于所述目标滑动窗口内各分片位置的流数据进行聚合处理时，所述方法还包括：当所述目标滑动窗口的移动步长小于窗口长度时，确定所述目标滑动窗口内的重复分片；计算所述目标滑动窗口内除所述重复分片以外的其他数据分片的聚合结果，并利用所述重复分片的聚合结果和所述其他数据分片的聚合结果确定所述目标滑动窗口内的流数据的聚合结果。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：在对处于所述目标滑动窗口内各分片位置的流数据进行聚合处理时，确定所述目标滑
动窗口内各分片位置的流数据是否全部到达；当所述目标滑动窗口内存在任一分片位置的流数据未全部到达时，接收新的流数据，并按照所述预设的划分规则将所述新的流数据添加至所述任一分片位置；当所述目标滑动窗口内各分片位置的流数据均全部到达时，将各所述分片位置的流数据添加...
【专利技术属性】
技术研发人员：范潇，贾炎，赵俊杰，胡玉婷，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。