一种数据处理方法、装置、电子设备和存储介质制造方法及图纸

技术编号:42360666 阅读:15 留言:0更新日期:2024-08-16 14:45
本发明专利技术实施例公开了一种数据处理方法、装置、电子设备和存储介质;可获取多个数据源端对应的初始时间窗口和各数据源端的数据标识,分别根据数据标识,计算各数据源端对应的窗口偏移量,基于各数据源端对应的窗口偏移量对各初始时间窗口进行偏移处理,得到各数据源端对应的目标时间窗口,其中,至少两个数据源端的目标时间窗口的窗口起始时间不同,基于目标时间窗口对各数据源端的待处理数据进行周期数据处理,得到各数据源端的数据处理结果;在本发明专利技术实施例中,由于得到窗口起始时间不同的目标时间窗口,不同数据源端的时间窗口在数据处理过程的时间线上不会集中对齐,可有效地缓解数据处理过程对数据处理设备的压力,提高数据处理设备的性能。

【技术实现步骤摘要】

本专利技术涉及数据处理,具体涉及一种数据处理方法、装置、电子设备和存储介质


技术介绍

1、随着大数据技术的发展,处理流式数据已经成为许多应用领域的基础技术。例如,在互联网应用中,可以使用流式数据处理技术来实时统计用户相关使用数据,比如统计完整每分钟的访问量,统计网页5分钟的访问量;还可以是使用于推荐商品、业务风控等。

2、目前,处理流式数据的常见方法是使用时间窗口。通过时间窗口可以将流式数据划分为多个时间段,每个时间段内的数据都被当作一个集合处理。相关技术中,流式处理中的时间窗口都是对齐的,当需要处理大量数据源的数据时,时间窗口会集中在一起输出大量的计算结果。这会导致数据处理设备具有严重的数据处理压力,可能会导致数据处理设备性能下降或甚至瘫痪。


技术实现思路

1、本专利技术实施例提供一种数据处理方法、装置、电子设备和存储介质,可以有效地缓解数据处理过程对数据处理设备的压力,提高数据处理设备的性能。

2、本专利技术实施例提供一种数据处理方法,包括:

3、获取多个数据源端对应本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述分别根据所述数据标识,计算各个所述数据源端对应的窗口偏移量,包括:

3.根据权利要求1所述的数据处理方法,其特征在于,所述基于各所述数据源端对应的所述窗口偏移量,对各所述初始时间窗口进行偏移处理,得到各所述数据源端对应的目标时间窗口之前,所述方法还包括:

4.根据权利要求3所述的数据处理方法,其特征在于,所述若存在小于预设的第一偏移差异阈值的目标偏移量差值,对所述目标偏移量差值对应的所述窗口偏移量进行加权计算,得到新的窗口偏移量之前,所述方法还包括:

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述分别根据所述数据标识,计算各个所述数据源端对应的窗口偏移量,包括:

3.根据权利要求1所述的数据处理方法,其特征在于,所述基于各所述数据源端对应的所述窗口偏移量,对各所述初始时间窗口进行偏移处理,得到各所述数据源端对应的目标时间窗口之前,所述方法还包括:

4.根据权利要求3所述的数据处理方法,其特征在于,所述若存在小于预设的第一偏移差异阈值的目标偏移量差值,对所述目标偏移量差值对应的所述窗口偏移量进行加权计算,得到新的窗口偏移量之前,所述方法还包括:

5.根据权利要求4所述的数据处理方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的数据处理方法,其特征在于,所述基于所述目标时间窗口,对各所述数据源端的待处理数据进行周期数据处理,得到...

【专利技术属性】
技术研发人员:李天旺
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1