【技术实现步骤摘要】
本专利技术涉及数据处理,具体涉及一种数据处理方法、装置、电子设备和存储介质。
技术介绍
1、随着大数据技术的发展,处理流式数据已经成为许多应用领域的基础技术。例如,在互联网应用中,可以使用流式数据处理技术来实时统计用户相关使用数据,比如统计完整每分钟的访问量,统计网页5分钟的访问量;还可以是使用于推荐商品、业务风控等。
2、目前,处理流式数据的常见方法是使用时间窗口。通过时间窗口可以将流式数据划分为多个时间段,每个时间段内的数据都被当作一个集合处理。相关技术中,流式处理中的时间窗口都是对齐的,当需要处理大量数据源的数据时,时间窗口会集中在一起输出大量的计算结果。这会导致数据处理设备具有严重的数据处理压力,可能会导致数据处理设备性能下降或甚至瘫痪。
技术实现思路
1、本专利技术实施例提供一种数据处理方法、装置、电子设备和存储介质,可以有效地缓解数据处理过程对数据处理设备的压力,提高数据处理设备的性能。
2、本专利技术实施例提供一种数据处理方法,包括:
3、
...【技术保护点】
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的数据处理方法,其特征在于,所述分别根据所述数据标识,计算各个所述数据源端对应的窗口偏移量,包括:
3.根据权利要求1所述的数据处理方法,其特征在于,所述基于各所述数据源端对应的所述窗口偏移量,对各所述初始时间窗口进行偏移处理,得到各所述数据源端对应的目标时间窗口之前,所述方法还包括:
4.根据权利要求3所述的数据处理方法,其特征在于,所述若存在小于预设的第一偏移差异阈值的目标偏移量差值,对所述目标偏移量差值对应的所述窗口偏移量进行加权计算,得到新的窗口偏移量之前,所述
...【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的数据处理方法,其特征在于,所述分别根据所述数据标识,计算各个所述数据源端对应的窗口偏移量,包括:
3.根据权利要求1所述的数据处理方法,其特征在于,所述基于各所述数据源端对应的所述窗口偏移量,对各所述初始时间窗口进行偏移处理,得到各所述数据源端对应的目标时间窗口之前,所述方法还包括:
4.根据权利要求3所述的数据处理方法,其特征在于,所述若存在小于预设的第一偏移差异阈值的目标偏移量差值,对所述目标偏移量差值对应的所述窗口偏移量进行加权计算,得到新的窗口偏移量之前,所述方法还包括:
5.根据权利要求4所述的数据处理方法,其特征在于,所述方法还包括:
6.根据权利要求1所述的数据处理方法,其特征在于,所述基于所述目标时间窗口,对各所述数据源端的待处理数据进行周期数据处理,得到...
【专利技术属性】
技术研发人员:李天旺,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。