【技术实现步骤摘要】
本专利技术涉及数据处理，具体涉及一种数据处理方法、装置、电子设备和存储介质。
技术介绍
1、随着大数据技术的发展，处理流式数据已经成为许多应用领域的基础技术。例如，在互联网应用中，可以使用流式数据处理技术来实时统计用户相关使用数据，比如统计完整每分钟的访问量，统计网页5分钟的访问量；还可以是使用于推荐商品、业务风控等。
2、目前，处理流式数据的常见方法是使用时间窗口。通过时间窗口可以将流式数据划分为多个时间段，每个时间段内的数据都被当作一个集合处理。相关技术中，流式处理中的时间窗口都是对齐的，当需要处理大量数据源的数据时，时间窗口会集中在一起输出大量的计算结果。这会导致数据处理设备具有严重的数据处理压力，可能会导致数据处理设备性能下降或甚至瘫痪。
技术实现思路
1、本专利技术实施例提供一种数据处理方法、装置、电子设备和存储介质，可以有效地缓解数据处理过程对数据处理设备的压力，提高数据处理设备的性能。
2、本专利技术实施例提供一种数据处理方法，包括：
3、获取多个数据源端对应的初始时间窗口，以及各个所述数据源端的数据标识；
4、分别根据所述数据标识，计算各个所述数据源端对应的窗口偏移量；
5、基于各所述数据源端对应的所述窗口偏移量，对各所述初始时间窗口进行偏移处理，得到各所述数据源端对应的目标时间窗口，其中，至少两个所述数据源端的所述目标时间窗口的窗口起始时间不同；
6、基于所述目标时间窗口，对各所述数据源端的待
7、相应的，本专利技术实施例提供一种数据处理装置，包括：
8、窗口获取单元，用于获取多个数据源端对应的初始时间窗口，以及各个所述数据源端的数据标识；
9、偏移量计算单元，用于分别根据所述数据标识，计算各个所述数据源端对应的窗口偏移量；
10、窗口偏移处理单元，用于基于各所述数据源端对应的所述窗口偏移量，对各所述初始时间窗口进行偏移处理，得到各所述数据源端对应的目标时间窗口，其中，至少两个所述数据源端的所述目标时间窗口的窗口起始时间不同；
11、数据处理单元，用于基于所述目标时间窗口，对各所述数据源端的待处理数据进行周期数据处理，得到各所述数据源端的数据处理结果。
12、在一些可选的实施例中，所述偏移量计算单元，用于分别将所述数据标识以预设的映射关系进行映射计算，得到各所述数据标识对应的映射数值结果；
13、对所述映射数值结果取绝对值，根据取绝对值后的结果以及所述初始时间窗口的时间窗口长度计算各个所述数据源端对应的窗口偏移量。
14、在一些可选的实施例中，本专利技术实施例提供的数据处理装置还包括第一再偏移单元，用于基于各所述数据源端对应的所述窗口偏移量，计算各所述窗口偏移量之间的偏移量差值；
15、若存在小于预设的第一偏移差异阈值的第一偏移量差值，对所述第一偏移量差值对应的所述窗口偏移量进行加权计算，得到新的窗口偏移量；
16、返回执行所述基于各所述数据源端对应的所述窗口偏移量，计算各所述窗口偏移量之间的偏移量差值的步骤，直至所述偏移量差值均不小于所述第一偏移差异阈值。
17、在一些可选的实施例中，本专利技术实施例提供的数据处理装置还包括第一阈值计算单元，用于获取数据处理设备的处理资源信息和各所述数据源端的历史数据处理结果；
18、根据所述处理资源信息，计算所述数据处理设备的数据最大处理量；
19、根据所述数据最大处理量和各所述历史数据处理结果，预测第一偏移差异阈值。
20、在一些可选的实施例中，本专利技术实施例提供的数据处理装置还包括第二再偏移单元，用于根据所述数据最大处理量和各所述历史数据处理结果，对所述数据源端进行分组，同一组中的所述数据源端的所述偏移量差值小于预设的第二偏移差异阈值；
21、若存在不小于预设的第二偏移差异阈值的第二偏移量差值，且所述第二偏移量差值对应的所述数据源端属于同一组，对所述第二偏移量差值对应的所述窗口偏移量进行加权计算，得到新的窗口偏移量；
22、返回执行所述基于各所述数据源端对应的所述窗口偏移量，计算各所述窗口偏移量之间的偏移量差值的步骤，直至同一组所述数据源端对应的所述偏移量差值均大于所述第二偏移差异阈值。
23、在一些可选的实施例中，本专利技术实施例提供的数据处理装置还包括实时再偏移单元，用于基于各所述数据源端对应的所述目标时间窗口和所述目标时间窗口的窗口时间长度，预测数据处理设备的数据处理时间线中各时间段的数据处理压力值，所述时间段的时间长度由所述窗口时间长度计算得到；
24、当存在所述数据处理压力值大于预设的处理压力阈值的目标时间段时，对所述目标时间段内的所述目标时间窗口进行偏移，得到新的目标时间窗口；
25、返回执行所述基于各所述数据源端对应的所述目标时间窗口和所述目标时间窗口的窗口时间长度，预测数据处理设备的数据处理时间线中各时间段的数据处理压力值的步骤，直至所述数据处理时间线中不存在所述目标时间段为止。
26、在一些可选的实施例中，所述数据处理单元，用于基于所述目标时间窗口，对各所述数据源端的待处理数据进行一次数据处理，得到各所述数据源端的实时数据处理结果；
27、根据所述实时数据处理结果和所述目标时间窗口的窗口时间长度，计算各所述数据源端的单位时间数据量；
28、基于所述单位时间数据量，修改所述目标时间窗口的窗口时间长度，得到新的目标时间窗口；
29、返回执行所述基于所述目标时间窗口，对各所述数据源端的待处理数据进行一次数据处理，得到各所述数据源端的实时数据处理结果的步骤，直至数据处理设备的数据处理时间线结束。
30、相应的，本专利技术实施例还提供一种电子设备，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行本专利技术实施例所提供的任一种数据处理方法中的步骤。
31、相应的，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本专利技术实施例所提供的任一种数据处理方法中的步骤。
32、此外，本专利技术实施例还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现本专利技术实施例所提供的任一种数据处理方法中的步骤。
33、采用本专利技术实施例的方案，可以获取多个数据源端对应的初始时间窗口，以及各个该数据源端的数据标识，分别根据该数据标识，计算各个该数据源端对应的窗口偏移量，基于各该数据源端对应的该窗口偏移量，对各该初始时间窗口进行偏移处理，得到各该数据源端对应的目标时间窗口，其中，至少两个该数据源端的该目标时间窗口的窗口起始时间不同，基于该目标时间窗口，对各该数据源端的待处理数据进行周期数据处理，得到各该数据源端的数据处理结果；本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述分别根据所述数据标识，计算各个所述数据源端对应的窗口偏移量，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，所述基于各所述数据源端对应的所述窗口偏移量，对各所述初始时间窗口进行偏移处理，得到各所述数据源端对应的目标时间窗口之前，所述方法还包括：
4.根据权利要求3所述的数据处理方法，其特征在于，所述若存在小于预设的第一偏移差异阈值的目标偏移量差值，对所述目标偏移量差值对应的所述窗口偏移量进行加权计算，得到新的窗口偏移量之前，所述方法还包括：
5.根据权利要求4所述的数据处理方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述目标时间窗口，对各所述数据源端的待处理数据进行周期数据处理，得到各所述数据源端的数据处理结果之前，所述方法还包括：
7.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述目标时间窗口，对各所述数据源端的待处理数据进行周期数据处理，得
8.一种数据处理装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至7任一项所述的数据处理方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的数据处理方法中的步骤。
11.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述分别根据所述数据标识，计算各个所述数据源端对应的窗口偏移量，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，所述基于各所述数据源端对应的所述窗口偏移量，对各所述初始时间窗口进行偏移处理，得到各所述数据源端对应的目标时间窗口之前，所述方法还包括：
4.根据权利要求3所述的数据处理方法，其特征在于，所述若存在小于预设的第一偏移差异阈值的目标偏移量差值，对所述目标偏移量差值对应的所述窗口偏移量进行加权计算，得到新的窗口偏移量之前，所述方法还包括：
5.根据权利要求4所述的数据处理方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述目标时间窗口，对各所述数据源端的待处理数据进行周期数据处理，得到...
【专利技术属性】
技术研发人员：李天旺，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。