【技术实现步骤摘要】
动态窗口与聚合参数的实现方法、系统、通信设备
[0001]本申请涉及大数据
，特别是涉及一种动态窗口与聚合参数的实现方法、系统、通信设备、存储介质和计算机程序产品。
技术介绍
[0002]随着大数据技术的发展，各窗口具有固定不可变的窗口时间已经不能满足使用需求了，现有技术中，数据流经常以分组、开窗、聚合的流程被处理，在很多业务场景下，需要实时更改数据流窗口大小和聚合过程中的相关参数值，当需要调整聚合参数值和窗口大小时，现有技术需要修改程序，然后重新启动，这种方式十分耗时，且影响程序的运行。
[0003]因此，亟待提供一种能够实现动态窗口与聚合参数的技术方案。
技术实现思路
[0004]本申请实施例提供一种动态窗口与聚合参数的实现方法、系统、通信设备、存储介质和计算机程序产品，可以实现窗口大小和聚合参数值的实时动态更新。
[0005]第一方面，本申请提供一种动态窗口与聚合参数的实现方法，所述方法包括：将数据流中的数据和窗口控制流中的数据依照事件时间顺序分发到多个数据标识单元；其中，所述窗口...
【技术保护点】
【技术特征摘要】
1.一种动态窗口与聚合参数的实现方法，其特征在于，所述方法包括：将数据流中的数据和窗口控制流中的数据依照事件时间顺序分发到多个数据标识单元；其中，所述窗口控制流中的数据包括至少两个窗口的窗口大小数据和聚合参数值；每一所述数据标识单元对应一个流处理算子；通过多个所述流处理算子并行读取各自对应的所述数据标识单元中存储的数据；每一所述流处理算子对应一个数据转换算子；通过多个所述数据转换算子并行转换各自对应的所述流处理算子读取到的数据的数据类型，以更新至少部分所述窗口对应的所述窗口控制流的数据，将所述窗口控制流的数据分别匹配至对应的所述数据流的数据中；通过数据合并算子将经多个所述数据转换算子处理后的数据进行合并，对合并后的数据进行分组得到分组数据；所述分组数据中包括匹配于同一所述窗口中的所述窗口控制流的数据和所述数据流的数据；通过窗口算子获得各所述窗口的窗口事件数据，依据所述窗口事件数据和所述窗口大小数据实现所述分组数据对应的所述窗口的实时更新，并存储各所述窗口的数据到对应的窗口数据集；所述窗口事件数据包括所述窗口的窗口开始时间和/或窗口结束时间；通过聚合算子读取所述窗口数据集中的数据，获取所述数据中的聚合参数值，以实现对所述聚合参数值的更新，并实现输入至所述窗口中的数据的聚合。2.根据权利要求1所述的动态窗口与聚合参数的实现方法，其特征在于，所述将数据流中的数据和窗口控制流中的数据依照事件时间顺序分发到多个数据标识单元，包括：将数据流中的数据依照事件时间顺序分发到多个并列的卡夫卡消息队列分区单元；以及，将窗口控制流中的数据广播到所述多个并列的卡夫卡消息队列分区单元。3.根据权利要求1所述的动态窗口与聚合参数的实现方法，其特征在于，所述通过多个所述数据转换算子并行转换各自对应的所述流处理算子读取到的数据的数据类型，以更新至少部分所述窗口对应的所述窗口控制流的数据，将所述窗口控制流的数据分别匹配至对应的所述数据流的数据中，包括：针对每个所述数据转换算子，通过所述数据转换算子执行：读取对应的所述流处理算子中读取到的数据；当读取到的数据为所述窗口控制流的数据时，以该所述窗口控制流的数据更新对应的所述窗口的本次窗口中所述窗口控制流的数据。4.根据权利要求3所述的动态窗口与聚合参数的实现方法，其特征在于，针对每个所述数据转换算子，通过所述数据转换算子执行的步骤还包括：当读取到的数据为所述数据流的数据时，读取所述数据流对应的所述窗口的所述本次窗口的所述窗口控制流的数据；将读取的所述数据流的数据与所述本次窗口的所述窗口控制流的数据进行匹配，以输出带有所述窗口控制流的数据的所述数据流的数据。5.根据权利要求3或4所述的动态窗口与聚合参数的实现方法，其特征在于，针对每个所述数据转换算子，通过所述数据转换算子执行的步骤还包括：在所述读取对应的所述流处理算子中读取到的数据之后，对读取到的所述数据进行格式转换。
6.根据权利要求1所述的动态窗口与聚合参数的实现方法，其特征在于，通过窗口算子获得各所述窗口的窗口事件数据，依据所述窗口事件数据和所述窗口大小数据实现所述分组数据对应的所述窗口的实时更新，并存储各所述窗口的数据到对应的窗口数据集，包括：通过所述窗口算子执行：读取各窗口中...
【专利技术属性】
技术研发人员：刘家康，汪来富，刘东鑫，王丽芳，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。