流式计算中的数据聚合方法、装置、设备及介质制造方法及图纸

本申请公开了一种流式计算中的数据聚合方法、装置、设备及介质，涉及物联网领域。该方法包括：聚合计算在第一滚动窗口内接收到的物联网数据，得到第一聚合数据，所述第一滚动窗口的起始时刻是第一时刻，所述第一滚动窗口的结束时刻是第二时刻；在所述第二时刻之后的第三时刻接收延迟物联网数据，所述延迟物联网数据的事件时间戳在所述第一滚动窗口内；在所述第三时刻位于以所述第二时刻为起点的延迟容忍窗内的情况下，将所述延迟物联网数据合并到所述第一聚合数据中，所述延迟容忍窗的时间长度是预设容忍时长。本申请可以将延迟物联网数据合并到第一聚合数据，使得第一聚合数据的计算结果更为准确。算结果更为准确。算结果更为准确。

【技术实现步骤摘要】
流式计算中的数据聚合方法、装置、设备及介质


[0001]本申请涉及物联网领域，特别涉及一种流式计算中的数据聚合方法、装置、设备及介质。

技术介绍

[0002]流式计算是在数据不断变化的过程中实时地进行分析，捕捉到可能有用的信息，并生成计算结果。在物联网领域，使用流式计算解决分布式能源系统实时监控、计算的问题。
[0003]相关技术中，首先计算机设备会先基于时间划分出互不重叠的滚动窗口，而传感器会实时采集输入数据，并将输入数据上送到计算机设备中，由计算机设备对在同一滚动窗口内接收到的输入数据进行计算。
[0004]但是，由于输入数据从采集再到上送，中间存在时间差，使得部分输入数据无法准时到达计算机设备中，导致相关技术的聚合结果与实际存在偏差。

技术实现思路

[0005]本申请实施例提供了一种流式计算中的数据聚合方法、装置、设备及介质，该方法可以将延迟物联网数据合并到第一聚合数据中，避免遗漏物联网数据，使得计算得到的第一聚合数据更加准确。所述技术方案如下：
[0006]根据本申请的一个方面，提供了一种流式计算中的数据聚合方法，该方法包括：
[0007]聚合计算在第一滚动窗口内接收到的物联网数据，得到第一聚合数据，所述第一滚动窗口的起始时刻是第一时刻，所述第一滚动窗口的结束时刻是第二时刻；
[0008]在所述第二时刻之后的第三时刻接收延迟物联网数据，所述延迟物联网数据的事件时间戳在所述第一滚动窗口内；
[0009]在所述第三时刻位于以所述第二时刻为起点的延迟容忍窗内的情况下，将所述延迟物联网数据合并到所述第一聚合数据中，所述延迟容忍窗的时间长度是预设容忍时长。
[0010]根据本申请的另一个方面，提供了一种流式计算中的数据聚合装置，该装置包括：
[0011]计算模块，用于聚合计算在第一滚动窗口内接收到的物联网数据，得到第一聚合数据，所述第一滚动窗口的起始时刻是第一时刻，所述第一滚动窗口的结束时刻是第二时刻；
[0012]接收模块，用于在所述第二时刻之后的第三时刻接收延迟物联网数据，所述延迟物联网数据的事件时间戳在所述第一滚动窗口内；
[0013]所述计算模块，还用于在所述第三时刻位于以所述第二时刻为起点的延迟容忍窗内的情况下，将所述延迟物联网数据合并到所述第一聚合数据中，所述延迟容忍窗的时间长度是预设容忍时长。
[0014]在本申请的一个可选设计中，所述计算模块，还用于在所述第三时刻位于以所述第二时刻为起点的所述延迟容忍窗内的情况下，对所述延迟物联网数据进行筛选，得到筛
选后的延迟物联网数据；将所述筛选后的延迟物联网数据合并到所述第一聚合数据中。
[0015]在本申请的一个可选设计中，所述计算模块，还用于将满足数据取值范围的所述延迟物联网数据确定为所述筛选后的延迟物联网数据。
[0016]在本申请的一个可选设计中，所述计算模块，还用于响应于在所述第一滚动窗口内的第四时刻接收到所述物联网数据，将所述物联网数据合并到预聚合数据中，得到所述第一聚合数据，所述预聚合数据是聚合计算所述第一时刻至所述第四时刻内的所述物联网数据得到的；或，在所述第一滚动窗口内，每隔预设时长，聚合计算在所述第一滚动窗口内接收到的所述物联网数据，得到所述第一聚合数据。
[0017]在本申请的一个可选设计中，聚合计算的方式包括如下的至少一种：矢量平均、求和、计数、求平均值、求最大值、求最小值、求标准差、求第一个值、求最后一个值。
[0018]在本申请的一个可选设计中，所述计算模块，还用于在所述第一聚合数据是所述物联网数据的矢量平均的情况下，计算所述第一聚合数据和所述延迟物联网数据的矢量平均；或，在所述第一聚合数据是所述物联网数据的和值的情况下，计算所述第一聚合数据和所述延迟物联网数据的和；或，在所述第一聚合数据是所述物联网数据的时间戳序列的情况下，根据所述延迟物联网数据的事件时间戳，计算所述第一聚合数据和所述延迟物联网数据的计数；或，在所述第一聚合数据是所述物联网数据的时间戳序列的情况下，根据所述延迟物联网数据的事件时间戳，计算所述第一聚合数据和所述延迟物联网数据的第一个值或最后一个值；或，在所述第一聚合数据是所述物联网数据的最大值的情况下，获取所述延迟物联网数据和所述第一聚合数据中的最大值；或，在所述第一聚合数据是所述物联网数据的最小值的情况下，获取所述延迟物联网数据和所述第一聚合数据中的最小值；或，在所述第一聚合数据是所述物联网数据的平均值的情况下，计算所述第一聚合数据和所述延迟物联网数据的平均值。
[0019]在本申请的一个可选设计中，所述计算模块，还用于确定第二滚动窗口对应的第二聚合数据，所述第一滚动窗口和所述第二滚动窗口具有相同的时间长度；聚合计算所述第一聚合数据和所述第二聚合数据，得到级联聚合数据。
[0020]根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上方面所述的流式计算中的数据聚合方法。
[0021]根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条程序代码，程序代码由处理器加载并执行以实现如上方面所述的流式计算中的数据聚合方法。
[0022]根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，上述计算机程序产品或计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上方面所述的流式计算中的数据聚合方法。
[0023]本申请实施例提供的技术方案带来的有益效果至少包括：
[0024]在计算第一滚动窗口内的物联网数据的聚合数据时，会将延迟容忍窗内到达的延迟物联网数据也合并到第一聚合数据中，避免一些迟到的物联网数据无法参与聚合计算，
使得第一聚合数据更加准确，更加符合实际情况。
附图说明
[0025]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1是本申请一个示例性实施例提供的计算机系统的结构示意图；
[0027]图2是本申请一个示例性实施例提供的流式计算中的数据聚合方法的流程示意图；
[0028]图3是本申请一个示例性实施例提供的滚动窗口的示意图；
[0029]图4是本申请一个示例性实施例提供的流式计算中的数据聚合方法的流程示意图；
[0030]图5是本申请一个示例性实施例提供的流式计算中的数据聚合方法的界面示意图；
[0031]图6是本申请一个示例性实施例提供的物联网数据示意图；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流式计算中的数据聚合方法，其特征在于，所述方法包括：聚合计算在第一滚动窗口内接收到的物联网数据，得到第一聚合数据，所述第一滚动窗口的起始时刻是第一时刻，所述第一滚动窗口的结束时刻是第二时刻；在所述第二时刻之后的第三时刻接收延迟物联网数据，所述延迟物联网数据的事件时间戳在所述第一滚动窗口内；在所述第三时刻位于以所述第二时刻为起点的延迟容忍窗内的情况下，将所述延迟物联网数据合并到所述第一聚合数据中，所述延迟容忍窗的时间长度是预设容忍时长。2.根据权利要求1所述的方法，其特征在于，所述在所述第三时刻位于以所述第二时刻为起点的延迟容忍窗内的情况下，将所述延迟物联网数据合并到所述第一聚合数据中，包括：在所述第三时刻位于以所述第二时刻为起点的所述延迟容忍窗内的情况下，对所述延迟物联网数据进行筛选，得到筛选后的延迟物联网数据；将所述筛选后的延迟物联网数据合并到所述第一聚合数据中。3.根据权利要求2所述的方法，其特征在于，所述对所述延迟物联网数据进行筛选，得到筛选后的延迟物联网数据，包括：将满足数据取值范围的所述延迟物联网数据确定为所述筛选后的延迟物联网数据。4.根据权利要求1至3任一所述的方法，其特征在于，所述聚合计算在第一滚动窗口内接收到的物联网数据，得到第一聚合数据，包括：响应于在所述第一滚动窗口内的第四时刻接收到所述物联网数据，将所述物联网数据合并到预聚合数据中，得到所述第一聚合数据，所述预聚合数据是聚合计算所述第一时刻至所述第四时刻内的所述物联网数据得到的；或，在所述第一滚动窗口内，每隔预设时长，聚合计算在所述第一滚动窗口内接收到的所述物联网数据，得到所述第一聚合数据。5.根据权利要求1至3任一所述的方法，其特征在于，聚合计算的方式包括如下的至少一种：矢量平均、求和、计数、求平均值、求最大值、求最小值、求标准差、求第一个值、求最后一个值。6.根据权利要求1至3任一所述的方法，其特征在于，所述将所述延迟物联网数据合并到所述第一聚合数据中，包括：在所述第一聚合数据是所述物联网数据的矢量平均的情况下，计算所述第一聚合数据和所述延迟物联网数据的矢量平均；或，在所述第一聚合数据是所述物联网数据的和值的情况下，计算所述第一聚合数据和所述延迟物联网数据的和；或，在所述第一聚合数据...

【专利技术属性】
技术研发人员：郑伊翎，
申请(专利权)人：上海远景科创智能科技有限公司，
类型：发明
国别省市：