本发明专利技术公开了一种流数据处理装置和方法，该装置包括：数据采集模块，用于采集至少两个数据流的流数据，以及将每个数据流的流数据发送给数据生成模块；数据生成模块，用于接收数据采集模块发送的流数据，以及将至少两个所述数据流的流数据整合为一个或多个流数据元组，并将所述流数据元组发送给数据输出模块；数据输出模块，用于按照数据生成模块整合的所述流数据元组输出所述流数据。本发明专利技术通过采集各个数据流的流数据，将所有数据流的流数据整合为一个或多个流数据元组，按流数据元组的方式输出流数据，能够得到时间相对对齐的数据集，解决了数据时间错位的问题，使流数据可以直接用于计算，从而能够获得更加严谨的计算结果。从而能够获得更加严谨的计算结果。从而能够获得更加严谨的计算结果。
【技术实现步骤摘要】
一种流数据处理方法和装置
[0001]本专利技术涉及计算机
，特别涉及一种流数据处理方法和装置。
技术介绍
[0002]随着物联网和流计算技术的兴起，越来越多的传感器数据接入流计算平台，进行实时分析和处理。如果要对某一个时间点多个传感器的数据进行计算，由于不同的传感器数据采集存在着采集时间和采集周期不一致的问题，则很难根据某一时间点准确将各个传感器数据对齐。
[0003]例如有传感器A和B，A从0秒开始，每隔10秒采集一次数据，而B从第5秒开始，每隔20秒采集一次，则数据输入如下表1。
[0004]表1
[0005]时间(s)051015202530354045传感器AA1 A2 A3 A4 A5 传感器B B1
ꢀꢀꢀ
B2
ꢀꢀꢀ
B3
[0006]在流计算中为了简化编程模型，在很多情况下将数据转换为一个二维表，在这个二维表上进行计算分析。假设传感器A数据为输入流A，传感器B数据为输入流B，如果不做任何操作，上述输入数据累积如下表2。
[0007]表2
[0008]流AA1A2A3A4A5流BB1B2B3
ꢀꢀ
[0009]可以看到，传感器A第0秒数据A1和传感器B第5秒的数据B1对齐，后面每个数据都依次错位，如果直接作为输入流累积数据，则会导致数据时间错位的问题，无法直接用于基于二维表的计算和分析计算，或者导致不严谨的计算结果。
技术实现思路
[0010]为了解决上述技术问题中的至少一个，本公开提供了一种流数据处理方法和装置，以及可读存储介质和计算设备。
[0011]第一方面，本专利技术实施例提供了一种流数据处理装置，该装置包括：数据采集模块、数据生成模块和数据输出模块，其中，
[0012]所述数据采集模块，用于采集至少两个数据流的流数据，以及将每个数据流的流数据发送给所述数据生成模块；
[0013]所述数据生成模块，用于接收所述数据采集模块发送的流数据，以及将至少两个所述数据流的流数据整合为一个或多个流数据元组，并将所述流数据元组发送给所述数据输出模块；其中所述流数据元组的元素个数与所述数据流的个数一致；
[0014]所述数据输出模块，用于接收所述数据生成模块发送的所述流数据元组，并按照所述数据生成模块整合的所述流数据元组输出所述流数据。
[0015]可选地，所述数据生成模块具体用于根据所述数据采集模块采集每个所述数据流中流数据的采集时间，将每个所述数据流中最早采集的流数据整合为当前流数据元组，并将所述当前流数据元组发送给所述数据输出模块，并以此重复将所述数据采集模块采集的流数据发送给所述数据输出模块。
[0016]可选地，所述数据生成模块包括频率确定单元、数据取舍单元和数据整合单元，其中，
[0017]所述频率确定单元，用于确定所有所述数据流中的主数据流，以及所述主数据流采集数据的主频率；
[0018]所述数据取舍单元，用于对除所述主数据流以外的其他数据流中采集数据的频率低于所述主频率的所述数据流进行流数据补偿，和\或，对除所述主数据流以外的其他数据流中采集数据的频率高于所述主频率的所述数据流进行流数据丢弃；
[0019]所述数据整合单元，用于将所述主数据流的流数据与所述数据取舍单元获得的除所述主数据流以外的其他数据流的流数据整合为流数据元组。
[0020]可选地，所述数据生成模块包括时间确定单元、数据选取单元和数据成组单元，其中，
[0021]所述时间确定单元，用于确定所有所述数据流中的主数据流，以及所有所述数据流中流数据的采集时间；
[0022]所述数据选取单元，用于以所述主数据流的采集时间为基准，在剩下的每个所述数据流中选取与所述主数据流的采集时间之间时间间隔最小的流数据；
[0023]所述数据成组单元，用于将所述主数据流的流数据与剩下的每个所述数据流中选取的流数据整合为数据元组。
[0024]第二方面，本专利技术实施例提供了一种流数据处理方法，该数据流处理方法包括：
[0025]采集至少两个数据流的流数据；
[0026]将至少两个所述数据流的流数据整合为一个或多个流数据元组；其中所述流数据元组的元素个数与所述数据流的个数一致；
[0027]按照所述流数据元组输出至少两个所述数据流的流数据。
[0028]可选地，所述将至少两个所述数据流的流数据整合为一个或多个流数据元组，包括：
[0029]根据每个所述数据流中流数据的采集时间，将每个所述数据流中最早采集的流数据整合为流数据元组。
[0030]可选地，所述将至少两个所述数据流的流数据整合为一个或多个流数据元组，包括：
[0031]S1：确定所有所述数据流中的主数据流，以及所述主数据流采集数据的主频率；
[0032]S2：对除所述主数据流以外的其他数据流中采集数据的频率低于所述主频率的所述数据流进行流数据补偿，和\或，对除所述主数据流以外的其他数据流中采集数据的频率高于所述主频率的所述数据流进行流数据丢弃；
[0033]S3：将所述主数据流的流数据与S2获得的剩下的每个所述数据流的流数据整合为流数据元组。
[0034]可选地，所述将至少两个所述数据流的流数据整合为一个或多个流数据元组，包
括：
[0035]确定所有所述数据流中的主数据流，以及所有所述数据流中流数据的采集时间；
[0036]以所述主数据流的采集时间为基准，在剩下的每个所述数据流中选取与所述主数据流的采集时间之间时间间隔最小的流数据；
[0037]将所述主数据流的流数据与剩下的每个所述数据流中选取的流数据整合为流数据元组。
[0038]第三方面，本专利技术实施例提供了一种可读存储介质，其上具有可执行指令，当可执行指令被执行时，使得计算机执行如第二方面中的所包括的任一方法。
[0039]第四方面，本专利技术实施例提供了一种计算设备，包括：一个或多个处理器、存储器以及程序，其中，所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行如第二方面中所包括的任一方法。
[0040]与现有技术相比，本专利技术至少具有以下有益效果：
[0041]本专利技术通过采集各个数据流的流数据，将所有数据流的流数据整合为一个或多个流数据元组，按流数据元组的方式输出流数据，能够得到时间相对对齐的数据集，解决了数据时间错位的问题，使流数据可以直接用于计算，从而能够获得更加严谨的计算结果。
附图说明
[0042]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]图1是本专利技术一个实施例提供的一种流数据处理装置的结构框图；
[0044]图2是本专利技术一个实施例本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种流数据处理装置，其特征在于，该装置包括：数据采集模块、数据生成模块和数据输出模块，其中，所述数据采集模块，用于采集至少两个数据流的流数据，以及将每个数据流的流数据发送给所述数据生成模块；所述数据生成模块，用于接收所述数据采集模块发送的流数据，以及将至少两个所述数据流的流数据整合为一个或多个流数据元组，并将所述流数据元组发送给所述数据输出模块；其中所述流数据元组的元素个数与所述数据流的个数一致；所述数据输出模块，用于接收所述数据生成模块发送的所述流数据元组，并按照所述数据生成模块整合的所述流数据元组输出流数据。2.根据权利要求1所述流数据处理装置，其特征在于，所述数据生成模块具体用于根据所述数据采集模块采集每个所述数据流中流数据的采集时间，将每个所述数据流中最早采集的流数据整合为当前流数据元组，并将所述当前流数据元组发送给所述数据输出模块，并以此重复将所述数据采集模块采集的流数据发送给所述数据输出模块。3.根据权利要求1所述流数据处理装置，其特征在于，所述数据生成模块包括频率确定单元、数据取舍单元和数据整合单元，其中，所述频率确定单元，用于确定所有所述数据流中的主数据流，以及所述主数据流采集数据的主频率；所述数据取舍单元，用于对除所述主数据流以外的其他数据流中采集数据的频率低于所述主频率的所述数据流进行流数据补偿，和\或，对除所述主数据流以外的其他数据流中采集数据的频率高于所述主频率的所述数据流进行流数据丢弃；所述数据整合单元，用于将所述主数据流的流数据与所述数据取舍单元获得的除所述主数据流以外的其他数据流的流数据整合为流数据元组。4.根据权利要求1所述流数据处理装置，其特征在于，所述数据生成模块包括时间确定单元、数据选取单元和数据成组单元，其中，所述时间确定单元，用于确定所有所述数据流中的主数据流，以及所有所述数据流中流数据的采集时间；所述数据选取单元，用于以所述主数据流的采集时间为基准，在剩下的每个所述数据流中选取与所述主数据流的采集时间之间时间间隔最小的流数据；所述数...
【专利技术属性】
技术研发人员：张顺，
申请(专利权)人：北京航云物联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。