多流数据的关联方法和关联装置制造方法及图纸

本发明专利技术实施例提供一种多流数据的关联方法和关联装置，属于实时数据指标领域。该关联方法包括：将预设数据库中的第一预设模型的数据或系统日志放入第一预设消息队列，以得到主流数据；将所述预设数据库中的第二预设模型的数据存入数据库中，以得到实时维表数据；在数据流处理引擎中配置数据源输入、维表和数据输出端，其中，所述数据源输入对应所述主流数据，所述维表对应所述实时维表数据；以及将所述数据输出端输出的数据输出到数据查询系统中，以供数据查询。藉此，实现了提供实时查询的服务。实现了提供实时查询的服务。实现了提供实时查询的服务。

【技术实现步骤摘要】
多流数据的关联方法和关联装置


[0001]本专利技术涉及实时数据指标领域，具体地涉及一种多流数据的关联方法和关联装置。

技术介绍

[0002]各企业在构建自己的实时数仓以及实时指标的过程中，需要进行多维度指标的整合，指标对应的数据往往存在于关系型业务库的多个表里或者消息队列中。全量实时场景往往只能作为统计，而不能提供实时的服务。流跟流进行数据关联，因网络抖动或者binlog同步延迟导致多流数据未关联上进而出现指标数据丢失，影响最终的实时数据指标准确性。目前现有的实时计算多以增量计算或者简单的关联为主，因计算的复杂度跟业务逻辑强相关，涉及到截止到当前这种全量实时场景类的指标准确性不是很高。

技术实现思路

[0003]本专利技术实施例的目的是提供一种多流数据的关联方法和关联装置，其可解决或至少部分解决上述问题。
[0004]为了实现上述目的，本专利技术实施例的一个方面提供一种多流数据的关联方法，该关联方法包括：将预设数据库中的第一预设模型的数据或系统日志放入第一预设消息队列，以得到主流数据；将所述预设数据库中的第二预设模型的数据存入数据库中，以得到实时维表数据；在数据流处理引擎中配置数据源输入、维表和数据输出端，其中，所述数据源输入对应所述主流数据，所述维表对应所述实时维表数据；以及将所述数据输出端输出的数据输出到数据查询系统中，以供数据查询。
[0005]可选地，所述在数据流处理引擎中配置数据源输入、维表和数据输出端包括：将所述主流数据与所述实时维表数据进行关联。
[0006]可选地，响应于将所述主流数据和所述实时维表数据进行关联时，所述主流数据与所述实时维表数据不能成功关联，该关联方法还包括：控制所述主流数据与所述实时维表数据进行延迟重试关联。
[0007]可选地，控制所述主流数据与所述实时维表数据进行延迟重试关联后，响应于所述主流数据与所述实时维表数据仍不能成功关联，该关联方法还包括：将所述主流数据输出到第二预设消息队列中，以使得所述主流数据能够重新执行在数据流处理引擎中配置数据源输入、维表和数据输出端的操作。
[0008]可选地，该关联方法还包括：用离线数据覆盖对应的在线数据，以修复所述在线数据的误差，其中，所述在线数据为所述数据输出端输出的数据，所述离线数据为基于所述第一预设模型的数据或系统日志以及所述第二预设模型的数据进行离线计算得到的。
[0009]可选地，所述用离线数据覆盖对应的在线数据为采用离线T
‑
N数据覆盖所述在线数据中与所述离线T
‑
N数据具有相同时间范围的所述在线数据，其中，所述离线T
‑
N数据指的是采用截止到当前时刻T的前N天获取到的所述离线数据。
[0010]可选地，该关联方法还包括：对比离线数据与对应的在线数据是否相同，其中，所述在线数据为所述数据输出端输出的数据，所述离线数据为基于所述第一预设模型的数据或系统日志以及所述第二预设模型的数据进行离线计算得到的；以及发送对比结果。
[0011]相应地，本专利技术实施例的另一方面还提供一种多流数据的关联装置，该关联装置包括：主流数据获取模块，用于将预设数据库中的第一预设模型的数据或系统日志放入第一预设消息队列，以得到主流数据；实时维表数据获取模块，用于将所述预设数据库中的第二预设模型的数据存入数据库中，以得到实时维表数据；配置模块，用于在数据流处理引擎中配置数据源输入、维表和数据输出端，其中，所述数据源输入对应所述主流数据，所述维表对应所述实时维表数据；以及输出模块，用于将所述数据输出端输出的数据输出到数据查询系统中，以供数据查询。
[0012]可选地，所述配置模块在数据流处理引擎中配置数据源输入、维表和数据输出端包括：将所述主流数据与所述实时维表数据进行关联。
[0013]可选地，所述配置模块还用于：响应于将所述主流数据和所述实时维表数据进行关联时，所述主流数据与所述实时维表数据不能成功关联，控制所述主流数据与所述实时维表数据进行延迟重试关联。
[0014]可选地，该关联装置还包括：主流数据输出模块，用于控制所述主流数据与所述实时维表数据进行延迟重试关联后，响应于所述主流数据与所述实时维表数据仍不能成功关联，将所述主流数据输出到第二预设消息队列中，以使得所述主流数据能够重新执行在数据流处理引擎中配置数据源输入、维表和数据输出端的操作。
[0015]可选地，该关联装置还包括：修复模块，用于用离线数据覆盖对应的在线数据，以修复所述在线数据的误差，其中，所述在线数据为所述数据输出端输出的数据，所述离线数据为基于所述第一预设模型的数据或系统日志以及所述第二预设模型的数据进行离线计算得到的。
[0016]可选地，所述用离线数据覆盖对应的在线数据为采用离线T
‑
N数据覆盖所述在线数据中与所述离线T
‑
N数据具有相同时间范围的所述在线数据，其中，所述离线T
‑
N数据指的是采用截止到当前时刻T的前N天获取到的所述离线数据。
[0017]可选地，该关联装置还包括：对比模块，用于对比离线数据与对应的在线数据是否相同，其中，所述在线数据为所述数据输出端输出的数据，所述离线数据为基于所述第一预设模型的数据或系统日志以及所述第二预设模型的数据进行离线计算得到的；以及发送模块，用于发送对比结果。
[0018]此外，本专利技术实施例的另一方面还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的方法。
[0019]另外，本专利技术实施例的另一方面还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。
[0020]通过上述技术方案，通过基于主流数据和实时维表数据在数据流处理引擎中配置数据源输入、维表和数据输出端以及将数据输出端输出的数据输出到数据查询系统中供数据查询，实现了提供实时查询的服务。
[0021]本专利技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0022]附图是用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术实施例，但并不构成对本专利技术实施例的限制。在附图中：
[0023]图1是本专利技术一实施例提供的多流数据的关联方法的流程图；
[0024]图2是本专利技术另一实施例提供的实时计算数据的架构图；以及
[0025]图3是本专利技术另一实施例提供的多流数据的关联装置的结构框图。
[0026]附图标记说明
[0027]1ꢀꢀꢀꢀ
主流数据获取模块
ꢀꢀꢀꢀꢀꢀꢀ2ꢀꢀꢀꢀ
实时维表数据获取模块
[0028]3ꢀꢀꢀꢀ
配置模块
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ4ꢀꢀꢀꢀ
输出模块
具体实施方式
[0029]以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多流数据的关联方法，其特征在于，该关联方法包括：将预设数据库中的第一预设模型的数据或系统日志放入第一预设消息队列，以得到主流数据；将所述预设数据库中的第二预设模型的数据存入数据库中，以得到实时维表数据；在数据流处理引擎中配置数据源输入、维表和数据输出端，其中，所述数据源输入对应所述主流数据，所述维表对应所述实时维表数据；以及将所述数据输出端输出的数据输出到数据查询系统中，以供数据查询。2.根据权利要求1所述的关联方法，其特征在于，所述在数据流处理引擎中配置数据源输入、维表和数据输出端包括：将所述主流数据与所述实时维表数据进行关联。3.根据权利要求2所述的关联方法，其特征在于，响应于将所述主流数据和所述实时维表数据进行关联时，所述主流数据与所述实时维表数据不能成功关联，该关联方法还包括：控制所述主流数据与所述实时维表数据进行延迟重试关联。4.根据权利要求3所述的关联方法，其特征在于，控制所述主流数据与所述实时维表数据进行延迟重试关联后，响应于所述主流数据与所述实时维表数据仍不能成功关联，该关联方法还包括：将所述主流数据输出到第二预设消息队列中，以使得所述主流数据能够重新执行在数据流处理引擎中配置数据源输入、维表和数据输出端的操作。5.根据权利要求1所述的关联方法，其特征在于，该关联方法还包括：用离线数据覆盖对应的在线数据，以修复所述在线数据的误差，其中，所述在线数据为所述数据输出端输出的数据，所述离线数据为基于所述第一预设模型的数据或系统日志以及所述第二预设模型的数据进行离线计算得到的。6.根据权利要求5所述的方法，其特征在于，所述用离线数据覆盖对应的...

【专利技术属性】
技术研发人员：张志强，吕冬冬，
申请(专利权)人：北京贝壳时代网络科技有限公司，
类型：发明
国别省市：