一种无界流数据关联处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种无界流数据关联处理方法、装置、设备及存储介质，所述方法包括：获取主数据流和与所述主数据流关联的关联数据流；根据所述主数据流和所述关联数据流的连接类型确定所述主数据流的主数据获取路径和所述关联数据流的关联数据获取路径；基于所述主数据获取路径获取目标主数据，基于所述关联数据获取路径获取目标关联数据；对所述目标主数据和所述目标关联数据进行关联处理，得到关联处理结果。本发明专利技术实施例提供的方法保证了不同的连接类型均能合理的获取到完整的关联数据，避免了数据流延迟或网络抖动时数据的丢失，提高了数据处理的准确度。提高了数据处理的准确度。提高了数据处理的准确度。

【技术实现步骤摘要】
一种无界流数据关联处理方法、装置、设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种无界流数据关联处理方法、装置、设备及存储介质。

技术介绍

[0002]在流处理应用中，数据流之间是存在关联关系的，为实现对相互关联的数据流的关联分析，常用的处理方式是采用流处理窗口采集接收关联关系的数据流的数据，根据流处理窗口接收到的数据进行关联流之间的数据分析。
[0003]在实现本专利技术的过程中，专利技术人发现现有技术中至少存在以下技术问题：当任一数据流延迟或网络抖动时无法获取完整的关联数据，导致数据丢失，数据处理效果差。

技术实现思路

[0004]本专利技术实施例提供了一种无界流数据关联处理方法、装置、设备及存储介质，以实现保证关联数据流数据的完整性，提高数据处理效果。
[0005]第一方面，本专利技术实施例提供了一种无界流数据关联处理方法，包括：
[0006]获取主数据流和与主数据流关联的关联数据流；
[0007]根据主数据流和关联数据流的连接类型确定主数据流的主数据获取路径和关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无界流数据关联处理方法，其特征在于，包括：获取主数据流和与所述主数据流关联的关联数据流；根据所述主数据流和所述关联数据流的连接类型确定所述主数据流的主数据获取路径和所述关联数据流的关联数据获取路径；基于所述主数据获取路径获取目标主数据，基于所述关联数据获取路径获取目标关联数据；对所述目标主数据和所述目标关联数据进行关联处理，得到关联处理结果。2.根据权利要求1所述的方法，其特征在于，所述连接类型包括内连接和右外连接，所述根据所述主数据流和所述关联数据流的连接类型确定所述主数据流的主数据获取路径和所述关联数据流的关联数据获取路径，包括：确定所述主数据获取路径为实时数据流，所述关联数据获取路径为实时数据流及存储空间。3.根据权利要求2所述的方法，其特征在于，所述基于所述关联数据获取路径获取目标关联数据，包括：获取所述主数据流和所述关联数据流之间的关联键；将所述关联键作为主键从实时数据流中获取实时关联数据，根据所述目标主数据和所述实时关联数据确定所述目标主数据中未匹配到的未匹配主数据；将所述未匹配主数据的关联键作为主键从所述存储空间中获取所述未匹配主数据对应的存储关联数据；将所述实时关联数据和所述存储关联数据合并去重，得到所述目标关联数据。4.根据权利要求1所述的方法，其特征在于，所述连接类型包括左外连接和全外连接，所述根据所述主数据流和所述关联数据流的连接类型确定所述主数据流的主数据获取路径和所述关联数据流的关联数据获取路径，包括：确定所述主数据获取路径为实时数据流及存储空间，所述关联数据获取路径为实时数据流。5.根据权利要求4所述的方法，其特征在于，所述基于所述主数据获取路径获取目标主数据，包括：获取所述主数据流和所述关联数据流之间的关联键；将所述关联键作为主键从实时数据流中获取实时主数据，根据所述目标关联数据和所述实时主数据确定所述目标关联数据中未匹配到的未...

【专利技术属性】
技术研发人员：安金龙，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：