基于管道模型的增量数据融合处理方法及其装置制造方法及图纸

本发明专利技术公开了一种基于管道模型的增量数据融合处理方法及其装置，所述方法包括以下步骤：根据用户数据的分区进度，将用户数据封装到不同的管道模型中，得到管道信息；将管道信息映射到预设的索引树中，使得索引树的各个节点挂载有对应的管道模型，并对索引树的各个节点的管道模型配置增量融合算子；编译并运行索引树上各个节点的管道模型的增量融合算子，生成增量数据融合表。将具有不同时间进度的用户数据封装不同的管道模型并插入索引树中，索引树中各个节点分别配置不同的管道模型和优化参数，生成增量数据融合表，高效地解决用户数据的进度不同步场景下的数据倾斜问题，优化中间计算过程参数，降低算力资源消耗。

【技术实现步骤摘要】

本专利技术涉及任务调度，尤其是一种基于管道模型的增量数据融合处理方法及其装置。

技术介绍

1、目前大批量用户数据处理的技术方案是将用户数据拆分为对应的业务域和数据域，各数据域增量计算生成的用户标签数据，然后通过专用的数据同步工具同步到用户标签检索系统中。随着用户规模和业务域的增长，用户标签检索服务器(e l ast ic search，es)集群的输入/输出(i nput/output，io)能力逼近极限，数据同步性能越来越低。为提高es集群的画像标签数据同步速度，通过引入基于高维空间索引算法模型的使用spark来处理分析存储在h ive中的数据(spark on hive)离线计算任务融合多域画像数据后再同步到es集群中，可快速完成全域增量画像标签宽表的融合，降低资源成本同时还能提高数据同步时效性。但是在各子域标签表数据的生成任务进度不一致情况下，比如，因为资源限制，某些子域标签表的生成任务发生延迟。这种情况会导致数据缺失，若按现有技术采用惰性查询算子加载数据，会导致原索引树上某叶子节点的数据分布发生巨大改变，导致原始计算过程出现明显的数据倾斜问题，影响本文档来自技高网...

【技术保护点】

1.一种基于管道模型的增量数据融合处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于管道模型的增量数据融合处理方法，其特征在于，所述根据用户数据的分区进度，将所述用户数据封装到不同的管道模型中，得到管道信息，包括：

3.根据权利要求2所述的一种基于管道模型的增量数据融合处理方法，其特征在于，所述将所述用户数据封装到用于合并所述用户数据的第一管道模型中，包括：

4.根据权利要求3所述的一种基于管道模型的增量数据融合处理方法，所述将所述用户数据封装到用于预处理和合并所述用户数据的第二管道模型中，包括：

5.根据权利要求3所述...

【技术特征摘要】

1.一种基于管道模型的增量数据融合处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于管道模型的增量数据融合处理方法，其特征在于，所述根据用户数据的分区进度，将所述用户数据封装到不同的管道模型中，得到管道信息，包括：

3.根据权利要求2所述的一种基于管道模型的增量数据融合处理方法，其特征在于，所述将所述用户数据封装到用于合并所述用户数据的第一管道模型中，包括：

4.根据权利要求3所述的一种基于管道模型的增量数据融合处理方法，所述将所述用户数据封装到用于预处理和合并所述用户数据的第二管道模型中，包括：

5.根据权利要求3所述的一种基于管道模型的增量数据融合处理方法，所述将所述管道信息映射到预设的索引树中，使得所述索引树的各个节点挂载有对应的所述管道模型，并对所述索引树的各个节点的所述管道模型配置增量融合算子，包括：

6.根据权利...

【专利技术属性】
技术研发人员：蒋武兵，陈桓，金信，黄倩，余烨芸，张奇，徐睿滢，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：