多源数据聚合方法及系统技术方案

本发明专利技术适用于数据处理领域，尤其涉及一种多源数据聚合方法及系统。该方法包括：获取原始数据源；基于原始数据源，获取原始策略列表；对原始策略列表中的原始策略进行排序，形成数据源间策略列表；对原始策略列表中的关联域进行聚合，生成数据源内聚合列表；依次获取数据源间策略列表中的每一原始策略，根据数据源内聚合列表确定与所述原始策略相对应的左侧目标数据源和右侧目标数据源；将与左侧目标数据源相对应的数据和与右侧数据源相对应的数据聚合输出。在本发明专利技术中，通过提供一种多源数据聚合方法及系统，将来自不同数据库的数据，通过规定的策略搜索和聚合，使得金融系统可以在相对较短的时间内将涉及多个数据库的交易流水组合起来。

【技术实现步骤摘要】
多源数据聚合方法及系统
本专利技术属于数据处理领域，尤其涉及多源数据聚合方法及系统。
技术介绍
在金融业中，一笔交易(如ATM跨行取款业务)的完成需要经过多个系统(如ATMP系统、渠道系统、银联前置系统、银联处理中心及本行核心系统等)，各个系统分别记录交易流水。银行对账系统从各个业务系统收集交易流水，然后根据交易中的关联域，将来自同一笔交易的流水进行匹配，最终还原出完整的交易链路，从而识别出差错交易。对账流程主要分为收集数据、触发对账、匹配流水及识别差错等步骤。匹配流水是对账流程中的核心步骤，决定了整个对账系统的处理性能。匹配流水是指通过相邻两系统间的关联域(如S1与S2之间的关联域是字段A和字段B的组合)，将同一笔交易在不同系统中记录的流水聚合到一起。在传统方案中，聚合涉及不同系统数据库的交易流水通常采取以下步骤：1)将所有系统数据库(如数据库S1、S2、S3、S4、S5)的流水分别导入对应的交易流水表；2)在数据库S1流水表上，打开游标；3)获取S1流水表中一条待匹配的流水记录R1；4)从R1中提取关联域A+B，以此为条件从S2流水表中查询对应的流水记录R2；5)从R2中提取关联本文档来自技高网...

【技术保护点】
一种多源数据聚合方法，其特征在于，包括：获取至少两个原始数据源，每一所述原始数据源包括数据源名称和至少一个关联域；基于所述原始数据源，获取原始策略列表；所述原始策略列表包括至少一个原始策略，每一原始策略包括左侧数据源和右侧数据源，所述左侧数据源和所述右侧数据源包括至少一个相同的关联域；对所述原始策略列表中的所述原始策略进行排序，形成数据源间策略列表；对所述原始策略列表中的关联域进行聚合，生成数据源内聚合列表；所述数据源内聚合列表包括至少两个目标数据源，所述目标数据源包括数据源名称和关联域集合；依次获取所述数据源间策略列表中的每一所述原始策略，根据所述数据源内聚合列表确定与所述原始策略相对应的左...

【技术特征摘要】
1.一种多源数据聚合方法，其特征在于，包括：获取至少两个原始数据源，每一所述原始数据源包括数据源名称和至少一个关联域；基于所述原始数据源，获取原始策略列表；所述原始策略列表包括至少一个原始策略，每一原始策略包括左侧数据源和右侧数据源，所述左侧数据源和所述右侧数据源包括至少一个相同的关联域；对所述原始策略列表中的所述原始策略进行排序，形成数据源间策略列表；对所述原始策略列表中的关联域进行聚合，生成数据源内聚合列表；所述数据源内聚合列表包括至少两个目标数据源，所述目标数据源包括数据源名称和关联域集合；依次获取所述数据源间策略列表中的每一所述原始策略，根据所述数据源内聚合列表确定与所述原始策略相对应的左侧目标数据源和右侧目标数据源；将与所述左侧目标数据源相对应的数据作为第一数据组，获取与所述右侧数据源相对应的数据作为第二数据组；将所述第一数据组和所述第二数据组作为与所述原始策略相对应的聚合结果。2.如权利要求1所述的方法，其特征在于，所述对所述原始策略列表中的所述原始策略进行排序，形成数据源间策略列表，包括：从所述原始数据源中确定起始数据源；从所述原始策略列表中确定与所述起始数据源相对应的原始策略作为第一策略；所述第一策略的左侧数据源与所述起始数据源的数据源名称相同；从所述原始策略列表中广度搜索与所述第一策略的右侧数据源相对应的原始策略作为第二策略；所述第二策略的左侧数据源与所述第一策略的右侧数据源的数据源名称相同；将所述第二策略的右侧数据源更新为所述起始数据源，遍历所述原始策略列表，基于依序形成的第一策略和第二策略形成所述数据源间策略列表。3.如权利要求1所述的方法，其特征在于，所述对所述原始策略列表中的关联域进行聚合，生成数据源内聚合列表，包括：对所有原始策略列表中的所有原始策略的左侧数据源和右侧数据源进行聚合处理，将基于同一数据源名称的所有左侧数据源和右侧数据源聚合为所述目标数据源；基于至少两个所述目标数据源，形成所述数据源内聚合列表。4.如权利要求1所述的方法，其特征在于，所述根据所述数据源内聚合列表确定与所述原始策略相对应的左侧目标数据源和右侧目标数据源，包括：根据所述数据源内聚合列表确定与所述原始策略中左侧数据源的数据源名称一致的的目标数据源作为所述左侧目标数据源；根据所述数据源内聚合列表确定与所述原始策略中右侧数据源的数据源名称一致的目标数据源作为所述右侧目标数据源。5.如权利要求1所述的方法，其特征在于，所述将与所述左侧目标数据源相对应的数据作为第一数据组，获取与所述右侧数据源相对应的数据作为第二数据组，包括：获取聚合指令，所述聚合指令包括关键值和与所述关联域相对应的具体参数值；在所述左侧目标数据源中基于所述聚合指令，获取包括所述关键值和所述具体参数值的数据作为所述第一数据组；在所述右侧目标数据源中基于所述聚合指令，获取包括所述关键值和所述具体参数值的数据作为所述第二数据组。6.一种...

【专利技术属性】
技术研发人员：张新星，
申请(专利权)人：人谷科技北京有限责任公司，
类型：发明
国别省市：北京,11