【技术实现步骤摘要】
数据融合方法、装置、可读存储介质及电子设备
本申请涉及数据处理
，具体而言，涉及一种数据融合方法、装置、可读存储介质及电子设备。
技术介绍
现有技术中，在进行数据融合时，常用的一种是将数据完全读取到内存中，然后基于Spark框架等进行数据融合，具体融合时通常采用的融合方式是增量融合和全量融合两种方式。增量融合是将每一个表对应的增量与其他各个表的全量数据进行融合，最终得到与各个表对应的融合数据。全量融合是通过得到各个表的全量数据，从而将各个表的全量数据完全融合为一个表。基于Spark框架下的两种方式在融合过程中都需要将所有的数据存储在内存中，并同时处理大量的数据，因此这两种融合方式都存在融合效率低以及耗费内存的问题。
技术实现思路
为了至少克服现有技术中的上述不足，本申请的目的之一在于提供一种数据融合方法，应用于电子设备，所述方法包括：获取预先存储的融合信息，所述融合信息包括融合目标表的第一识别信息、多个待融合表的第二识别信息，其中，所述融合目标表为可更新数据存储工具中用于存储融合后的...
【技术保护点】
1.一种数据融合方法，其特征在于，应用于电子设备，所述方法包括：/n获取预先存储的融合信息，所述融合信息包括融合目标表的第一识别信息、多个待融合表的第二识别信息，其中，所述融合目标表为可更新数据存储工具中用于存储融合后的数据的表；/n依次从所述多个待融合表里确定一个目标执行表；/n针对所述目标执行表，根据所述目标执行表的第二识别信息从原始数据库中获取待融合数据以及所述待融合数据对应的第一主键和第一字段，所述第一主键用于标识目标执行表里一条数据记录，所述第一字段用于标识目标执行表里一类数据；/n根据所述待融合数据对应的第一主键以及第一字段将所述待融合数据存储在所述融合目标表里。/n
【技术特征摘要】 【专利技术属性】
1.一种数据融合方法，其特征在于，应用于电子设备，所述方法包括：
获取预先存储的融合信息，所述融合信息包括融合目标表的第一识别信息、多个待融合表的第二识别信息，其中，所述融合目标表为可更新数据存储工具中用于存储融合后的数据的表；
依次从所述多个待融合表里确定一个目标执行表；
针对所述目标执行表，根据所述目标执行表的第二识别信息从原始数据库中获取待融合数据以及所述待融合数据对应的第一主键和第一字段，所述第一主键用于标识目标执行表里一条数据记录，所述第一字段用于标识目标执行表里一类数据；
根据所述待融合数据对应的第一主键以及第一字段将所述待融合数据存储在所述融合目标表里。
2.根据权利要求1所述的方法，其特征在于，依次从所述多个待融合表里确定一个目标执行表的步骤包括：
按照预先设置的执行顺序依次从所述多个待融合表里确定一个目标执行表。
3.根据权利要求1或2所述的方法，其特征在于，所述电子设备中还预先存储有最近一次融合数据时所融合数据的截止时间，该截止时间的初始值为预设时间，所述针对所述目标执行表，根据所述目标执行表的第二识别信息从原始数据库中获取待融合数据以及所述待融合数据对应的第一主键和第一字段的步骤包括：
获取所述目标执行表最近一次进行数据融合时，所融合数据的截止时间；
判断所述截止时间是否为预设时间；
如果所述截止时间是所述预设时间，则根据所述目标执行表的第二识别信息获取所述目标执行表里所有的数据作为待融合数据，并获取每个所述待融合数据对应的第一主键和第一字段；
如果所述截止时间不是所述预设时间，则从预先存储的融合信息中获取所述目标执行表对应的数据获取规则的规则识别信息；以及
根据所述目标执行表的第二识别信息以及该目标执行表对应的数据获取规则从原始数据库中获取待融合数据、所述待融合数据对应的第一主键和第一字段。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标执行表的第二识别信息以及该目标执行表对应的数据获取规则从原始数据库中获取待融合数据、所述待融合数据对应的第一主键和第一字段的步骤包括：
判断所述数据获取规则是否为获取全量数据；
如果所述数据获取规则是获取全量数据，则根据所述目标执行表的第二识别信息获取所述目标执行表里所有的数据作为待融合数据，并获取每个所述待融合数据对应的第一主键和第一字段；
如果所述数据获取规则不是获取全量数据，则将新产生的增量数据作为待融合数据并获取所述待融合数据对应的第一主键以及第一字段。
技术研发人员：齐攀，明利特，蒋娟，周鹏，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。