【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据同步整合方法、装置、电子设备及存储介质。
技术介绍
1、随着经济的不断发展，市场中的各种大型企业的业务种类也越来越丰富，因此，所涉及的数据种类越来越丰富，通常不同业务种类的数据会存储于不同的数据库，对整体数据进行统一管理分析是十分有价值的。
2、相关技术中，通常会基于数据存储分析软件对来源于多种数据库的数据进行数据同步整合以实现数据的统一管理分析，但现有的数据存储分析软件，例如hudi存在无法进行数据脱敏、无法支持拉链表以及存在特殊字段和特殊分隔符的数据表的识别入库，需要在数据获取之前进行人工脱敏或特殊数据表处理等操作，显然的，当前存储分析软件的功能性匮乏，数据同步整合效率较差，用户体验感较差。
技术实现思路
1、本专利技术提供了一种数据同步整合方法、装置、电子设备及存储介质，以解决当前存储分析软件的功能性匮乏以及数据同步整合效率较差的技术问题。
2、根据本专利技术的一方面，提供了一种数据同步整合方法，其中，该方法包括：
3、通过重构后的存储分析软件获取多种数据库的源数据集，其中，所述源数据集包括多种数据结构的源数据；
4、确定每个所述源数据的时间戳，对所述时间戳进行数据识别，确定每个所述源数据对应的数据类型；
5、基于所述数据类型确定数据同步模式，基于所述数据同步模式对所述源数据进行数据同步，得到所述源数据对应的目标同步数据；
6、将所述目标同步数据作为待整合数据，对所
7、根据本专利技术的另一方面，提供了一种数据同步整合装置，其中，该装置包括：
8、数据获取模块，用于通过重构后的存储分析软件获取多种数据库的源数据集，其中，所述源数据集包括多种数据结构的源数据；
9、数据识别模块，用于确定每个所述源数据的时间戳，对所述时间戳进行数据识别，确定每个所述源数据对应的数据类型；
10、数据同步模块，用于基于所述数据类型确定数据同步模式，基于所述数据同步模式对所述源数据进行数据同步，得到所述源数据对应的目标同步数据；
11、数据整合模块，用于将所述目标同步数据作为待整合数据，对所述待整合数据进行数据整合，得到目标整合数据，并将所述目标整合数据存储至重构后的所述存储分析软件对应的目标存储表。
12、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
13、至少一个处理器；以及
14、与所述至少一个处理器通信连接的存储器；其中，
15、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据同步整合方法。
16、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据同步整合方法。
17、本专利技术实施例的技术方案，通过重构后的存储分析软件获取多种数据库的源数据集，其中，所述源数据集包括多种数据结构的源数据；确定每个所述源数据的时间戳，对所述时间戳进行数据识别，确定每个所述源数据对应的数据类型；基于所述数据类型确定数据同步模式，基于所述数据同步模式对所述源数据进行数据同步，得到所述源数据对应的目标同步数据；将所述目标同步数据作为待整合数据，对所述待整合数据进行数据整合，得到目标整合数据，并将所述目标整合数据存储至重构后的所述存储分析软件对应的目标存储表。本申请实现了存储分析软件直接分析并存储多种来源以及多种数据结构的源数据的效果，提高了多源异构的源数据同步整合的效率和便捷性，提升了用户体验感。
18、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种数据同步整合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述数据类型包括首次同步数据、非首次同步的待追跑数据以及非首次同步的更新数据，所述目标同步数据包括所述源数据对应的全量数据、所述源数据对应的历史追跑数据以及所述源数据对应的增量更新数据，所述数据同步模式包括数据铺底模式、历史追跑模式以及增量更新模式。
3.根据权利要求2所述的方法，其特征在于，所述基于所述数据类型确定数据同步模式，基于所述数据同步模式对所述源数据进行数据同步，得到所述源数据对应的目标同步数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述对所述待整合数据进行数据整合，得到目标整合数据，包括：
5.根据权利要求4所述的方法，其特征在于，所述待整合数据包括存在特殊字段的数据表、存在特殊分隔符的数据表以及拉链表中至少一项，所述通过所述数据整合文件对所述待整合数据进行数据整合，得到所述目标整合数据，包括：
6.根据权利要求1所述的方法，其特征在于，所述将所述目标整合数据存储至重构后的所述存储分析软件对应的目标存储表，包
7.根据权利要求4所述的方法，其特征在于，所述数据整合还包括数据清洗和/或数据脱敏。
8.一种数据同步整合装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据同步整合方法。
...【技术特征摘要】
1.一种数据同步整合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述数据类型包括首次同步数据、非首次同步的待追跑数据以及非首次同步的更新数据，所述目标同步数据包括所述源数据对应的全量数据、所述源数据对应的历史追跑数据以及所述源数据对应的增量更新数据，所述数据同步模式包括数据铺底模式、历史追跑模式以及增量更新模式。
3.根据权利要求2所述的方法，其特征在于，所述基于所述数据类型确定数据同步模式，基于所述数据同步模式对所述源数据进行数据同步，得到所述源数据对应的目标同步数据，包括：
4.根据权利要求1所述的方法，其特征在于，所述对所述待整合数据进行数据整合，得到目标整合数据，包括：
5.根据权利要求4所述的方法，其特征在于...
【专利技术属性】
技术研发人员：李海博，王长生，胡斐，王鑫毅，王臻，魏鹏，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。