本申请提供一种数据同步方法、装置、电子设备及存储介质，可用于大数据或其他领域。该方法包括：从多个数据源中获取多个变更数据，将所述多个变更数据存入消息队列；根据用户输入的多个处理需求，对所述消息队列中的所述多个变更数据进行并行处理，得到数据拉链表；将所述数据拉链表存入数据仓库。以上方案，通过建立数据拉链表，将数据量大的变更数据中同一个数据的多个变动进行合并存储，从而减少变更数据的数据量，提升数据同步的效率。提升数据同步的效率。提升数据同步的效率。
【技术实现步骤摘要】
数据同步方法、装置、电子设备及存储介质
[0001]本申请涉及大数据领域，尤其涉及一种数据同步方法、装置、电子设备及存储介质。
技术介绍
[0002]随着信息化企业的发展，数据仓库可以对数据仓库中的数据根据数据的业务场景进行数据分析而制定决策，数据仓库中的数据来自多个数据源，数据源中保存各种业务场景的数据，数据源仅提供数据的存储功能，不能从中提取出指导业务的决策，因此需要数据仓库实现数据的最大利用。
[0003]实际应用中，数据源每时每刻都有新增的数据，新增的数据未进行分析，需要将新增的数据同步到数据仓库，才能进行数据分析。
[0004]由于数据源的数量众多，数据源中的数据的数量庞大，从数据源中获取的增量数据的数据量较大，导致对数据量大的增量数据进行同步的效率低下。
技术实现思路
[0005]本申请提供一种数据同步方法、装置、电子设备及存储介质，用以解决数据同步效率低下的问题。
[0006]第一方面，本申请提供一种数据同步方法，包括：从多个数据源中获取多个变更数据，将所述多个变更数据存入消息队列；根据用户输入的多个处理需求，对所述消息队列中的所述多个变更数据进行并行处理，得到数据拉链表；将所述数据拉链表存入数据仓库。
[0007]在一种可能的实施方式中，从多个数据源中获取多个变更数据，包括：获取用户输入的表信息或者字段信息；将所述多个数据源中的所述表信息或者所述字段信息对应的多个原始数据，确定为多个目标数据；从所述多个目标数据中获取所述多个变更数据。
[0008]在一种可能的实施方式中，所述方法还包括：获取用户输入的数据源验证信息；通过所述数据源验证信息，对所述多个数据源中的表信息或者字段信息进行验证；若验证不通过，则根据所述数据源验证信息，对所述多个数据源中的表信息或者字段信息进行修正处理。
[0009]在一种可能的实施方式中，从所述多个目标数据中获取所述多个变更数据，包括：获取每个所述数据源对应的日志，其中，所述日志中包括所述多个原始数据的变更记录；对所述日志中的所述变更记录进行监控；若监控到新增的变更记录，则将所述新增的变更记录对应的多个原始数据所对应的目标数据，确定为所述多个变更数据。
[0010]在一种可能的实施方式中，根据用户输入的多个处理需求，对所述消息队列中的所述多个变更数据进行并行处理，得到数据拉链表，包括：确定所述多个处理需求与所述多个变更数据的对应关系，所述对应关系包括每个所述处理需求对应的变更数据；通过所述多个处理需求，对对应的所述多个变更数据进行并行处理，得到多个处理数据；根据所述多个处理数据，得到所述数据拉链表。
[0011]在一种可能的实施方式中，根据所述多个处理数据，得到所述数据拉链表，包括：确定每个所述处理数据对应的编号信息；确定每个所述处理数据对应的变更记录，其中，所述变更记录包括每个所述变更数据的生命周期开始时间以及生命周期结束时间；根据所述编号信息、所述生命周期开始时间以及所述生命周期结束时间，建立所述多个处理数据对应的数据拉链表。
[0012]在一种可能的实施方式中，将所述数据拉链表存入数据仓库，包括：将所述数据拉链表存入所述数据仓库的缓冲层；确定所述数据仓库的公共层中的历史数据拉链表；根据所述数据拉链表对所述历史数据拉链表进行更新处理，得到更新数据拉链表，以及将所述更新数据拉链表存入所述公共层。
[0013]第二方面，本申请提供一种数据同步装置，包括：获取模块，用于从多个数据源中获取多个变更数据，将所述多个变更数据存入消息队列；处理模块，用于根据用户输入的多个处理需求，对所述消息队列中的所述多个变更数据进行并行处理，得到数据拉链表；同步模块，用于将所述数据拉链表存入数据仓库。
[0014]在一种可能的实施方式中，所述获取模块，具体用于获取用户输入的表信息或者字段信息；所述获取模块，具体还用于将所述多个数据源中的所述表信息或者所述字段信息对应的多个原始数据，确定为多个目标数据；所述获取模块，具体还用于从所述多个目标数据中获取所述多个变更数据。
[0015]在一种可能的实施方式中，所述装置还包括：验证模块，用于获取用户输入的数据源验证信息；所述验证模块，还用于通过所述数据源验证信息，对所述多个数据源中的表信息或者字段信息进行验证；所述验证模块，还用于若验证不通过，则根据所述数据源验证信息，对所述多个数据源中的表信息或者字段信息进行修正处理。
[0016]在一种可能的实施方式中，所述装置还包括：监控模块，用于获取每个所述数据源对应的日志，其中，所述日志中包括所述多个原始数据的变更记录；所述监控模块，还用于对所述日志中的所述变更记录进行监控；所述监控模块，还用于若监控到新增的变更记录，则将所述新增的变更记录对应的多个原始数据所对应的目标数据，确定为所述多个变更数据。
[0017]在一种可能的实施方式中，所述装置还包括：执行模块，用于确定所述多个处理需求与所述多个变更数据的对应关系，所述对应关系包括每个所述处理需求对应的变更数据；所述执行模块，还用于通过所述多个处理需求，对对应的所述多个变更数据进行并行处理，得到多个处理数据；所述执行模块，还用于根据所述多个处理数据，得到所述数据拉链表。
[0018]在一种可能的实施方式中，所述执行模块，具体用于确定每个所述处理数据对应的编号信息；所述执行模块，具体还用于确定每个所述处理数据对应的变更记录，其中，所述变更记录包括每个所述变更数据的生命周期开始时间以及生命周期结束时间；所述执行模块，具体还用于根据所述编号信息、所述生命周期开始时间以及所述生命周期结束时间，建立所述多个处理数据对应的数据拉链表。
[0019]在一种可能的实施方式中，所述装置还包括：更新模块，用于将所述数据拉链表存入所述数据仓库的缓冲层；所述更新模块，还用于确定所述数据仓库的公共层中的历史数据拉链表；所述更新模块，还用于根据所述数据拉链表对所述历史数据拉链表进行更新处
理，得到更新数据拉链表，以及将所述更新数据拉链表存入所述公共层。
[0020]第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面中任一项所述的方法。
[0021]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行如第一方面中任一项所述的方法。
[0022]第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行如第一方面中任一项所述的方法。
[0023]本申请提供的数据同步方法、装置、电子设备及存储介质，包括：从多个数据源中获取多个变更数据，将所述多个变更数据存入消息队列；根据用户输入的多个处理需求，对所述消息队列中的所述多个变更数据进行并行处理，得到数据拉链表；将所述数据拉链表存入数据仓库。以上方案，通过建立数据拉链表，将数据量大的变更数据中同本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：从多个数据源中获取多个变更数据，将所述多个变更数据存入消息队列；根据用户输入的多个处理需求，对所述消息队列中的所述多个变更数据进行并行处理，得到数据拉链表；将所述数据拉链表存入数据仓库。2.根据权利要求1所述的方法，其特征在于，从多个数据源中获取多个变更数据，包括：获取用户输入的表信息或者字段信息；将所述多个数据源中的所述表信息或者所述字段信息对应的多个原始数据，确定为多个目标数据；从所述多个目标数据中获取所述多个变更数据。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取用户输入的数据源验证信息；通过所述数据源验证信息，对所述多个数据源中的表信息或者字段信息进行验证；若验证不通过，则根据所述数据源验证信息，对所述多个数据源中的表信息或者字段信息进行修正处理。4.根据权利要求3所述的方法，其特征在于，从所述多个目标数据中获取所述多个变更数据，包括：获取每个所述数据源对应的日志，其中，所述日志中包括所述多个原始数据的变更记录；对所述日志中的所述变更记录进行监控；若监控到新增的变更记录，则将所述新增的变更记录对应的多个原始数据所对应的目标数据，确定为所述多个变更数据。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，根据用户输入的多个处理需求，对所述消息队列中的所述多个变更数据进行并行处理，得到数据拉链表，包括：确定所述多个处理需求与所述多个变更数据的对应关系，所述对应关系包括每个所述处理需求对应的变更数据；通过所述多个处理需求，对对应的所述多个变更数据进行并行处理，得到多个处理数据；根据所述多个...
【专利技术属性】
技术研发人员：孟令芬，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。