基于大数据的同步数据校对方法、装置和计算机设备制造方法及图纸

本申请涉及大数据，揭露一种基于大数据的同步数据校对方法、装置、计算机设备和存储介质。所述方法包括：根据预设时间间隔，触发目标数据获取指令；根据目标数据获取指令，调用大数据的计算引擎向源数据库获取预设时间间隔内生成的第一目标数据；通过将第一目标数据写入目标数据库对应的文件夹中，并在文件夹的名称中标识第一目标数据的数据获取时间，形成第一目标数据对应数据块；当数据校对指令被触发时，根据数据校对指令确定目标数据库中待校验的数据块，基于待校验的数据块的数据分区进行同步数据校对，获得同步数据校对结果。此外，本发明专利技术还涉及区块链技术，第一目标数据可存储于区块链中。采用本方法提高了同步数据校对工作效率。

【技术实现步骤摘要】
基于大数据的同步数据校对方法、装置和计算机设备
本申请涉及大数据处理
，特别是涉及一种基于大数据的同步数据校对方法、装置、计算机设备和存储介质。
技术介绍
随着互联网的发展，每天都有大量的原始数据产生，如一些电子交易订单，会产生大量的交易数据，一般都是采用业务系统生成数据保存在自身的系统数据库以外，还会将数据同步到目标数据库中，以备后续业务使用。同步数据时，需要保证同步数据的质量，而目前的对同步数据的校对通常是查询系统数据库和目标数据库的数据总量，校对出总数不对，还需要逐一对比是哪里的数据出了问题。随着数据量越来越大，同时要核对查询系统数据库和目标数据库的数据总量，逐一找到存在数据差异的地方，导致同步数据校对工作效率低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高同步数据校对工作效率的基于大数据的同步数据校对方法、装置、计算机设备和存储介质。一种基于大数据的同步数据校对方法，所述方法包括：根据预设时间间隔，触发目标数据获取指令；根据所述目标数据获取指令，调用大数据的计算引擎向源数据库获取所述预设时间间隔内生成的第一目标数据；通过将所述第一目标数据写入目标数据库对应的文件夹中，并在所述文件夹的名称中标识所述第一目标数据的数据获取时间，形成所述第一目标数据对应数据块；当数据校对指令被触发时，根据所述数据校对指令确定所述目标数据库中待校验的数据块，基于待校验的数据块的数据分区进行同步数据校对，获得同步数据校对结果。在其中一个实施例中，当数据校对指令被触发时，根据所述数据校对指令确定所述目标数据库中待校验的数据块，基于待校验的数据块的数据分区进行同步数据校对，获得同步数据校对结果的步骤，包括：当数据校对指令被触发时，根据所述数据校对指令确定所述目标数据库中待校验的数据块；获取所述待校验的数据块的数据发生时间段和第一数据总数；根据所述待校验的数据块的所述数据发生时间段，获取所述待校验的数据块在所述源数据库中对应的第二数据总数；根据所述第一数据总数和所述第二数据总数进行同步数据校对，获得所述待校验的数据块的同步数据校对结果。在其中一个实施例中，所述方法还包括：当所述待校验的数据块的同步数据校对结果中，存在同步数据异常的数据块时，获取所述同步数据异常的数据块的数据获取时间；根据所述数据获取时间，生成数据获取指令；根据所述数据获取指令，调用大数据的计算引擎向源数据库获取所述数据获取时间对应的第二目标数据，其中，所述源数据库是区块链网络中的一个节点；根据所述第二目标数据对所述数据块内的目标数据进行更新。在其中一个实施例中，所述获取所述待校验的数据块的数据发生时间段和第一数据总数的步骤，包括：获取所述待校验的数据块的目标数据；通过数据总数计算函数对所述待校验的数据块的目标数据进行计算，获得所述待校验的数据块的第一数据总数；对所述待校验的数据块的目标数据的数据发生时间进行分析，获得所述待校验的数据块的数据发生时间段。在其中一个实施例中，所述当所述待校验的数据块的同步数据校对结果中，存在同步数据异常的数据块时，获取所述同步数据异常的数据块的数据获取时间的步骤，包括：当所述待校验的数据块的同步数据校对结果中，存在同步数据异常的数据块时，从所述数据块对应的文件夹名称中，获取所述同步数据异常的数据块的数据获取时间。在其中一个实施例中，所述根据所述第二目标数据对所述数据块内的目标数据进行更新的步骤，包括：删除所述数据块对应文件夹中的目标数据；将所述第二目标数据写入所述数据块对应文件夹中，完成所述数据块的更新。在其中一个实施例中，所述根据所述数据获取指令，调用大数据的计算引擎向源数据库获取所述数据获取时间对应的第二目标数据的步骤，包括：根据所述数据获取指令，并行调用大数据的计算引擎向源数据库获取所述数据获取时间对应的第二目标数据。一种基于大数据的同步数据校对装置，所述装置包括：指令触发模块，用于根据预设时间间隔，触发目标数据获取指令；数据获取模块，用于根据所述目标数据获取指令，调用大数据的计算引擎向源数据库获取所述预设时间间隔内生成的第一目标数据；数据写入模块，用于通过将所述第一目标数据写入目标数据库对应的文件夹中，并在所述文件夹的名称中标识所述第一目标数据的数据获取时间，形成所述第一目标数据对应数据块；数据校对模块，用于当数据校对指令被触发时，根据所述数据校对指令确定所述目标数据库中待校验的数据块，基于待校验的数据块的数据分区进行同步数据校对，获得同步数据校对结果。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法的步骤。上述基于大数据的同步数据校对方法、装置、计算机设备和存储介质，通过将预设时间间隔内获取到的第一目标数据，写入目标数据库对应的文件夹中，并在文件夹的名称中标识第一目标数据的数据获取时间，形成第一目标数据对应数据块的方式，将同步的数据根据数据获取时间形成数据分区，将大量的数据分为各个数据块进行存储，并建立对应关系，当需要进行数据校对时，触发数据校对指令，确定目标数据库中待校验的数据块，基于待校验的数据块的数据分区进行校对，获得同步数据校对结果，可以精确定位出数据同步异常的数据分区，提高了同步数据校对工作效率。附图说明图1为一个实施例中基于大数据的同步数据校对方法的应用环境图；图2为一个实施例中基于大数据的同步数据校对方法的流程示意图；图3为一个实施例中基于大数据的同步数据校对方法其中一个步骤的流程示意图；图4为一个实施例中基于大数据的同步数据校对装置的结构框图；图5为另一个实施例中基于大数据的同步数据校对装置的结构框图；图6为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请提供的基于大数据的同步数据校对方法，可以应用于如图1所示的应用环境中。其中，源数据库对应的服务器102通过网络与提供大数据计算服务的服务器104进行通信。提供大数据计算服务的服务器104根据预设时间间隔，触发目标数据获取指令；根据所述目标数据获取指令，调用大数据的计算引擎向源数据库对应的服务器102获取所述预设时间间隔内生成的第一目标数据；通过将所述第一目标数据写入目标数据库对应的文件夹中，并在所述文件夹的名称中标识所述第一目标数据的数据获取时间，形成所述第一目标数据对应数据块，当数据校对指令被触发时，根据数据校对指令确定目标数据库中待校验的数据块，基于待校验的本文档来自技高网...

【技术保护点】
1.一种基于大数据的同步数据校对方法，其特征在于，所述方法包括：/n根据预设时间间隔，触发目标数据获取指令；/n根据所述目标数据获取指令，调用大数据的计算引擎向源数据库获取所述预设时间间隔内生成的第一目标数据；/n通过将所述第一目标数据写入目标数据库对应的文件夹中，并在所述文件夹的名称中标识所述第一目标数据的数据获取时间，形成所述第一目标数据对应数据块；/n当数据校对指令被触发时，根据所述数据校对指令确定所述目标数据库中待校验的数据块，基于待校验的数据块的数据分区进行同步数据校对，获得同步数据校对结果。/n

【技术特征摘要】
1.一种基于大数据的同步数据校对方法，其特征在于，所述方法包括：
根据预设时间间隔，触发目标数据获取指令；
根据所述目标数据获取指令，调用大数据的计算引擎向源数据库获取所述预设时间间隔内生成的第一目标数据；
通过将所述第一目标数据写入目标数据库对应的文件夹中，并在所述文件夹的名称中标识所述第一目标数据的数据获取时间，形成所述第一目标数据对应数据块；
当数据校对指令被触发时，根据所述数据校对指令确定所述目标数据库中待校验的数据块，基于待校验的数据块的数据分区进行同步数据校对，获得同步数据校对结果。


2.根据权利要求1所述的方法，其特征在于，当数据校对指令被触发时，根据所述数据校对指令确定所述目标数据库中待校验的数据块，基于待校验的数据块的数据分区进行同步数据校对，获得同步数据校对结果的步骤，包括：
当数据校对指令被触发时，根据所述数据校对指令确定所述目标数据库中待校验的数据块；
获取所述待校验的数据块的数据发生时间段和第一数据总数；
根据所述待校验的数据块的所述数据发生时间段，获取所述待校验的数据块在所述源数据库中对应的第二数据总数；
根据所述第一数据总数和所述第二数据总数进行同步数据校对，获得所述待校验的数据块的同步数据校对结果。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当所述待校验的数据块的同步数据校对结果中，存在同步数据异常的数据块时，获取所述同步数据异常的数据块的数据获取时间；
根据所述数据获取时间，生成数据获取指令；
根据所述数据获取指令，调用大数据的计算引擎向源数据库获取所述数据获取时间对应的第二目标数据，其中，所述源数据库是区块链网络中的一个节点；
根据所述第二目标数据对所述数据块内的目标数据进行更新。


4.根据权利要求2所述的方法，其特征在于，所述获取所述待校验的数据块的数据发生时间段和第一数据总数的步骤，包括：
获取所述待校验的数据块的目标数据；
通过数据总数计算函数对所述待校验的数据块的目标数据进行计算，获得所述待校验的数据块的第一数据总数；
对所述待校验的数据块的目标数据的数据...

【专利技术属性】
技术研发人员：钟泽峰，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44