一种数据处理方法、设备及存储介质技术

本申请公开了一种数据处理方法、设备及存储介质，该方法包括：将源节点的数据库日志通过配置的远程日志异步传递至目标节点，以使目标节点读取远程日志，将源节点的数据库日志进行复制；当源节点的非数据库对象发生变更时，将变更信息记录在审计日志中，以使源节点读取审计日志并将读取的信息传递至目标节点；暂停数据库复制动作，将源节点和目标节点中各个对象的属性同时进行全面比对，生成比对报告；将比对报告中比对不一致的对象自动进行暂挂动作，并对暂挂的对象进行自动刷新修复动作，在修复完成后，继续数据库复制动作。这样运行速度快，确定两个节点中的关键对象和数据库数据的一致性，保证业务切换以后仍然能够正确稳定的运行。的运行。的运行。

【技术实现步骤摘要】
一种数据处理方法、设备及存储介质


[0001]本专利技术涉及数据处理领域，特别是涉及一种数据处理方法、设备及存储介质。

技术介绍

[0002]AS400的高可用方案包括存储复制方案和逻辑复制方案两种，存储复制方案利用存储设备的同步复制功能或者异步复制功能实现存储级别的数据复制，逻辑复制方案则利用AS400的日志，通过处理日志项(Journal Entry)在备机重复主机发生的动作以达到复制生产机生产动作的目的。
[0003]当业务运行从主机切换到备机，必须保证两台机器的数据一致，同时也要保证业务运行需要的条件和环境参数保持一致，这样才能保证业务切换到备机后，业务能够连续稳定运行。然而，目前，在AS400的逻辑复制高可用方案场景下，市场上商业软件提供的主机和备机之间的数据比对技术也仅限于静态数据库记录的比对，而对数据库对象参数的比对，以及非数据库对象的比对却无法快速准确的实现，不能保证整个数据库数据和关键对象的一致性。
[0004]因此，如何弥补了上述领域的空缺，是本领域技术人员亟待解决的技术问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种数据处理方法、设备及存储介质，可以确定两个节点中的关键对象和数据库数据一致，保证业务切换以后仍然能够正确稳定的运行。其具体方案如下：
[0006]一种数据处理方法，包括：
[0007]将源节点的数据库日志通过配置的远程日志异步传递至目标节点，以使所述目标节点读取所述远程日志，将所述源节点的数据库日志进行复制；r/>[0008]当所述源节点的非数据库对象发生变更时，将变更信息记录在审计日志中，以使所述源节点读取所述审计日志并将读取的信息传递至所述目标节点；
[0009]暂停数据库复制动作，将所述源节点和所述目标节点中各个对象的属性同时进行全面比对，生成比对报告；所述对象包括数据库对象和非数据库对象；
[0010]将所述比对报告中比对不一致的所述对象自动进行暂挂动作，并对暂挂的所述对象进行自动刷新修复动作，在修复完成后，继续数据库复制动作。
[0011]优选地，在本专利技术实施例提供的上述数据处理方法中，。
[0012]优选地，在本专利技术实施例提供的上述数据处理方法中，所述目标节点读取所述远程日志，将所述源节点的动作进行复制，包括：
[0013]所述目标节点的读取作业读取所述远程日志，并缓冲至用户队列中；
[0014]所述目标节点的派发作业读取所述用户队列缓冲的数据，将读取的数据传输至所述目标节点的应用作业；
[0015]所述应用作业通过对日志项的解析完成对应的动作，并对所述目标节点的数据库
对象进行响应的操作，使所述源节点的动作复制到所述目标节点。
[0016]优选地，在本专利技术实施例提供的上述数据处理方法中，所述源节点读取所述审计日志并将读取的信息传递至所述目标节点，包括：
[0017]所述源节点的读取作业读取所述审计日志；
[0018]所述源节点通过socket通讯将读取的信息传递至所述目标节点；
[0019]所述目标节点将接收的信息缓冲至用户队列；
[0020]所述应用作业读取所述用户队列缓冲的信息，完成对应的对象变更操作。
[0021]优选地，在本专利技术实施例提供的上述数据处理方法中，在所述对所述源节点和所述目标节点中各个对象同时进行全面比对的同时，还包括：
[0022]采用SHA512算法对所述源节点和所述目标节点中各个对象对应的数据表的记录同时进行散列值检查；
[0023]将所述源节点的散列值和所述目标节点的散列值进行比对；
[0024]判断所述源节点和所述目标节点中同一数据表的记录是否有差异；若有差异，写入所述对比报告中。
[0025]优选地，在本专利技术实施例提供的上述数据处理方法中，所述对暂挂的所述对象进行自动刷新修复动作，包括：
[0026]在设定间隔时间段内对暂挂的所述对象进行一次自动刷新修复动作。
[0027]优选地，在本专利技术实施例提供的上述数据处理方法中，所述对暂挂的所述对象进行自动刷新修复动作，还包括：
[0028]当暂挂的所述对象的容量小于或等于预设容量时，直接对该对象进行备份/恢复修复；
[0029]当暂挂的所述对象的容量大于所述预设容量时，直接对该对象进行记录级别修复。
[0030]优选地，在本专利技术实施例提供的上述数据处理方法中，若所述源节点和所述目标节点中同一数据表的记录有差异时，对有差异的记录进行从所述源节点和所述目标节点的刷新。
[0031]优选地，在本专利技术实施例提供的上述数据处理方法中，在进行散列值检查时，每隔设定数量的记录计算一个SHA15散列值，比对的散列值定位在所述设定数量的记录所在区间内；或，
[0032]在进行散列值检查时，当计算的数据表本身处于静止状态或只读状态时，整个数据表计算一个SHA15散列值。
[0033]本专利技术实施例还提供了一种计算机设备，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如本专利技术实施例提供的上述数据处理方法。
[0034]本专利技术实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本专利技术实施例提供的上述数据处理方法。
[0035]从上述技术方案可以看出，本专利技术所提供的一种数据处理方法，包括：将源节点的数据库日志通过配置的远程日志异步传递至目标节点，以使目标节点读取远程日志，将源节点的数据库日志进行复制；当源节点的非数据库对象发生变更时，将变更信息记录在审计日志中，以使源节点读取审计日志并将读取的信息传递至目标节点；暂停数据库复制动
作，将源节点和目标节点中各个对象的属性同时进行全面比对，生成比对报告；对象包括数据库对象和非数据库对象；将比对报告中比对不一致的对象自动进行暂挂动作，并对暂挂的对象进行自动刷新修复动作，在修复完成后，继续数据库复制动作。
[0036]本专利技术可以在生产业务正常运行的情况下，提供对数据库对象和非数据库对象参数的比对，比对的结果准确且运行速度快，确定两个节点中的关键对象和数据库数据的一致性，既可以满足中小型客户的需求，也可以满足海量业务处理的客户需求，保证业务切换以后仍然能够正确稳定的运行。
[0037]此外，本专利技术还针对数据处理方法提供了相应的设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该设备及计算机可读存储介质具有相应的优点。
附图说明
[0038]为了更清楚地说明本专利技术实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0039]图1为本专利技术实施例提供的数据处理方法的流程图；
[0040]图2为本专利技术实施例提供的将源节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：将源节点的数据库日志通过配置的远程日志异步传递至目标节点，以使所述目标节点读取所述远程日志，将所述源节点的数据库日志进行复制；当所述源节点的非数据库对象发生变更时，将变更信息记录在审计日志中，以使所述源节点读取所述审计日志并将读取的信息传递至所述目标节点；暂停数据库复制动作，将所述源节点和所述目标节点中各个对象的属性同时进行全面比对，生成比对报告；所述对象包括数据库对象和非数据库对象；将所述比对报告中比对不一致的所述对象自动进行暂挂动作，并对暂挂的所述对象进行自动刷新修复动作，在修复完成后，继续数据库复制动作。2.根据权利要求1所述的数据处理方法，其特征在于，所述目标节点读取所述远程日志，将所述源节点的动作进行复制，包括：所述目标节点的读取作业读取所述远程日志，并缓冲至用户队列中；所述目标节点的派发作业读取所述用户队列缓冲的数据，将读取的数据传输至所述目标节点的应用作业；所述应用作业通过对日志项的解析完成对应的动作，并对所述目标节点的数据库对象进行响应的操作，使所述源节点的动作复制到所述目标节点。3.根据权利要求2所述的数据处理方法，其特征在于，所述源节点读取所述审计日志并将读取的信息传递至所述目标节点，包括：所述源节点的读取作业读取所述审计日志；所述源节点通过socket通讯将读取的信息传递至所述目标节点；所述目标节点将接收的信息缓冲至用户队列；所述应用作业读取所述用户队列缓冲的信息，完成对应的对象变更操作。4.根据权利要求3所述的数据处理方法，其特征在于，在所述对所述源节点和所述目标节点中各个对象同时进行全面比对的同时，...

【专利技术属性】
技术研发人员：王巍，
申请(专利权)人：浪潮商用机器有限公司，
类型：发明
国别省市：