一种基于数据块的数据快速备份和一致性验证方法及系统技术方案

本发明专利技术公开了一种基于数据块的数据快速备份和一致性验证方法及系统，该方法包括：步骤S1，构建并实时更新源端磁盘空间的bitmap表，由源端向备端发送数据同步请求，将源端磁盘空间的bitmap表发送至备端，根据bitmap表将相应的数据块发送至备端，并于数据块发送后，计算源端所发送的数据块的校验值，保存至源端数据校验文件；步骤S2，备端接收源端的数据同步请求，接收源端发过来的bitmap表，并根据bitmap表接收源端发送的数据块写入备端磁盘，计算所接收的数据块的校验值，保存至备端数据校验文件；步骤S3，源备端分别计算其数据校验文件的消息摘要并进行对比，验证源备端数据的完整性和一致性。

【技术实现步骤摘要】
一种基于数据块的数据快速备份和一致性验证方法及系统
本专利技术涉及计算机数据备份容灾
，特别是涉及一种基于数据块的数据快速备份和一致性验证方法及系统。
技术介绍
随着信息技术快速发展，各企业在信息化建设过程中，对容灾备份的要求也在逐步提高，快速的备份数据和校验数据的一致性，已逐步成为保障企业生产、销售、开发的正常运行的必要手段。目前的计算机数据容灾备份技术，普遍采用全备份，存在备份成本高，硬件受限，备份不够灵活等缺点，而且也没有校验数据的一致性，因此实有必要提出一种技术手段，以解决传统备份的成本高，硬件受限，备份不够灵活、无一致性检测等缺点。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种基于数据块的数据快速备份和一致性验证方法及系统，以实现基于数据块进行数据快速备份和一致性验证的目的，克服传统备份的成本高，硬件受限，备份不够灵活、无一致性检测等缺点。为达上述目的，本专利技术提供一种基于数据块的数据快速备份和一致性验证方法，包括如下步骤：步骤S1，构建并实时更新源端磁盘空间的bitmap表，由所述源端向备端发送数据同步请求，先将源端磁盘空间的bitmap表发送至备端，再根据所述bitmap表将相应的数据块发送至备端，并于数据块发送后，计算源端所发送的数据块的校验值，并保存至源端数据校验文件；步骤S2，备端接收所述源端的数据同步请求，接收所述源端发过来的bitmap表，并根据所述bitmap表接收所述源端发送的数据块写入备端磁盘，计算所接收的数据块的校验值，保存至备端数据校验文件；步骤S3，源备端分别计算其数据校验文件的消息摘要，并通过对比源备端的数据校验文件的消息摘要，验证源备端数据的完整性和一致性。优选地，步骤S1进一步包括：步骤S100，将所述源端的磁盘存储空间划分为若干数据块，并建立与该若干数据块对应的bitmap表，所述bitmap表用于标识对应的数据块的数据变化；步骤S101，监测源端磁盘各数据块的数据变化情况更新所述bitmap表；步骤S102，向备端发送数据同步请求，将所述源端磁盘空间的bitmap表发送至备端；步骤S103，根据所述bitmap表将相应的数据块发送至所述备端，并于数据块发送后，更新源端所述bitmap表中相应的bit位；步骤S104，于数据块发送后，计算源端所发送的数据块的校验值，并保存至源端数据校验文件中。优选地，于步骤S100中，当进行初始同步时，将所述bitmap表的所有bit位置1以进行全备份。优选地，于步骤S103中，根据所述bitmap表，将所述bitmap表中bit位值为1的bit位对应的数据块发送至所述备端，并于数据块发送后，将对应的bit位置为0。优选地，步骤S2进一步包括：步骤S200，所述备端接收到所述源端的数据同步请求，并接收所述源端发送的bitmap表；步骤S201，根据所述bitmap表接收所述源端发送的数据块，并写入备端磁盘；步骤S202，所述备端计算所接收的数据块的校验值，保存至备端数据校验文件。优选地，步骤S201中，所述备端根据接收的源端发送的bitmap表，并按照所述bitmap表中bit位是否置1，接收相应的数据块。优选地，于步骤S201中，在写磁盘数据前，所述备端根据该bit位在所述bitmap表中的位置和该bit位表示的数据块大小，计算出备端磁盘偏移值，再根据所述备端磁盘偏移值和数据块大小，将该bit位对应的源端的数据块写入备端相应的磁盘位置。优选地，于步骤S3中，所述源端和备端分别获取对方的消息摘要，通过比对消息摘要是否一致，来验证数据的完整性、一致性；若消息摘要比对一致，则源端继续监听以进行后续增量备份，备端则返回步骤S2继续接收数据同步请求；若消息摘要比对结果不一致，则源端获取备端数据校验文件，根据数据块校验值的不同计算对应的bit位，更新所述bitmap表，并返回步骤S1重新发起数据同步。优选地，若在数据传输过程中，发生网络中断或者网络异常导致的数据丢失，备端和源端保存各自的bitmap表和数据校验文件，待网络恢复后，由所述源端获取备端的bitmap表，合并自身与从备端获得的bitmap表构成新的bitmap表，并返回步骤S1重新发起数据同步。为达到上述目的，本专利技术还提供一种基于数据块的数据快速备份和一致性验证系统，包括：源端，用于向备端发送数据同步请求，先将源端磁盘空间的bitmap表发送至备端，再根据所述bitmap表将相应的数据块发送至备端，并于数据块发送后，计算源端所发送的数据块的校验值，并保存至源端数据校验文件，于数据同步完毕，计算源端数据校验文件的消息摘要，通过对比源备端的数据校验文件的消息摘要，验证源备端数据的完整性和一致性；备端，用于接收源端的数据同步请求，接收源端发送的bitmap表，并根据所述bitmap表接收源端发送的数据块写入备端磁盘，计算所接收的数据块的校验值，保存至备端数据校验文件，并于数据同步完毕，计算备端数据校验文件的消息摘要，通过对比源备端的数据校验文件的消息摘要，验证源备端数据的完整性和一致性。与现有技术相比，本专利技术一种基于数据块的数据快速备份和一致性验证方法及系统通过于构建并实时更新源端磁盘空间的bitmap表，由所述源端向备端发送数据同步请求，先将源端磁盘空间的bitmap表发送至备端，再根据所述bitmap表将相应的数据块发送至备端，并于数据块发送后，计算源端所发送的数据块的校验值，并保存至源端数据校验文件，由备端接收所述源端的数据同步请求，接收所述源端发过来的bitmap表，并根据所述bitmap表接收所述源端发送的数据块写入备端磁盘，计算所接收的数据块的校验值，保存至备端数据校验文件，最后源备端分别计算其数据校验文件的消息摘要，并通过对比源备端的数据校验文件的消息摘要，验证源备端数据的完整性和一致性，以实现基于数据块进行数据快速备份和一致性验证的目的，克服传统备份的成本高，硬件受限，备份不够灵活等缺点。附图说明图1为本专利技术一种基于数据块的数据快速备份和一致性验证方法的步骤流程图；图2为本专利技术具体实施例中bitmap表、数据块以及数据校验文件之间的关系图；图3为本专利技术一种基于数据块的数据快速备份和一致性验证系统的系统架构图；图4为本专利技术实施例中源备端数据同步/校验的流程图；图5为本专利技术实施例中断点续传的流程示意图。具体实施方式以下通过特定的具体实例并结合附图说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其它优点与功效。本专利技术亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本专利技术的精神下进行各种修饰与变更。在本专利技术以下说明中，源端表示数据源，通常为包含计算机文件系统的磁盘或者文件，备端则表示包含计算机文件系统的备份存储设备，存本文档来自技高网...

【技术保护点】
1.一种基于数据块的数据快速备份和一致性验证方法，包括如下步骤：/n步骤S1，构建并实时更新源端磁盘空间的bitmap表，由所述源端向备端发送数据同步请求，先将源端磁盘空间的bitmap表发送至备端，再根据所述bitmap表将相应的数据块发送至备端，并于数据块发送后，计算源端所发送的数据块的校验值，保存至源端数据校验文件；/n步骤S2，备端接收所述源端的数据同步请求，接收所述源端发过来的bitmap表，根据所述bitmap表接收所述源端发送的数据块写入备端磁盘，并计算所接收的数据块的校验值，保存至备端数据校验文件；/n步骤S3，源备端分别计算其数据校验文件的消息摘要，并通过对比源备端的数据校验文件的消息摘要，验证源备端数据的完整性和一致性。/n

【技术特征摘要】
1.一种基于数据块的数据快速备份和一致性验证方法，包括如下步骤：
步骤S1，构建并实时更新源端磁盘空间的bitmap表，由所述源端向备端发送数据同步请求，先将源端磁盘空间的bitmap表发送至备端，再根据所述bitmap表将相应的数据块发送至备端，并于数据块发送后，计算源端所发送的数据块的校验值，保存至源端数据校验文件；
步骤S2，备端接收所述源端的数据同步请求，接收所述源端发过来的bitmap表，根据所述bitmap表接收所述源端发送的数据块写入备端磁盘，并计算所接收的数据块的校验值，保存至备端数据校验文件；
步骤S3，源备端分别计算其数据校验文件的消息摘要，并通过对比源备端的数据校验文件的消息摘要，验证源备端数据的完整性和一致性。


2.如权利要求1所述的一种基于数据块的数据快速备份和一致性验证方法，其特征在于，步骤S1进一步包括：
步骤S100，将所述源端的磁盘存储空间划分为若干数据块，并建立与该若干数据块对应的bitmap表，所述bitmap表用于标识对应的数据块的数据变化；
步骤S101，监测源端磁盘各数据块的数据变化情况更新所述bitmap表；
步骤S102，向备端发送数据同步请求，将所述源端磁盘空间的bitmap表发送至备端；
步骤S103，根据所述bitmap表将相应的数据块发送至所述备端，并于数据块发送后，更新源端所述bitmap表中相应的bit位；
步骤S104，于数据块发送后，计算源端所发送的数据块的校验值，并保存至源端数据校验文件中。


3.如权利要求2所述的一种基于数据块的数据快速备份和一致性验证方法，其特征在于:于步骤S100中，当进行初始同步时，将所述bitmap表的所有bit位置1以进行全备份。


4.如权利要求3所述的一种基于数据块的数据快速备份和一致性验证方法，其特征在于:于步骤S103中，根据所述bitmap表，将所述bitmap表中bit位值为1的bit位对应的数据块发送至所述备端，并于数据块发送后，将对应的bit位置为0。


5.如权利要求1所述的一种基于数据块的数据快速备份和一致性验证方法，其特征在于，步骤S2进一步包括：
步骤S200，所述备端接收到所述源端的数据同步请求，并接收所述源端发送的bitmap表；
步骤S201，根据所述bitmap表接收所述源端发送的数据块，并写入备端磁盘；
步骤S202，所述备端计算...

【专利技术属性】
技术研发人员：秦文航，严崇文，陈勇铨，胡军擎，周华，江俊，
申请(专利权)人：上海英方软件股份有限公司，
类型：发明
国别省市：上海;31