一种数据备份精简存储方法及系统技术方案

本发明专利技术实施例公开了一种数据备份精简存储方法及系统，对备份客户端上的数据卷的历史数据副本创建定时快照；首次存储时，对第一个快照包含的所有数据进行存储；对当前快照进行存储前，以512byte为最小单位扫描快照所在磁盘扇区，将当前快照与先前已创建历史副本快照进行对比，查询当前快照的近似快照；以512byte为最小单位扫描当前快照所在磁盘扇区，获取与近似快照相比当前快照中发生变化的数据和未发生变化的数据，仅将发生变化的数据进行存储，将未发生变化的数据所在磁盘扇区的指针位置进行保存。与现有技术相比，本发明专利技术有效的提高了备份数据的备份速度，节省了备份空间，所有备份数据都存储在备份介质中，使备份数据不易丢失。

【技术实现步骤摘要】
一种数据备份精简存储方法及系统
本专利技术涉及备份
,具体地说是一种数据备份精简存储方法及系统。
技术介绍
现如今，备份设备中总是充斥着大量的冗余数据，磁盘备份设备的容量已经趋于饱和，在数据中心已经没有足够的空间来备份PT(point,点)级的数据。为了解决这个问题，节省更多空间，“重复删除”技术便顺理成章地成了人们关注的焦点，采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。“重复删除”技术也有很多缺点，“重复删除”技术的备份速度慢，重复数据一旦丢失，所有的数据都无法恢复。
技术实现思路
本专利技术提供了一种数据备份精简存储方法及系统，能够在备份过程中识别重复数据，只备份非重复数据，以解决现有技术中备份速度较慢，重复数据一旦丢失，所有的数据都无法恢复的问题。为了解决上述技术问题，本专利技术实施例公开了如下技术方案：本专利技术第一方面提供了一种数据备份精简存储方法，包括以下步骤：备份客户端向备份服务器发送备份请求，备份服务器对备份客户端上的数据卷的历史数据副本创建定时快照；快照创建完成后，对当前快照进行存储前，以512byte(字节)为最小单位扫描快照所在磁盘扇区，将当前快照与先前已创建的历史副本快照进行对比，查询与当前快照内容最为相近的快照；以512byte为最小单位扫描当前快照所在磁盘扇区，获取与近似快照相比当前快照中发生变化的数据和未发生变化的数据，仅将发生变化的数据进行存储。可选地，首次存储时，以512byte为最小单位对第一个快照包含的所有数据进行存储。可选地，对当前快照进行存储前，利用哈希算法将当前快照与先前已创建历史副本快照进行对比，查询与当前快照差别最小的近似快照的具体过程是：对当前快照进行存储前，以512byte为最小单位扫描快照所在磁盘扇区，将当前快照与先前已创建历史副本快照进行对比，查询当前快照的近似快照。可选地，将当前快照的哈希值存入备份服务器的本地数据库中。可选地，以512byte为最小单位扫描当前快照所在磁盘扇区，获取与近似快照相比当前快照中发生变化的数据和未发生变化的数据，仅将发生变化的数据进行存储的具体过程是：以512byte为最小单位扫描当前快照所在磁盘扇区，获得磁盘扇区中空白磁盘扇区和写入数据的磁盘扇区；对比写入数据的磁盘扇区和近似快照，分别获取发生变化的数据所在磁盘扇区和未发生变化数据所在磁盘扇区，仅将发生变化的数据进行存储。可选地，将所有存储的数据都保存在备份介质中，所述备份介质包括物理磁带库和虚拟磁带库。可选地，其特征是，所述方法还包括将未发生变化的数据所在磁盘扇区的指针位置进行存储。本专利技术第二方面提供了一种数据备份精简存储系统，包括客户端模块、定时快照模块、近似快照查询模块、精简数据微扫描模块、介质模块和控制模块；客户端模块用于备份服务器和备份客户端之间的通信，备份客户端向备份服务器发送备份请求，使得备份服务器有权限访问备份客户端；定时快照模块用于对备份客户端上的数据卷的历史数据副本创建定时快照，对数据卷的历史数据副本做持续数据保护；近似快照查询模块以512byte为最小单位扫描快照所在磁盘扇区，将当前快照与先前已创建历史副本快照进行对比，查询当前快照的近似快照；精简数据微扫描模块以512byte为最小单位扫描当前快照所在磁盘扇区，获得磁盘扇区中空白磁盘扇区和写入数据的磁盘扇区，对比写入数据的磁盘扇区和近似快照，分别获取发生变化的数据所在磁盘扇区和未发生变化的数据所在磁盘扇区；介质模块对第一个快照包含的所有数据以及对从第二个快照开始的发生变化的数据进行存储；控制模块控制备份服务器和备份客户端之间的通信，控制定时快照的创建过程并为定时快照设置策略，控制近似快照的查询过程，控制对当前快照所在磁盘扇区的扫描过程，为所有存储数据设置存储路径。
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：本专利技术对备份客户端上的数据卷的历史数据副本创建定时快照，以512byte为最小单位扫描快照所在磁盘扇区，将当前快照与先前已创建的历史副本快照进行对比，查询与当前快照内容最为相近的快照，以512byte为最小单位扫描当前快照所在磁盘扇区，获取与近似快照相比当前快照中发生变化的数据和未发生变化的数据，仅将发生变化的数据进行存储，将未发生变化的数据所在磁盘扇区的指针位置进行保存。本专利技术只存储变化的数据，重复数据不进行存储，减少了重复数据占用的空间，有效避免了存储空间浪费，提高了磁盘利用率，节约了用户的存储成本，将发生变化的数据存储在物理磁带库和虚拟磁带库中，物理磁带库和虚拟磁带库具有故障率低、可靠性高和数据恢复的功能，有效的避免了数据的丢失。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术所述方法实施例的流程示意图；图2是本专利技术所述系统实施例的模块示意图；图3是本专利技术所述系统实施例中定时快照模块工作示意图；图4是本专利技术所述系统实施例中精简数据微扫描模块工作示意图。具体实施方式为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本专利技术进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述。此外，本专利技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本专利技术省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本专利技术。如图1所示，本专利技术的一种数据备份精简存储方法，包括以下步骤：S1，备份客户端向备份服务器发送备份请求，备份服务器对备份客户端上的数据卷的历史数据副本创建定时快照；S2，快照创建完成后，对当前快照进行存储前，以512byte为最小单位扫描快照所在磁盘扇区，将当前快照与先前已创建的历史副本快照进行对比，查询与当前快照内容最为相近的快照；S3，以512byte为最小单位扫描当前快照所在磁盘扇区，获取与近似快照相比当前快照中发生变化的数据和未发生变化的数据，仅将发生变化的数据进行存储。在步骤S1中，备份Agent(代理)安装在备份客户端上，如果需要备份，备份Agent向备份服务器发送备份请求，备份服务器获取备份客户端的用户名和密码对备份客户端进行信息确认，信息确认成功后对备份客户端上的数据卷的历史数据副本创建定时快照，对数据卷的历史数据副本进行持续数据保护。卷是磁盘上的逻辑空间，一个磁盘可以划分为若干个卷。本专利技术为每个卷创建多达1000个定时快照，快照可根据用户需求建立定时策略，也可手工标记建立。例如以每4个小时创建一次快照，每天就会形成6个历史副本快照，每月180个历史副本快照。在步骤S2中，快照创建完成后，对当前快照进行存储前，以512byte为最小单位扫描快照所在磁盘扇区，将当前快照与先前已创建的历本文档来自技高网...

【技术保护点】
1.一种数据备份精简存储方法，其特征是，包括以下步骤：备份客户端向备份服务器发送备份请求，备份服务器对备份客户端上的数据卷的历史数据副本创建定时快照；快照创建完成后，对当前快照进行存储前，以512byte为最小单位扫描快照所在磁盘扇区，将当前快照与先前已创建的历史副本快照进行对比，查询与当前快照内容最为相近的快照；以512byte为最小单位扫描当前快照所在磁盘扇区，获取与近似快照相比当前快照中发生变化的数据和未发生变化的数据，仅将发生变化的数据进行存储。

【技术特征摘要】
1.一种数据备份精简存储方法，其特征是，包括以下步骤：备份客户端向备份服务器发送备份请求，备份服务器对备份客户端上的数据卷的历史数据副本创建定时快照；快照创建完成后，对当前快照进行存储前，以512byte为最小单位扫描快照所在磁盘扇区，将当前快照与先前已创建的历史副本快照进行对比，查询与当前快照内容最为相近的快照；以512byte为最小单位扫描当前快照所在磁盘扇区，获取与近似快照相比当前快照中发生变化的数据和未发生变化的数据，仅将发生变化的数据进行存储。2.根据权利要求1所述的一种数据备份精简存储方法，其特征是，首次存储时，以512byte为最小单位对第一个快照包含的所有数据进行存储。3.根据权利要求1所述的一种数据备份精简存储方法，其特征是，对当前快照进行存储前，利用哈希算法将当前快照与先前已创建历史副本快照进行对比，查询与当前快照差别最小的近似快照的具体过程是：对当前快照进行存储前，以512byte为最小单位扫描快照所在磁盘扇区，将当前快照与先前已创建历史副本快照进行对比，查询当前快照的近似快照。4.根据权利要求3所述的一种数据备份精简存储方法，其特征是，将当前快照的哈希值存入备份服务器的本地数据库中。5.根据权利要求1所述的一种数据备份精简存储方法，其特征是，以512byte为最小单位扫描当前快照所在磁盘扇区，获取与近似快照相比当前快照中发生变化的数据和未发生变化的数据，仅将发生变化的数据进行存储的具体过程是：以512byte为最小单位扫描当前快照所在磁盘扇区，获得磁盘扇区中空白磁盘扇区和写入数据的磁盘扇区；对比写入数据...

【专利技术属性】
技术研发人员：付丽莉，李征梅，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41