一种基于源端数据重删的数据备份和恢复方法技术

本发明专利技术公开了一种基于源端数据重删的数据备份方法，包括以下步骤，步骤S1，在客户端，对数据流进行分段得到多个数据段；步骤S2，并行处理多个数据段，对每个数据段进行分块，并计算每个数据块的指纹；步骤S3，顺序将指纹发送服务端进行对比，并将对比结果返回至客户端；步骤S4，客户端根据对比结果将服务端没有的数据块发送至服务端进行保存备份，服务端将数据块存放状态返回给客户端。本发明专利技术备份方法通过客户端使用预处理并行计算及服务端的高效缓存模型，可有效提高整体备份效率。

【技术实现步骤摘要】
一种基于源端数据重删的数据备份和恢复方法
本专利技术涉及重复数据删除
，具体涉及一种基于源端数据重删的数据备份和恢复方法。
技术介绍
备份设备中总是充斥着大量的冗余数据，为了解决这个问题，节省更多空间，重复数据删除技术便顺理成章地成了人们关注的焦点。重复数据删除技术旨在删除冗余的备份数据、确保同样的数据信息只被保存一次。采用重复数据删除技术可以将存储的数据量大幅降低，从而让出更多的备份空间，使得备份数据可以更长久的保留在磁盘上。数据重删技术分为源端数据重删和目的端数据重删。源端数据重删技术还可以在备份时节约大量的带宽。现有技术中，基于源端数据重删技术的数据备份的具体过程为：对数据流使用分块算法进行分块，然后对分好的块计算hash（哈希）指纹，即对每个数据块生成检索指纹，用来标识其唯一性；把指纹发送服务端进行比对，在已存在的数据库指纹索引表中查找确认，确定数据块是否已经存在备份设备中，根据比对的结果把新数据发送到服务端保存起来，已有的数据就不再发送，达到节省带宽，并节省存储的目的。现有的技术在性能上比较低，由于重删客户端的分块、计算指纹都比较耗时，服务端存放数据时，指纹离散比较高本文档来自技高网...

【技术保护点】
1.一种基于源端数据重删的数据备份方法，其特征是，包括以下步骤：步骤S1，在客户端，对数据流进行分段得到多个数据段；步骤S2，并行处理多个数据段，对每个数据段进行分块，并计算每个数据块的指纹；步骤S3，顺序将指纹发送服务端进行对比，并将对比结果返回至客户端；步骤S4，客户端根据对比结果将服务端没有的数据块发送至服务端进行保存备份，服务端将数据块存放状态返回给客户端。

【技术特征摘要】
1.一种基于源端数据重删的数据备份方法，其特征是，包括以下步骤：步骤S1，在客户端，对数据流进行分段得到多个数据段；步骤S2，并行处理多个数据段，对每个数据段进行分块，并计算每个数据块的指纹；步骤S3，顺序将指纹发送服务端进行对比，并将对比结果返回至客户端；步骤S4，客户端根据对比结果将服务端没有的数据块发送至服务端进行保存备份，服务端将数据块存放状态返回给客户端。2.根据权利要求1所述的一种基于源端数据重删的数据备份方法，其特征是，在客户端建立一个预处理环形队列，用来存储数据段，预处理环形队列中每个元素即是一个数据段，对队列中所存放的数据段进行并行处理，每个数据段有各自独立的线程。3.根据权利要求1所述的一种基于源端数据重删的数据备份方法，其特征是，采用rabin算法对数据段进行分块。4.根据权利要求1所述的一种基于源端数据重删的数据备份方法，其特征是，按顺序记录每个数据块的起始位置、长度和指纹信息作为该数据块的索引信息。5.根据权利要求1所述的一种基于源端数据重删的数据备份方法，其特征是，在服务端，建立布隆过滤器、一级缓存和二级缓存组成的缓存模型，其中，一级缓存用于存放当前指纹命中的容器，二级缓存用于存放当前命中的容器的下一个容器；每个指纹对比的流程为：约定指纹存在则标记为1，不存在标记为0，首先去布隆过滤器里查找，若没有此指纹则标记为0，流程结束，若有此指纹则去一级缓存中取查找，一级缓存中若有则标记为1，流程结束，若没有则去二级缓存中去查找，二级缓存中若有则标记为1，流程结束，二级缓存中若还没有则去数据库中查找，数据库中若还没有标记为0流程结束，若有则标记为1，并把该指纹对应的容器同步更新到一级缓存中，下一个容器异步...

【专利技术属性】
技术研发人员：周建华，陈润知，张有成，
申请(专利权)人：南京壹进制信息技术股份有限公司，
类型：发明
国别省市：江苏,32