云存储系统的数据备份加速方法技术方案

本发明专利技术公开了一种云存储系统的数据备份加速方法，用于解决现有云存储系统的数据备份方法效率低的技术问题。技术方案是在数据中心利用网络爬虫程序定期从其他网络节点上下载数据并按块计算数据的哈希值，在数据备份之前，根据哈希值对客户端数据进行重复数据删除处理；在备份过程中，通过哈希值的比较，在数据中心已有数据和云端数据中查找与客户端重复的数据，进一步压缩需要从客户端复制到数据中心的数据量，利用数据中心的高带宽和云端数据的共享性，在客户端向数据中心备份数据的同时，从云端的网络节点向数据中心进行数据备份，使指定用户同数据中心之间通过网络传输的数据量降到最低，进而加速数据备份并有效地提高了数据中心的存储利用率。

【技术实现步骤摘要】

【技术保护点】
一种云存储系统的数据备份加速方法，其特征在于包括以下步骤：步骤一、确定系统中各个节点和子系统所承担的角色，并根据角色的不同，安装相应的功能组件，以配合角色完成备份过程中的对应处理；步骤二、在源端首次发出备份请求之前，进行特征码预处理；（1）源端处理；首先，特征码管理组件对源端的数据分块进行哈希值的计算并生成哈希表，根据该表与自身的匹配查找，对源端的数据进行重删处理，即将重复出现的哈希值用指向第一次出现该哈希值的数据块的位置信息进行替换，同时对数据本身存储和对应的元数据也做相应的处理；然后，将完成重删处理的哈希表传送到目标端的特征码管理组件，该表即为源端哈希表；（2）目标端处理；目标端对本数据中心内部的数据进行哈希值计算，生成目标端的全局哈希表，表中保存做重删处理后的最终结果；将该全局哈希表同源端哈希表进行比较，把哈希值匹配的项目集中起来，生成本地哈希表，并在源端、目标端的数据发生修改、删除等变化时加以维护；（3）云端处理；目标端在完成系统初始化后，利用空闲的计算资源和带宽，定期由备份服务中的数据获取功能组件采用网络爬虫的方法根据一定的规则在云端获取数据信息并计算相应的哈希值，将相应的云端位置、源端和云端哈希值的映射关系等数据备份所必需的基本信息收集后传回目标端；爬虫程序获取的各个数据块的哈希值信息记录，若系统中的忽略列表不为空，则先在该表中查找，若找到匹配的项目，则停止当前数据块信息记录的处理，取下一条记录进行处理；否则与目标端的全局哈希表中的项目进行比较，当一个数据块的哈希值找到匹配的项目时，将相应的信息存入一个忽略列表，否则存入网络哈希表；若网络爬虫程序在不同的网络站点上获得了相同的数据哈希值信息，则根据优先原则选择2‑3个最优的结果保存到网络哈希表中；步骤三、当源端发出备份请求时，源端组件先根据所有需要备份的数据块的各条哈希值信息记录生成源端的原始备份计划表，并发送到目标端；目标端的特征码管理组件将原始备份计划表中的记录逐条在对应的网络哈希表和本地哈希表中进行查找，根据查找结果进行相应的处理并生成实际备份计划表；实际备份计划表中有三个级别的子表，在未进行查找前，所有数据块的哈希值信息记录都存入第一级表中，其余两个子表均为空；在匹配查找的过程中，如果数据块A的哈希值记录在网络哈希表中找到匹配的记录，则将A对应的哈希值记录从第一级子表中删除，同时从网络哈希表中将相应的哈希值记录复制到第二级子表中，并将此条记录从网络哈希表中删除；类似的若A的哈希值信息记录在本地哈希表中找到匹配的项目，则将该数据块的哈希值记录从第一级子表中删除，将本地哈希表中对应的哈希值记录复制到第三级子表中，并删除本地哈希表中对应的信息记录；查找过程结束后，实际备份计划表的第一级子表中的内容全部来自原始备份计划表，第二级子表中的内容来自网络哈希表，第三级子表的内容来自本地哈希表；步骤四、数据复制处理；目标端备份管理服务将根据备份计划表实施具体的数据复制处理；第一步，处理第一级子表；根据表中记录将每个数据块从源端复制到目标端，当完成一块数据的复制时，将实际备份计划表中对应的哈希值信息记录删除，并将该数据块复制后的相应信息存入第三级子表，同时更新目标端的全局哈希表；第二步，处理第二级子表；根据表中记录将每个数据块从云端的网站复制到目标端，每当完成一块数据的复制时，将对应的信息记录从备份计划表中删除并在忽略列表加以保存，然后将该数据块复制后的相应信息存入第三级子表并同时更新全局哈希表；在第三级子表中的哈希值信息记录表明对应的数据块已经在目标端，不需要再做数据复制处理；步骤五、差分备份处理；在完成初次处理的全备份后，系统将按照一定的时间间隔进行定期的差分备份；差分备份的备份计划表是在两次备份处理的间隔中由每一次的源端数据更新触发的哈希表更新直接更新至实际备份计划表积累产生的。...

【技术特征摘要】

【专利技术属性】
技术研发人员：赵晓南，张晓，李战怀，曾雷杰，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61