一种提高存储系统间海量文件同步速度的方法技术方案

本发明专利技术提供一种提高存储系统间海量文件同步速度的方法，涉及计算机存储领域，该方法涉及如下几个主要步骤：比较源端和目的端对应文件的大小和修改时间；目的端文件分块，计算校验和。该步骤首先对目的端的文件进行分块，之后对每个块分别计算校验和；将目的端文件的校验和列表传输到同步源；在源端进行文件的数据块比对；将步骤4中得到的结果数组传输到目的端；目的端根据从源端接收到的结果数组，重新生成文件。本发明专利技术能够有效的提高的存储系统中的海量文件的同步速度，提升网络利用率。

【技术实现步骤摘要】

本专利技术涉及计算机存储领域，具体涉及集群存储中，海量文件备份加速的技术，具体地说是。
技术介绍
随着信息时代的到来网络应用的高速发展，网络信息数据量越来越大，海量存储系统中所保存的数据量也越来越大，越来越多的存储系统中保存的数据量都已经达到了 PB级。数据规模的快速增长无疑给文件同步、数据备份带来了新的问题。在海量数据的新环境下，传统的文件同步方法的性能已经无法满足业务需求。由于现有的文件同步方法大都没有针对海量数据的环境进行专门的设计和优化，因此同步海量文件的性能较低。
技术实现思路
本专利设计了。其特征在于通过利用文件对比算法以及多线程技术，减少了需要在网络中传输的数据量，并且充分利用了网络的带宽，进而提高了文件同步的速度，减少了文件同步所需要的时间。该方法涉及如下几个主要步骤: 1)、比较源端和目的端对应文件的大小和修改时间；如果源端文件和目的端文件的大小和修改时间中有一项不同，则启动一个线程，在新线程中开始执行步骤2。之后重复步骤1，比较下一个文件的大小和修改时间； 2)、目的端文件分块，计算校验和；该步骤首先对目的端的文件进行分块，之后对每个块分别计算校本文档来自技高网...

【技术保护点】
一种提高存储系统间海量文件同步速度的方法，其特征在于该方法涉及如下几个主要步骤：1）、比较源端和目的端对应文件的大小和修改时间；如果源端文件和目的端文件的大小和修改时间中有一项不同，则启动一个线程，在新线程中开始执行步骤2;之后重复步骤1，比较下一个文件的大小和修改时间；2）、目的端文件分块，计算校验和；该步骤首先对目的端的文件进行分块，之后对每个块分别计算校验和；3）、将目的端文件的校验和列表传输到同步源；校验和列表中包括数据块的编号和校验和；4）、在源端进行文件的数据块比对;在同步的源端，计算文件中的第一个数据块的校验和，并在从目的端得到的校验和列表中，查找该校验和是否存在；如果存在，则将...

【技术特征摘要】
1.一种提高存储系统间海量文件同步速度的方法，其特征在于该方法涉及如下几个主要步骤: 1)、比较源端和目的端对应文件的大小和修改时间；如果源端文件和目的端文件的大小和修改时间中有一项不同，则启动一个线程，在新线程中开始执行步骤2;之后重复步骤1，比较下一个文件的大小和修改时间； 2)、目的端文件分块，计算校验和；该步骤首先对目的端的文件进行分块，之后对每个块分别计算校验和； 3)、将目的端文件的校验和列表传输到同步源；校验和列表中包括数据块的编号和校验和； 4)、在源...

【专利技术属性】
技术研发人员：孟令斌，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：