一种基于ftp的千万级文件量的文件同步方法技术

本发明专利技术公开了一种基于ftp的千万级文件量的文件同步方法，属于计算机、文件同步技术领域。本发明专利技术的基于ftp的千万级文件量的文件同步方法在文件同步程序中引入redis库，采用专用内存库，完成文件信息存储、比对程序和文件同步程序的拆分。该发明专利技术的基于ftp的千万级文件量的文件同步方法支持大批量文件的自动同步，提高大批量文件同步的可靠性，同时避免手动同步、费时费力、易出错，具有很好的推广应用价值。价值。价值。

【技术实现步骤摘要】
一种基于ftp的千万级文件量的文件同步方法


[0001]本专利技术涉及计算机、文件同步
，具体提供一种基于ftp的千万级文件量的文件同步方法。

技术介绍

[0002]随着信息技术产业革命浪潮，特别是大数据技术创新应用，数据逐渐成为物质、能源后第三大的国家基础战略资源和创新生产要素。数据安全变得越来越重要。伴随着大数据技术的发展。大批量的数据备份、文件同步就成为一个亟待解决的问题。
[0003]而数据备份中对大批量的文件同步不友好。千万级文件量的文件自动化同步容易因为同步程序所在服务器内存不足等原因导致同步失败，所以亟需解决该问题。

技术实现思路

[0004]本专利技术的技术任务是针对上述存在的问题，提供一种支持大批量文件的自动同步，提高大批量文件同步的可靠性，同时避免手动同步、费时费力、易出错的基于ftp的千万级文件量的文件同步方法。
[0005]为实现上述目的，本专利技术提供了如下技术方案：
[0006]一种基于ftp的千万级文件量的文件同步方法，在文件同步程序中引入redis库，采用专用内存库，完成文件信息存储、比对程序和文件同步程序的拆分。
[0007]作为优选，该基于ftp的千万级文件量的文件同步方法包括以下步骤：
[0008]S1、分别在备份服务器和文件服务器上开启ftp服务；
[0009]S2、两个文件监测程序，分别连接备份服务器和文件服务器，并扫描文件目录及文件信息，循环遍历存放到redis；
[0010]S3、启动比对程序，批量遍历redis中文件服务器上的文件信息；
[0011]S4、文件同步程序定时扫描redis中的key，将扫描的key信息，进行文件同步；
[0012]S5、文件同步程序完成文件同步后，清理redis中该文件的待同步key。
[0013]作为优选，步骤S1中，所述备份服务器用来存储从服务器上同步文件的服务器。
[0014]分别在备份服务器(用来存储从服务器上同步文件的服务器)和文件服务器上开启ftp服。
[0015]作为优选，步骤S2中，遍历时设置阀值，达到阀值即清理同步程序中的无用目录信息。
[0016]作为优选，步骤S2中，每个监测程序定义独特的redis中key前缀，区分来自不同服务器的目录信息，value为文件大小及更新时间。
[0017]两个文件监测程序，分别连接两台服务器，并扫描文件目录及文件信息(文件的变更时间，大小等)，循环遍历存放到redis。遍历时设置阈值，达到阈值即可清理同步程序中的无用目录信息，避免内存过载。每个监测程序定义独特的redis中key前缀，以区分来自不同服务器的目录信息，value为文件大小及更新时间。例如：在redis中记录的文件服务器上
的信息的key可以定义为file_server_1_${文件绝对路径}，备份文件服务器上记录可以定义backup_server_1_${文件绝对路径}。两个监测程序运行完成之后即在redis中存储了两台服务器上文件的完整文件信息。
[0018]作为优选，步骤S3中，与配置的备份服务器中的目录进行比较，一是比较相同绝对路径的key是否存在，二是比较文件的大小、更新时间是否有变化。
[0019]作为优选，步骤S3中，若不存在key或文件信息变化，则在redis中生成新的待同步的key。
[0020]启动比对程序，批量遍历redis中文件服务器上的文件信息。与配置的备份服务器中的目录进行比较：一是比较相同绝对路径的key是否存在，二是比较文件的大小、更新时间时候有变化。如果不存在key或者文件信息变化了，则在redis中生成新的待同步的key,比如定义为sync_file_1_${文件绝对路径}。比对完成的文件信息直接删除。
[0021]作为优选，步骤S4中，将扫描的key信息，根据配置的文件服务器信息、备份服务器信息进行文件同步，将文件发送到备份服务器。
[0022]文件同步程序(根据获取的差异文件，完成文件的发送)定时扫描redis中sync_file_1_*的key，把扫描的到key信息，根据配置的文件服务器信息、备份服务器信息进行文件同步。将文件发送到备份服务器。
[0023]与现有技术相比，本专利技术的基于ftp的千万级文件量的文件同步方法具有以下突出的有益效果：该基于ftp的千万级文件量的文件同步方法支持大批量文件的自动同步，提高了大批量文件同步的可靠性，避免手动同步，费时费力及易出错的问题，具有良好的推广应用价值。
附图说明
[0024]图1是本专利技术所述基于ftp的千万级文件量的文件同步方法的流程图；
[0025]图2是本专利技术所述基于ftp的千万级文件量的文件同步方法扫描文件流程图。
具体实施方式
[0026]下面将结合附图和实施例，对本专利技术的基于ftp的千万级文件量的文件同步方法作进一步详细说明。
[0027]实施例
[0028]如图1和图2所示，本专利技术的基于ftp的千万级文件量的文件同步方法在文件同步程序中引入redis库，采用专用内存库，完成文件信息存储、比对程序和文件同步程序的拆分。具体包括以下步骤：
[0029]S1、分别在备份服务器和文件服务器上开启ftp服务。
[0030]备份服务器用来存储从服务器上同步文件的服务器。分别在备份服务器(用来存储从服务器上同步文件的服务器)和文件服务器上开启ftp服。
[0031]S2、两个文件监测程序，分别连接备份服务器和文件服务器，并扫描文件目录及文件信息，循环遍历存放到redis。
[0032]遍历时设置阀值，达到阀值即清理同步程序中的无用目录信息。每个监测程序定义独特的redis中key前缀，区分来自不同服务器的目录信息，value为文件大小及更新时
间。
[0033]两个文件监测程序，分别连接两台服务器，并扫描文件目录及文件信息(文件的变更时间，大小等)，循环遍历存放到redis。遍历时设置阈值，达到阈值即可清理同步程序中的无用目录信息，避免内存过载。每个监测程序定义独特的redis中key前缀，以区分来自不同服务器的目录信息，value为文件大小及更新时间。例如：在redis中记录的文件服务器上的信息的key可以定义为file_server_1_${文件绝对路径}，备份文件服务器上记录可以定义backup_server_1_${文件绝对路径}。两个监测程序运行完成之后即在redis中存储了两台服务器上文件的完整文件信息。
[0034]S3、启动比对程序，批量遍历redis中文件服务器上的文件信息。
[0035]与配置的备份服务器中的目录进行比较，一是比较相同绝对路径的key是否存在，二是比较文件的大小、更新时间是否有变化。若不存在key或文件信息变化，则在redis中生成新的待同步的key。
[0036]启动比对程序，批量遍历redis中文件服务器上的文件信息。与配置的备份服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ftp的千万级文件量的文件同步方法，其特征在于：该方法在文件同步程序中引入redis库，采用专用内存库，完成文件信息存储、比对程序和文件同步程序的拆分。2.根据权利要求1所述的基于ftp的千万级文件量的文件同步方法，其特征在于：包括以下步骤：S1、分别在备份服务器和文件服务器上开启ftp服务；S2、两个文件监测程序，分别连接备份服务器和文件服务器，并扫描文件目录及文件信息，循环遍历存放到redis；S3、启动比对程序，批量遍历redis中文件服务器上的文件信息；S4、文件同步程序定时扫描redis中的key，将扫描的key信息，进行文件同步；S5、文件同步程序完成文件同步后，清理redis中该文件的待同步key。3.根据权利要求2所述的基于ftp的千万级文件量的文件同步方法，其特征在于：步骤S1中，所述备份服务器用来存储从服务器上同步文件的服务器。4.根据权利要求3所述的基于ftp的千万级文件量的文件同步方法，...

【专利技术属性】
技术研发人员：王玉伟，单震，
申请(专利权)人：浪潮卓数大数据产业发展有限公司，
类型：发明
国别省市：