【技术实现步骤摘要】
一种高效的并行分布式文件系统并行复制方法
本专利技术涉及分布式文件系统并行复制
，更具体地说，涉及一种高效的并行分布式文件系统并行复制方法。
技术介绍
计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统可以有效解决数据的存储和管理难题：将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据；分布式文件系统能够存放海量数据，此时文件的复制就变得非常空难；为此，提出一种高效的并行分布式文件系统并行复制方法。本
技术实现思路
1.要解决的技术问题针对现有技术中存在的问题，本...
【技术保护点】
1.一种高效的并行分布式文件系统并行复制方法，其特征在于，包括分布式文件系统1与分布式文件系统2的复制过程，其中分布式文件系统1有N个目录每个目录下有N个文件和N个目录；/n所述分布式文件系统1至分布式文件系统2的复制过程包括JobDirWorker、JobFileWorker以及JobWorker的并行复制步骤；/nJobDirWorker:进行复制目录的具体工作者，同时可以处理多个JobDir，包括以下步骤：/nS1：扫描源目录(只扫描一级目录)记录文件和目录；/nS2：在目标目录中创建源目录并保存扫描出来的文件和目录信息；/nS3：是目录则创建JobDir分配给不同的...
【技术特征摘要】
1.一种高效的并行分布式文件系统并行复制方法，其特征在于，包括分布式文件系统1与分布式文件系统2的复制过程，其中分布式文件系统1有N个目录每个目录下有N个文件和N个目录；
所述分布式文件系统1至分布式文件系统2的复制过程包括JobDirWorker、JobFileWorker以及JobWorker的并行复制步骤；
JobDirWorker:进行复制目录的具体工作者，同时可以处理多个JobDir，包括以下步骤：
S1：扫描源目录(只扫描一级目录)记录文件和目录；
S2：在目标目录中创建源目录并保存扫描出来的文件和目录信息；
S3：是目录则创建JobDir分配给不同的节点的JobDirWorker进行S1、S2、S3、S4操作；
S4：是文件则创建JobFile分配给不同节点的JobFileWorker进行处理；
S5：所有目录和文件复制完成后标记复制完成；
S6：清理目录复制过程文件。
JobFileWorker:进行复制文件的具体工作者，同时可以处理多个JobFile，包括以下步骤：
S1：将文件分块，并将分块信息记录到的文件中；
S2：在目标目录总也保存一份相应的信息；
S3：创建Job分发给其他节点JobWorker进行处理；
S4：所有的Job完成后合并文件块为一个文件；
S5：给目录复制信息中标记复制文件完成；
S6：清理文件复制过程文件。
JobWorker：进行复制任务，同时可以处理多个Job，包括以下步骤：
S1：将Job中的复制任务进行复制到目标文件中，并标记复制完成。
2.根据权利要求1所述的一种高效的并行分布式文件系统并行复制方法，其特征在于：还包括文件系统拷贝以及文件系统拷贝断点续存，两者每个节点上都有JobDirWorker，JobFileWorker，JobWorker。
3.根据权利要求2所述的一种高效的并行分布式文件系统并行复制方法，其特征在于：所述文件系统拷贝步骤如下：
S1：指定源目录和目标目录，指定所有计算节点进行拷贝；
S2：...
【专利技术属性】
技术研发人员：宋江波，吴军疆，
申请(专利权)人：西安奥卡云数据科技有限公司，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。