小文件迁移方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种小文件迁移方法、装置、设备及计算机可读存储介质，包括：加载待迁移的小文件；根据预设迁移策略迁移待迁移的小文件并判断正在迁移的小文件是否达到迁移上限，若是，则停止加载待迁移的小文件，当达到预设恢复条件时，恢复加载待迁移的小文件；若否，则继续加载待迁移的小文件。利用本发明专利技术，在加载待迁移的小文件达到迁移上限时，停止加载待迁移的小文件，避免了无限制加载待迁移的小文件导致的分布式存储系统阻塞瘫痪的问题，提高了分布式存储能力的利用率和海量小文件的迁移效率。

Small file migration methods, devices, equipment and computer readable storage media

The invention discloses a file transfer method and device, device and computer readable storage medium, including: small file loading after the migration; migration strategies according to the preset migration after the migration of small files and small files is determined whether the migration migration limit, if, then stop the small file loading after the migration, when achieved the default recovery conditions, small file recovery loading to be moved; if not, then continue to small file loading to be migrated. The invention achieves migration limit in small file transfer to be loaded, small files stop loading after the migration, avoiding the problem of blocking the paralysis of the distributed storage system of small files without restrictions to be migrated to the increased migration rate and efficiency of small files by using the distributed mass storage capacity.

【技术实现步骤摘要】
小文件迁移方法、装置、设备及计算机可读存储介质
本专利技术涉及分布式存储
，特别是涉及一种小文件迁移方法。本专利技术还涉及一种小文件迁移装置、设备及计算机可读存储介质。
技术介绍
在互联网大数据时代，海量大文件传输需要占用超大的带宽，海量小文件传输需要占用超大的IOPS(InputOutputOperationsPerSecond，每秒进行读写操作的次数)，海量小文件传输带来的超大的IOPS会给分布式存储系统带来前所未有的挑战，尤其是海量小文件在不同的分布式存储系统间迁移，能不能充分发挥分布式存储能力显得尤为重要。现有技术中海量小文件的迁移方法在迁移小文件的时候会无限制的加载待迁移的小文件，当加载的小文件数量超出分布式存储系统单次迁移小文件的最大数量时，会导致分布式存储阻塞瘫痪，降低了迁移效率。因此，如何提供一种能够提高迁移效率的海量小文件迁移方法、装置、设备及计算机可读存储介质是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的是提供一种小文件迁移方法，其能够避免无限制加载待迁移的小文件导致的分布式存储系统阻塞瘫痪的问题，提高分布式存储能力的利用率和海量小文件的迁移效本文档来自技高网...

【技术保护点】
一种小文件迁移方法，其特征在于，包括：加载待迁移的小文件；根据预设迁移策略迁移所述待迁移的小文件并判断正在迁移的小文件是否达到迁移上限，若是，则停止加载所述待迁移的小文件，当达到预设恢复条件时，恢复加载所述待迁移的小文件；若否，则继续加载所述待迁移的小文件。

【技术特征摘要】
1.一种小文件迁移方法，其特征在于，包括：加载待迁移的小文件；根据预设迁移策略迁移所述待迁移的小文件并判断正在迁移的小文件是否达到迁移上限，若是，则停止加载所述待迁移的小文件，当达到预设恢复条件时，恢复加载所述待迁移的小文件；若否，则继续加载所述待迁移的小文件。2.根据权利要求1所述的方法，其特征在于，所述预设恢复条件为所述正在迁移的小文件的数量降低到预设阈值。3.根据权利要求2所述的方法，其特征在于，所述预设阈值为所述迁移上限的90％。4.根据权利要求3所述的方法，其特征在于，生成所述预设迁移策略的过程具体包括：根据所述待迁移的小文件的起始地址和终止地址生成迁移路径；根据单个元数据服务MDS的处理能力获取分布式存储系统的存储能力；获取所述待迁移的小文件所在目录的目录结构树以及所述待迁移的小文件的个数；根据所述迁移路径、所述分布式存储系统的存储能力、所述目录结构树以及单个目录的文件个数，生成迁移策略。5.根据权利要求4所述的方法，其特征在于，所述迁移所述待迁移的小文件之后还包括：记录已经完成迁移的小文件，并生成迁移记录表。6.根据权利要求4所述的方法，其特征在于，所述根据预设迁移策略迁移所述待迁移的小文件的过程中，还包括：显示迁移的进度。7.一种小文件迁移装置...

【专利技术属性】
技术研发人员：孔军，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41