一种文件迁移方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种文件迁移方法、装置、设备及可读存储介质，该方法包括：接收文件迁移任务；判断文件迁移任务是否为未完成任务；如果是，则从文件迁移任务对应位于目的存储池中的聚合大文件和各个位于源存储池中的小文件中，确定出无效文件；聚合大文件中具有将各个小文件经聚合而分别对应的迁移小文件；对无效文件进行垃圾回收。该方法可对聚合迁移过程中产生的无效数据进行回收处理，能够提高磁盘利用率。

【技术实现步骤摘要】
一种文件迁移方法、装置、设备及可读存储介质
本专利技术涉及存储
，特别是涉及一种文件迁移方法、装置、设备及可读存储介质。
技术介绍
由于磁盘读写大文件的速度往往要显著高于小文件。为了利用这一特性，海量小文件应用场景，写小文件时并非直接落盘，而是聚合为大文件之后再进行落盘操作，从而有效降低小文件写入磁盘次数、减轻写数据压力，同时还提高读取命中率并缩短读I/O路径。但是，若文件在迁移聚合过程中，文件分级迁移客户端挂掉，就会导致整个迁移聚合过程无法完成，从而产生无效的垃圾数据。无效的垃圾数据会占用存储空间，导致存储利用率低的问题。综上所述，如何有效地解决小文件迁移过程的磁盘清理等问题，是目前本领域技术人员急需解决的技术问题。
技术实现思路
本专利技术的目的是提供一种文件迁移方法、装置、设备及可读存储介质，能够对因聚合迁移故障所产生的垃圾数据进行有效回收。为解决上述技术问题，本专利技术提供如下技术方案：一种文件迁移方法，包括：接收文件迁移任务；判断所述文件迁移任务是否为未完成任务本文档来自技高网...

【技术保护点】
1.一种文件迁移方法，其特征在于，包括：/n接收文件迁移任务；/n判断所述文件迁移任务是否为未完成任务；/n如果是，则从所述迁移任务对应位于目的存储池中的聚合大文件和各个位于源存储池中的小文件中，确定出无效文件；所述聚合大文件中具有将各个所述小文件经聚合而分别对应的迁移小文件；/n对所述无效文件进行垃圾回收。/n

【技术特征摘要】
1.一种文件迁移方法，其特征在于，包括：
接收文件迁移任务；
判断所述文件迁移任务是否为未完成任务；
如果是，则从所述迁移任务对应位于目的存储池中的聚合大文件和各个位于源存储池中的小文件中，确定出无效文件；所述聚合大文件中具有将各个所述小文件经聚合而分别对应的迁移小文件；
对所述无效文件进行垃圾回收。


2.根据权利要求1所述的文件迁移方法，其特征在于，从所述文件迁移任务对应位于目的存储池中的聚合大文件和各个位于源存储池中的小文件中，确定出无效文件，包括：
获取各个所述小文件的聚合属性；
利用所述聚合属性，从所述聚合大文件和各个所述小文件中，确定出所述无效文件。


3.根据权利要求2所述的文件迁移方法，其特征在于，利用所述聚合属性，从所述聚合大文件和各个所述小文件中，确定出所述无效文件，包括：
判断所述聚合属性是否变化；
如果是，则确定对应的所述小文件为所述无效文件；
如果否，则确定存储于所述聚合大文件中对应的所述迁移小文件为无效文件。


4.根据权利要求1所述的文件迁移方法，其特征在于，对所述无效文件进行垃圾回收，包括：
若所述无效文件为所述小文件，则删除所述源存储池中的所述小文件；
若所述无效文件为所述迁移小文件，则对所述聚合大文件进行碎片回收处理。


5.根据权利要求4所述的文件迁移方法，其特征在于，对所述聚合大文件进行碎片回收处理，包括：
获取所述聚合大文件的文件头信息；
利用所述文件头信息，确定出所述聚合大文件中的无效数据比例；
在所述无效数据比例大于阈值的情况下，将所述聚合大文件中的...

【专利技术属性】
技术研发人员：孙业宽，孟祥瑞，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32