一种数据迁移方法和装置制造方法及图纸

本发明专利技术公开了一种数据迁移方法和装置，方法包括：响应于接收到数据写入请求而将数据写入请求所请求写入的文件写入高级存储池；响应于所请求写入的文件已经被写入高级存储池而在元数据服务器确定数据写入请求所请求写入的文件是大文件还是小文件；响应于所请求写入的是大文件而将大文件的元数据写入大文件表，响应于所请求写入的是小文件而将小文件的元数据写入索引表；响应于判定满足执行数据迁移的条件而由元数据服务器将大文件表中的大文件依照其元数据顺序从高级存储池迁移到普通存储池。本发明专利技术能够提升数据文件迁移效率，避免高级存储介质写穿，提升用户体验和用户满意度，提高产品的竞争力。提高产品的竞争力。提高产品的竞争力。

【技术实现步骤摘要】
一种数据迁移方法和装置


[0001]本专利技术涉及元数据加载领域，更具体地，特别是指一种数据迁移方法和装置。

技术介绍

[0002]在现有技术中，文件优选地存储在高级池以提升读写性能。由于高级池由SSD(固态硬盘)等高成本存储介质组成，而且一个文件往往写入后短时间内访问频繁，随着时间的增加访问频率会越来越低。如果能让文件短时存储在高级池中，访问频率降低后迁移到普通池，就可以利用较低成本的高速介质实现存储更高性能提升，即文件分层。实际使用时通过配置文件分层特性，文件写入高级池，并在索引表中记录，MDS(元数据服务器)加载索引表，逐个文件迁移至普通池，来实现文件在高级池中短时存储。
[0003]由于文件在创建时文件大小未知，大小文件都会写入高级池。大文件写入高级池会导致高级池水位快速上升，使高成本的存储介质被大文件占用，而其他文件因高级池空间变小而无法写入，只能写入普通池，写入普通池则无法获得性能提升。迁移时MDS负责加载文件迁移表，逐个文件进行迁移。如果优先迁移大文件，能让高级池水位下降更快，进而能存储更多文件，如果优先迁移小文件，高级池本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括执行以下步骤：响应于接收到数据写入请求而将所述数据写入请求所请求写入的文件写入高级存储池；响应于所请求写入的文件已经被写入所述高级存储池而在元数据服务器确定所述数据写入请求所请求写入的文件是大文件还是小文件；响应于所请求写入的是大文件而将所述大文件的元数据写入大文件表，响应于所请求写入的是小文件而将所述小文件的元数据写入索引表；响应于判定满足执行数据迁移的条件而由所述元数据服务器将所述大文件表中的所述大文件依照其元数据顺序从所述高级存储池迁移到普通存储池。2.根据权利要求1所述的方法，其特征在于，在元数据服务器确定所述数据写入请求所请求写入的文件是大文件还是小文件包括：由所述元数据服务器基于预先设定的存储阈值与所述数据写入请求所请求写入的文件的大小相比较，响应于所述数据写入请求所请求写入的文件的大小大于所述存储阈值而确定所述数据写入请求所请求写入的文件是所述大文件，响应于所述数据写入请求所请求写入的文件的大小小于所述存储阈值而确定所述数据写入请求所请求写入的文件是所述小文件。3.根据权利要求1所述的方法，其特征在于，元数据包括文件尺寸；将所述大文件的元数据写入大文件表包括将所述大文件的大小写入大文件表；由所述元数据服务器将所述大文件表中的所述大文件依照其元数据顺序从所述高级存储池迁移到普通存储池包括：由所述元数据服务器将所述大文件表中的所述大文件依照尺寸从大到小排序，并按顺序将所述大文件从所述高级存储池迁移到普通存储池。4.根据权利要求1所述的方法，其特征在于，响应于判定满足终止数据迁移的条件而停止迁移所述大文件。5.根据权利要求1所述的方法，其特征在于，响应于所述大文件表中的所述大文件已经全部迁移并...

【专利技术属性】
技术研发人员：孙业宽，孟祥瑞，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：