一种文件迁移方法及装置制造方法及图纸

本申请涉及数据存储技术领域，特别涉及一种文件迁移方法及装置。该方法应用于分布式存储系统，所述分布式存储系统包括由HDD组成的容量存储池和由SSD组成的性能存储池，所述方法包括：统计所述容量存储池中存储的目标文件的Head对象和快照对象的访问热度；判断所述Head对象和所述快照对象的访问热度是否满足预设要求；若判定所述Head对象的访问热度大于第一设定阈值，且所述快照对象的访问热度小于等于所述第一设定阈值，则将所述Head对象从所述容量存储池迁移至所述性能存储池，并在所述容量存储池中对所述Head对象做克隆处理，以及在确定克隆完成之后，删除所述Head对象。

【技术实现步骤摘要】
一种文件迁移方法及装置
本申请涉及数据存储
，特别涉及一种文件迁移方法及装置。
技术介绍
硬盘是分布式存储集群的基础，硬盘的性能是提升存储集群IO速率的一个关键指标，但硬盘性能越高，价格就会越昂贵，容量相对更小，如果存储集群中全都使用高性能硬盘(如SSD)，则搭建存储集群成本太高；但如果都使用普通性能硬盘(如HDD)，虽然成本得到控制，但是集群IO速率又太低；因此，当前主流的架构是存储集群的硬盘由SSD和HDD组合，SSD硬盘组成性能硬盘池，负责存储访问热度较高的数据或文件；HDD硬盘组成容量硬盘池，负责存储访问热度低的文件。为了提高存储系统(如，ceph集群)的资源利用率，需将数据热度较高的文件存储至SSD中，将数据热度较低的文件存储至HDD中，这样，就需要根据各文件的热度进行文件迁移操作。然而，在文件迁移中，拥有快照数据的文件迁移更加复杂和繁琐，ceph集群中一个文件由多个对象组成(一个对象大小为4M)，当文件有快照时，文件对象数据的克隆采用的是ROW机制(写时重定向)，该文件下每个对象的克隆结果是不一样的，且不同时段，一个文件的Head对象和快照对象的访问热度也不一样，那么，如何进行文件迁移，如何在性能存储池和容量存储池中存储各文件的Head对象和快照对象，以提高性能存储池的使用率，提升存储系统的性能成为亟待解决的问题。
技术实现思路
本申请提供了一种文件迁移方法及装置，用以解决现有技术中存在的性能存储池使用效率不高的问题。第一方面，本申请提供了一种文件迁移方法，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的容量存储池和由SSD组成的性能存储池，所述方法包括：统计所述容量存储池中存储的目标文件的Head对象和快照对象的访问热度；判断所述Head对象和所述快照对象的访问热度是否满足预设要求；若判定所述Head对象的访问热度大于第一设定阈值，且所述快照对象的访问热度小于等于所述第一设定阈值，则将所述Head对象从所述容量存储池迁移至所述性能存储池，并在所述容量存储池中对所述Head对象做克隆处理，以及在确定克隆完成之后，删除所述Head对象。可选地，将所述Head对象从所述容量存储池迁移至所述性能存储池的步骤包括：将所述Head对象迁移至所述性能存储池；在所述Head对象中记录在所述容量存储池中创建的快照对象的最大快照号；在元数据文件中将所述Head对象的元数据由所述容量存储池的ID修改为所述性能存储池的ID。可选地，在所述容量存储池中对所述Head对象做克隆处理的步骤包括：针对所述目标文件中每一Head对象，判断该Head对象是否存在已创建的最大快照号的快照对象；若不存在，则对该Head对象进行克隆处理；否则，不对该对象进行克隆处理。可选地，所述方法还包括：若判定所述Head对象和所述快照对象的访问热度均大于第一设定阈值，则将所述Head对象和所述快照对象均从所述容量存储池迁移至所述性能存储池；在元数据文件中将所述Head对象和所述快照对象的元数据由所述容量存储池的ID修改为所述性能存储池的ID；删除所述容量资源池中所述Head对象和所述快照对象。可选地，所述方法还包括：若判定所述Head对象的访问热度小于等于第一设定阈值，而所述快照对象的访问热度大于所述第一设定阈值，则将所述快照对象迁移至所述性能存储池；对最后一次修改所述目标文件时未创建快照对象的目标Head对象进行克隆处理，得到对应的目标快照对象，并将所述目标快照对象迁移至所述性能存储池；在所述Head对象中记录在所述容量存储池中创建的快照对象的最大快照号；在元数据文件中将所述快照对象和所述目标快照的元数据由所述容量存储池的ID修改为所述性能存储池的ID，并在所述容量池中删除所述快照对象。可选地，所述方法还包括：统计所述性能存储池中存储的各文件的Head对象和快照对象的访问热度；若判定一个文件的Head对象和/或快照对象的访问热度低于第二设定阈值，则将该文件的Head对象和/或快照对象迁移至性能存储池中。第二方面，本申请提供了一种文件迁移装置，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的容量存储池和由SSD组成的性能存储池，所述装置包括：统计单元，用于统计所述容量存储池中存储的目标文件的Head对象和快照对象的访问热度；判断单元，用于判断所述Head对象和所述快照对象的访问热度是否满足预设要求；迁移单元，若所述判断单元判定所述Head对象的访问热度大于第一设定阈值，且所述快照对象的访问热度小于等于所述第一设定阈值，则所述迁移单元用于将所述Head对象从所述容量存储池迁移至所述性能存储池，并在所述容量存储池中对所述Head对象做克隆处理，以及在确定克隆完成之后，删除所述Head对象。可选地，将所述Head对象从所述容量存储池迁移至所述性能存储池时，所述迁移单元具体用于：将所述Head对象迁移至所述性能存储池；在所述Head对象中记录在所述容量存储池中创建的快照对象的最大快照号；在元数据文件中将所述Head对象的元数据由所述容量存储池的ID修改为所述性能存储池的ID。可选地，在所述容量存储池中对所述Head对象做克隆处理时，所述迁移单元具体用于：针对所述目标文件中每一Head对象，判断该Head对象是否存在已创建的最大快照号的快照对象；若不存在，则对该Head对象进行克隆处理；否则，不对该对象进行克隆处理。可选地，若所述判断单元判定所述Head对象和所述快照对象的访问热度均大于第一设定阈值，则所述迁移单元用于将所述Head对象和所述快照对象均从所述容量存储池迁移至所述性能存储池；在元数据文件中将所述Head对象和所述快照对象的元数据由所述容量存储池的ID修改为所述性能存储池的ID；删除所述容量资源池中所述Head对象和所述快照对象。可选地，若所述判断单元判定所述Head对象的访问热度小于等于第一设定阈值，而所述快照对象的访问热度大于所述第一设定阈值，则所述迁移单元用于将所述快照对象迁移至所述性能存储池；对最后一次修改所述目标文件时未创建快照对象的目标Head对象进行克隆处理，得到对应的目标快照对象，并将所述目标快照对象迁移至所述性能存储池；在所述Head对象中记录在所述容量存储池中创建的快照对象的最大快照号；在元数据文件中将所述快照对象和所述目标快照的元数据由所述容量存储池的ID修改为所述性能存储池的ID，并在所述容量池中删除所述快照对象。可选地，所述统计单元，还用于统计所述性能存储池中存储的各文件的Head对象和快照对象的访问热度；若所述判断单元判定一个文件的Head对象和/或快照对象的访问热度低于第二设定阈值，则所述迁移单元用于将该文件的Head对象和/或快照对象迁移至性能存储池中。第三方面，本申请实施例提供一种文件前便宜装本文档来自技高网...

【技术保护点】
1.一种文件迁移方法，其特征在于，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的容量存储池和由SSD组成的性能存储池，所述方法包括：/n统计所述容量存储池中存储的目标文件的Head对象和快照对象的访问热度；/n判断所述Head对象和所述快照对象的访问热度是否满足预设要求；/n若判定所述Head对象的访问热度大于第一设定阈值，且所述快照对象的访问热度小于等于所述第一设定阈值，则将所述Head对象从所述容量存储池迁移至所述性能存储池，并在所述容量存储池中对所述Head对象做克隆处理，以及在确定克隆完成之后，删除所述Head对象。/n

【技术特征摘要】
1.一种文件迁移方法，其特征在于，应用于分布式存储系统，所述分布式存储系统包括由HDD组成的容量存储池和由SSD组成的性能存储池，所述方法包括：
统计所述容量存储池中存储的目标文件的Head对象和快照对象的访问热度；
判断所述Head对象和所述快照对象的访问热度是否满足预设要求；
若判定所述Head对象的访问热度大于第一设定阈值，且所述快照对象的访问热度小于等于所述第一设定阈值，则将所述Head对象从所述容量存储池迁移至所述性能存储池，并在所述容量存储池中对所述Head对象做克隆处理，以及在确定克隆完成之后，删除所述Head对象。


2.如权利要求1所述的方法，其特征在于，将所述Head对象从所述容量存储池迁移至所述性能存储池的步骤包括：
将所述Head对象迁移至所述性能存储池；
在所述Head对象中记录在所述容量存储池中创建的快照对象的最大快照号；
在元数据文件中将所述Head对象的元数据由所述容量存储池的ID修改为所述性能存储池的ID。


3.如权利要求1所述的方法，其特征在于，在所述容量存储池中对所述Head对象做克隆处理的步骤包括：
针对所述目标文件中每一Head对象，判断该Head对象是否存在已创建的最大快照号的快照对象；
若不存在，则对该Head对象进行克隆处理；否则，不对该对象进行克隆处理。


4.如权利要求1所述的方法，其特征在于，所述方法还包括：
若判定所述Head对象和所述快照对象的访问热度均大于第一设定阈值，则将所述Head对象和所述快照对象均从所述容量存储池迁移至所述性能存储池；
在元数据文件中将所述Head对象和所述快照对象的元数据由所述容量存储池的ID修改为所述性能存储池的ID；
删除所述容量资源池中所述Head对象和所述快照对象。


5.如权利要求1所述的方法，其特征在于，所述方法还包括：
若判定所述Head对象的访问热度小于等于第一设定阈值，而所述快照对象的访问热度大于所述第一设定阈值，则将所述快照对象迁移至所述性能存储池；
对最后一次修改所述目标文件时未创建快照对象的目标Head对象进行克隆处理，得到对应的目标快照对象，并将所述目标快照对象迁移至所述性能存储池；
在所述Head对象中记录在所述容量存储池中创建的快照对象的最大快照号；
在元数据文件中将所述快照对象和所述目标快照的元数据由所述容量存储池的ID修改为所述性能存储池的ID，并在所述容量池中删除所述快照对象。


6.如权利要求1所述的方法，其特征在于，所述方法还包括：
统计所述性能存储池中存储的各文件的Head对象和快照对象的访问热度；
若判定一个文件的Head对象和/或快照对象的访问热度低于第二设定阈值，则将该文件的Head对象和/或快照对象迁移至性能存储池中。


7.一种文件迁移装置，其特征在于，应用于分布式...

【专利技术属性】
技术研发人员：罗雄，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南;41