【技术实现步骤摘要】
一种存储介质和文件数据的迁移方法、装置及设备
本专利技术涉及数据存储领域,特别涉及一种存储介质和文件数据的迁移方法、装置及设备。
技术介绍
随着信息技术的快速发展,人们可以获取的数据呈指数倍的增长,所以,可以有效解决数据的存储和管理难题的分布式文件系统应运而生。分布式文件系统通过将固定于某个地点的某个文件系统,扩展到任意多个地点/多个文件系统,众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点,通过网络进行节点间的通信和数据传输。人们在使用分布式文件系统时,无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的,只需要像使用本地文件系统一样管理和存储文件系统中的数据。但是,由于在分布式文件系统的正常使用过程中,常常需要对分布式文件系统中的一些文件数据进行迁移,正常的文件数据迁移是以一定数据量的数据为单位进行循环迁移的,并且在文件数据迁移的过程中并不会产生垃圾对象,但是,一旦在数据迁移的过程中发生异常,导致系统退出或者系统崩溃,则会产生无法清除的垃圾对象,占用系统的存储空间,从而导致了系统存储空间的浪费。因此,如何保证在文件数据迁移过程中产生的垃圾对象能 ...
【技术保护点】
一种文件数据的迁移方法,应用于分布式文件系统,其特征在于,包括:依据日志文件中记录的历史迁移信息确定是否存在垃圾对象,如果是,则清除所述垃圾对象;在触发文件迁移后,以日志文件的方式记录所述文件中的当前迁移数据的迁移信息;将所述当前迁移数据写入目标存储池,并更新所述迁移信息。
【技术特征摘要】
1.一种文件数据的迁移方法,应用于分布式文件系统,其特征在于,包括:依据日志文件中记录的历史迁移信息确定是否存在垃圾对象,如果是,则清除所述垃圾对象;在触发文件迁移后,以日志文件的方式记录所述文件中的当前迁移数据的迁移信息;将所述当前迁移数据写入目标存储池,并更新所述迁移信息。2.根据权利要求1所述的迁移方法,其特征在于,所述依据日志文件中记录的历史迁移信息确定是否存在垃圾对象具体包括:读取所述日志文件中,最后记录的一个具有写入成功标志的最后历史迁移信息;判断所述文件所在的存储池的标识中是否仅包含所述最后迁移信息中的目标存储池标识。3.根据权利要求2所述的迁移方法,其特征在于,所述以日志文件的方式记录所述文件中的当前迁移数据的迁移信息具体包括:在将所述当前迁移数据写入目标存储池之前,以追加的方式将所述迁移信息记录至当前日志文件。4.根据权利要求1-3任一项所述的迁移方法,其特征在于,还包括:在所述文件中的迁移数据全部写入所述目标存储池之后,判断是否产生垃圾文件对象,如果否,则删除当前日志文件;则对应的,所述依据日志文件中记录的历史迁移信息确定是否存在垃圾对象具体包括:检测是否存在所述日志文件;如果是,则进入所述依据日志文件中记录的历史迁移信息确定是否存在垃圾对象的步骤,如果否,则进入所述在触发文件迁移后,以日志文件的方式记录所述文件中的当前迁移数据的迁移信息的步骤。5.根据权利要求4所述的迁移方法,其特征在于,所述判断是否...
【专利技术属性】
技术研发人员:王帅阳,
申请(专利权)人:郑州云海信息技术有限公司,
类型:发明
国别省市:河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。