一种分布式文件系统数据重构的方法、系统、设备和介质技术方案

本发明专利技术提出了一种分布式文件系统数据重构的方法、系统、设备和介质，该方法包括为存储池设置数据重构等级，并在数据对象需要重构时记录数据对象所在的存储池；在放置组中的数据恢复优先级不是停止数据恢复的前提下，获取最高优先级存储池，当前运行存储池的优先级不小于最高优先级存储池的级别时，进行资源预约；预约到资源之后，在放置组中数据重构优先级不小于存储池中数据优先级前提下，进行数据重构。基于该方法，还提出了一种分布式文件系统数据重构的系统、设备和存储介质。本发明专利技术存储池能够按照优先级等级顺序进行数据重构，用户可以根据需求给存储池设置重构优先级，优先级高的存储池先进行数据重构，实现对数据重构的精细化控制。精细化控制。精细化控制。

【技术实现步骤摘要】
一种分布式文件系统数据重构的方法、系统、设备和介质


[0001]本专利技术属于分布式文件存储
，特别涉及一种分布式文件系统数据重构的方法、系统、设备和介质。

技术介绍

[0002]分布式文件系统按照数据中心
‑
机架
‑
主机
‑
磁盘层级化描述存储设备。文件数据被拆分打散为存储对象，通过CRUSH算法映射到不同磁盘上存储起来。其中，CRUSH：(Controlled,Scalable，Decentralized Placement of Replicated Data，可控的、可扩展的、分布式的副本数据放置算法)。每个磁盘通过一个OSD服务管理，实现了数据读写、数据恢复等功能。其中，OSD：(Object
‑
based Storage Device，对象存储设备)。文件系统对所有资源进行池化管理，每个存储池有不同的副本策略、故障域、校验策略等数据管理策略。为了实现存储池之间的策略隔离，上层数据不是直接映射到磁盘，而是引进了PG实现两级映射。其中，PG(Placement Group，放置组，是用于放置对象的一个载体)。数据对象先通过伪随机哈希函数映射到PG，实现第一级映射；PG通过伪随机哈希函数映射到OSD，得到一个OSD成员列表，包括一个主OSD和其余的副OSD。
[0003]当集群的存储设备发生故障时，如磁盘发生损坏或者主机断电，网卡故障等导致一个或者多个OSD不可用，PG映射的OSD成员会发生变化，需要通过数据恢复将数据写入到新加入的OSD。或者故障的OSD重新加入集群，磁盘上数据的版本已经落后于其他磁盘上的副本，也需要数据恢复将数据更新到最新。数据恢复以PG为单位进行，每个PG的成员OSD上都有一个PG实例，主OSD上的PG称为主PG，副OSD上的PG称为副PG。主PG控制数据恢复的流程。PG通过状态机来管理不同的状态。现有技术中给存储池设置数据恢复优先级，但是优先级只会影响数据重构的速度。优先级越高，单位时间内能够数据重构的数据量越大。如果存在若干个存储池共用存储资源，则存储池无法根据优先级大小决定数据重构的先后顺序。

技术实现思路

[0004]为了解决上述技术问题，本专利技术提出了一种分布式文件系统数据重构的方法、系统、设备和介质，可以使分布式文件系统存储池根据优先级高低顺序进行数据重构，实现对数据重构的精细化控制。
[0005]为实现上述目的，本专利技术采用以下技术方案：
[0006]一种分布式文件系统数据重构的方法，包括以下步骤：
[0007]为存储池设置数据重构等级，并在数据对象需要重构时记录数据对象所在的存储池；
[0008]在放置组中的数据恢复优先级不是停止数据恢复的前提下，获取最高优先级存储池，当前运行存储池的优先级不小于最高优先级存储池的级别时，进行资源预约；
[0009]预约到资源之后，在放置组中数据重构优先级不小于存储池中数据优先级前提下，进行数据重构。
[0010]进一步的，所述方法还包括：在放置组在进行资源预约之前，如果放置组中的数据恢复优先级为停止数据恢复，或者放置组中的数据恢复优先级不是停止数据恢复，但是当前运行存储池的优先级小于最高优先级存储池的级别时，则均不进行资源预约进入临时状态。
[0011]进一步的，所述方法还包括：预约到资源之后，如果检查到放置组中数据重构优先级小于存储池中数据优先级或者放置组中数据重构优先级为停止数据重构，则均停止数据重构进入临时状态。
[0012]进一步的，所述为存储池设置数据重构等级的方法为：
[0013]通过命令行或者界面为存储池设置数据重构等级；所述数据重构等级包括复优先、自适应、读写优先、停止数据恢复。
[0014]进一步的，所述并在数据对象需要重构时记录数据对象所在的存储池包括：
[0015]在放置组状态机进入工作状态时，如果需要根据放置组日志差异进行数据重构或者需要根据对象的全量扫描结果进行数据重构，则记录数据对象所在的存储池。
[0016]进一步的，在存储池的所有放置组均完成数据重构后，从所述记录数据对象所在的存储池中删除。
[0017]本专利技术还提出了一种分布式文件系统数据重构的系统，包括设置模块、资源预约模块和数据重构模块；
[0018]所述设置模块用于为存储池设置数据重构等级，并在数据对象需要重构时记录数据对象所在的存储池；
[0019]所述资源预约模块用于在放置组中的数据恢复优先级不是停止数据恢复的前提下，获取最高优先级存储池，当前运行存储池的优先级不小于最高优先级存储池的级别时，进行资源预约；
[0020]所述数据重构模块用于预约到资源之后，在放置组中数据重构优先级不小于存储池中数据优先级前提下，进行数据重构。
[0021]进一步的，所述系统还包括删除模块；
[0022]所述删除模块用于在存储池的所有放置组均完成数据重构后，从所述记录数据对象所在的存储池中删除。
[0023]本专利技术还提出了一种设备，包括：
[0024]存储器，用于存储计算机程序；
[0025]处理器，用于执行所述计算机程序时实现所述的方法步骤。
[0026]本专利技术还提出了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述的方法步骤。
[0027]
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
[0028]本专利技术提出了一种分布式文件系统数据重构的方法、系统、设备和介质，该方法包括为存储池设置数据重构等级，并在数据对象需要重构时记录数据对象所在的存储池；在放置组中的数据恢复优先级不是停止数据恢复的前提下，获取最高优先级存储池，当前运行存储池的优先级不小于最高优先级存储池的级别时，进行资源预约；预约到资源之后，在放置组中数据重构优先级不小于存储池中数据优先级前提下，进行数据重构。基于一种分
布式文件系统数据重构的方法，还提出了一种分布式文件系统数据重构的系统、设备和存储介质。本专利技术中如果低优先级的存储池先开始数据重构，高优先级的存储池后开始重构，则可以停止低优先级的存储池数据重构，立即开始高优先级存储池的数据重构。高优先级的存储池数据重构结束后，低优先级的存储池可以开始重构。如果数据重构过程中修改了存储池的优先级，可以根据修改后的优先级立即决定数据重构的顺序。如果设置数据重构优先级为停止数据恢复，则存储池不进行数据重构，正在进行数据重构的存储池设置为停止数据恢复后则立即停止数据重构。本专利技术存储池能够按照优先级等级顺序进行数据重构。用户可以根据需求给存储池设置重构优先级，优先级高的存储池先进行数据重构，实现对数据重构的精细化控制。
附图说明
[0029]如图1为本专利技术实施例1一种分布式文件系统数据重构的方法流程图；
[0030]如图2为本专利技术实施例2一种分布式文件系统数据重构的系统示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式文件系统数据重构的方法，其特征在于，包括以下步骤：为存储池设置数据重构等级，并在数据对象需要重构时记录数据对象所在的存储池；在放置组中的数据恢复优先级不是停止数据恢复的前提下，获取最高优先级存储池，当前运行存储池的优先级不小于最高优先级存储池的级别时，进行资源预约；预约到资源之后，在放置组中数据重构优先级不小于存储池中数据优先级前提下，进行数据重构。2.根据权利要求1所述的一种分布式文件系统数据重构的方法，其特征在于，所述方法还包括：在放置组在进行资源预约之前，如果放置组中的数据恢复优先级为停止数据恢复，或者放置组中的数据恢复优先级不是停止数据恢复，但是当前运行存储池的优先级小于最高优先级存储池的级别时，则均不进行资源预约进入临时状态。3.根据权利要求1所述的一种分布式文件系统数据重构的方法，其特征在于，所述方法还包括：预约到资源之后，如果检查到放置组中数据重构优先级小于存储池中数据优先级或者放置组中数据重构优先级为停止数据重构，则均停止数据重构进入临时状态。4.根据权利要求1所述的一种分布式文件系统数据重构的方法，其特征在于，所述为存储池设置数据重构等级的方法为：通过命令行或者界面为存储池设置数据重构等级；所述数据重构等级包括复优先、自适应、读写优先、停止数据恢复。5.根据权利要求1所述的一种分布式文件系统数据重构的方法，其特征在于，所述并在数据对象需要重构时记录数据对象所在的存储池包括：在放置组...

【专利技术属性】
技术研发人员：刘鑫，王庆海，孟祥瑞，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：