一种元数据负载均衡方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种元数据负载均衡方法、装置、设备及可读存储介质，涉及分布式存储技术领域，包括：获取分布式文件存储集群中各元数据服务分别对应的元数据负载压力信息；根据各元数据负载压力信息确定元数据迁移时刻、待元数据迁移的各目标元数据服务及各目标元数据服务之间的待迁移元数据数量；获取各目标元数据服务中各子树分区分别对应的迁移参数；根据各迁移参数确定导出子树分区和导入子树分区；当达到元数据迁移时刻时，将待迁移元数据数量的元数据从导出子树分区迁移至导入子树分区。本发明专利技术提升了对业务负载特征的辨识度，较大地降低了产生对元数据进行不必要、无效的迁移的概率，具有较好的元数据负载均衡特性。具有较好的元数据负载均衡特性。具有较好的元数据负载均衡特性。

【技术实现步骤摘要】
一种元数据负载均衡方法、装置、设备及可读存储介质


[0001]本专利技术涉及分布式存储
，特别是涉及一种元数据负载均衡方法、装置、设备及可读存储介质。

技术介绍

[0002]分布式文件存储系统已被广泛应用于大数据服务计算等许多关键领域，在分布式文件存储系统中，元数据与数据分开管理。这种解耦方式支持元数据和数据相互独立，采用不同的存储介质，例如，采用NvmeSSD（NVM Express Solid State Disk，非易失性内存主机控制器接口规范固态硬盘）存储元数据，使用HDD（Hard Disk Drive，机械硬盘）存储数据。在这种架构中，必须先获取元数据，然后再进行实际数据访问。最近的研究表明，许多文件系统工作负载是元数据密集型的，即超过60%的文件系统操作集中在元数据上。此外，绝大多数文件都很小，字节级占比较高，元数据请求压力不均衡，元数据密集访问是造成文件系统服务性能瓶颈重要原因，所有这些趋势使元数据负载均衡变得至关重要。
[0003]为了提高海量分布式文件系统元数据访问性能，扩展和提高分布式MDS（Metadata Server，元数据服务）集群的性能具有挑战性。该挑战主要是因为元数据包含文件系统结构信息，并且表现出更高程度的相互依赖性，当前技术下，通常采用动态子树分区的方法，将文件系统的目录分解为几个子目录，然后根据文件访问热度情况进行动态调整。动态调整是指在多个元数据服务之间进行迁移，该方法通过拆分以及分层命名空间方式在多个元数据服务之间分发子树来提高元数据扩展特性。然而，这种方法存在严重的不均衡问题，分布式元数据服务不平衡、预测不准确。究其原因，该方法对业务负载特征辨识度低，易产生对元数据进行不必要、无效的迁移，导致分布式文件系统性能不佳。
[0004]综上所述，如何有效地解决现有的元数据负载均衡方法对业务负载特征辨识度低，易产生对元数据进行不必要、无效的迁移，导致分布式文件系统性能不佳等问题，是目前本领域技术人员急需解决的问题。

技术实现思路

[0005]本专利技术的目的是提供一种元数据负载均衡方法，该方法提升了对业务负载特征的辨识度，较大地降低了产生对元数据进行不必要、无效的迁移的概率，具有较好的元数据负载均衡特性，提升了分布式存储系统的稳定性；本专利技术的另一目的是提供一种元数据负载均衡装置、设备及计算机可读存储介质。
[0006]为解决上述技术问题，本专利技术提供如下技术方案：一种元数据负载均衡方法，包括：获取分布式文件存储集群中各元数据服务分别对应的元数据负载压力信息；根据各所述元数据负载压力信息确定元数据迁移时刻、待元数据迁移的各目标元数据服务及各所述目标元数据服务之间的待迁移元数据数量；获取各所述目标元数据服务中各子树分区分别对应的迁移参数；
根据各所述迁移参数确定导出子树分区和导入子树分区；当达到所述元数据迁移时刻时，将所述待迁移元数据数量的元数据从所述导出子树分区迁移至所述导入子树分区。
[0007]在本专利技术的一种具体实施方式中，获取分布式文件存储集群中各元数据服务分别对应的元数据负载压力信息，包括：通过部署于所述分布式文件存储集群中各所述元数据服务的负载监视器获取各所述元数据服务分别对应的元数据负载压力信息。
[0008]在本专利技术的一种具体实施方式中，根据各所述元数据负载压力信息确定元数据迁移时刻、待元数据迁移的各目标元数据服务及各所述目标元数据服务之间的待迁移元数据数量，包括：通过设置于预选元数据服务的元数据迁移启动程序，根据各所述元数据负载压力信息确定所述元数据迁移时刻、待元数据迁移的各所述目标元数据服务及各所述目标元数据服务之间的待迁移元数据数量。
[0009]在本专利技术的一种具体实施方式中，获取各所述目标元数据服务中各子树分区分别对应的迁移参数，包括：通过部署于各所述元数据服务的负载分析组件获取各所述目标元数据服务中各子树分区分别对应的迁移参数；根据各所述迁移参数确定导出子树分区和导入子树分区，包括：通过部署于各所述元数据服务的子树选择组件根据各所述迁移参数确定所述导出子树分区和所述导入子树分区。
[0010]在本专利技术的一种具体实施方式中，通过部署于各所述元数据服务的负载分析组件获取各所述目标元数据服务中各子树分区分别对应的迁移参数，包括：通过部署于各所述元数据服务的负载分析组件获取各所述目标元数据服务中各子树分区分别对应的迁移参数和所述分布式文件存储集群的工作负载I/O 模式；通过部署于各所述元数据服务的子树选择组件根据各所述迁移参数确定所述导出子树分区和所述导入子树分区，包括：当确定所述工作负载I/O模式为元数据密集型IO时，通过部署于各所述元数据服务的子树选择组件根据各所述迁移参数确定所述导出子树分区和所述导入子树分区。
[0011]在本专利技术的一种具体实施方式中，通过部署于各所述元数据服务的负载分析组件获取各所述目标元数据服务中各子树分区分别对应的迁移参数，包括：通过部署于各所述元数据服务的负载分析组件统计各所述子树分区分别对应的历史工作负载；根据各所述历史工作负载确定各所述子树分区的元数据访问差异；根据所述元数据访问差异确定各子树分区分别对应的迁移参数。
[0012]在本专利技术的一种具体实施方式中，根据所述元数据访问差异确定各子树分区分别对应的迁移参数，包括：获取预设的元数据最大吞吐量；当确定存在大于所述元数据最大吞吐量的历史工作负载时，根据所述元数据访问差异确定各所述子树分区分别对应的迁移参数。
[0013]在本专利技术的一种具体实施方式中，在根据各所述迁移参数确定导出子树分区和导入子树分区之后，还包括：当分别在各所述元数据服务中维护的历史元数据访问请求表中存在体现空间局部性的历史元数据访问请求表时，从与所述导出子树分区同级的子树分区中选取目标子树分区；将所述目标子树分区的迁移参数增加预设值。
[0014]在本专利技术的一种具体实施方式中，获取分布式文件存储集群中各元数据服务分别对应的元数据负载压力信息，包括：获取所述分布式文件存储集群中各所述元数据服务分别对应的单位时长内处理的元数据请求数；根据各所述元数据服务分别对应的单位时长内处理的元数据请求数确定各所述元数据服务分别对应的元数据负载压力信息。
[0015]在本专利技术的一种具体实施方式中，根据各所述元数据服务分别对应的单位时长内处理的元数据请求数确定各所述元数据服务分别对应的元数据负载压力信息，包括：根据预设时长内统计的各所述元数据服务分别对应的单位时长内处理的元数据请求数确定各所述元数据服务分别对应的元数据负载压力信息。
[0016]在本专利技术的一种具体实施方式中，根据各所述元数据负载压力信息确定元数据迁移时刻、待元数据迁移的各目标元数据服务及各所述目标元数据服务之间的待迁移元数据数量，包括：根据各所述元数据负载压力信息确定各所述元数据服务分别对应的元数据负载均衡值；根据各所述元数据负载均衡值确定元数据迁移时刻、待元数据迁移的各目标元数据服务及各所述目标元数据服务之间的待迁移元数据数量。
[0017]在本专利技术的一种具体实施方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据负载均衡方法，其特征在于，包括：获取分布式文件存储集群中各元数据服务分别对应的元数据负载压力信息；根据各所述元数据负载压力信息确定元数据迁移时刻、待元数据迁移的各目标元数据服务及各所述目标元数据服务之间的待迁移元数据数量；获取各所述目标元数据服务中各子树分区分别对应的迁移参数；根据各所述迁移参数确定导出子树分区和导入子树分区；当达到所述元数据迁移时刻时，将所述待迁移元数据数量的元数据从所述导出子树分区迁移至所述导入子树分区。2.根据权利要求1所述的元数据负载均衡方法，其特征在于，获取分布式文件存储集群中各元数据服务分别对应的元数据负载压力信息，包括：通过部署于所述分布式文件存储集群中各所述元数据服务的负载监视器获取各所述元数据服务分别对应的元数据负载压力信息。3.根据权利要求1所述的元数据负载均衡方法，其特征在于，根据各所述元数据负载压力信息确定元数据迁移时刻、待元数据迁移的各目标元数据服务及各所述目标元数据服务之间的待迁移元数据数量，包括：通过设置于预选元数据服务的元数据迁移启动程序，根据各所述元数据负载压力信息确定所述元数据迁移时刻、待元数据迁移的各所述目标元数据服务及各所述目标元数据服务之间的待迁移元数据数量。4.根据权利要求1至3任一项所述的元数据负载均衡方法，其特征在于，获取各所述目标元数据服务中各子树分区分别对应的迁移参数，包括：通过部署于各所述元数据服务的负载分析组件获取各所述目标元数据服务中各子树分区分别对应的迁移参数；根据各所述迁移参数确定导出子树分区和导入子树分区，包括：通过部署于各所述元数据服务的子树选择组件根据各所述迁移参数确定所述导出子树分区和所述导入子树分区。5.根据权利要求4所述的元数据负载均衡方法，其特征在于，通过部署于各所述元数据服务的负载分析组件获取各所述目标元数据服务中各子树分区分别对应的迁移参数，包括：通过部署于各所述元数据服务的负载分析组件获取各所述目标元数据服务中各子树分区分别对应的迁移参数和所述分布式文件存储集群的工作负载I/O 模式；通过部署于各所述元数据服务的子树选择组件根据各所述迁移参数确定所述导出子树分区和所述导入子树分区，包括：当确定所述工作负载I/O模式为元数据密集型IO时，通过部署于各所述元数据服务的子树选择组件根据各所述迁移参数确定所述导出子树分区和所述导入子树分区。6.根据权利要求4所述的元数据负载均衡方法，其特征在于，通过部署于各所述元数据服务的负载分析组件获取各所述目标元数据服务中各子树分区分别对应的迁移参数，包括：通过部署于各所述元数据服务的负载分析组件统计各所述子树分区分别对应的历史工作负载；
根据各所述历史工作负载确定各所述子树分区的元数据访问差异；根据所述元数据访问差异确定各子树分区分别对应的迁移参数。7.根据权利要求6所述的元数据负载均衡方法，其特征在于，根据所述元数据访问差异确定各子树分区分别对应的迁移参数，包括：获取预设的元数据最大吞吐量；当确定存在大于所述元数据最大吞吐量的历史工作负载时，根据所述元数据访问差异确定各所述子树分区分别对应的迁移参数。8.根据权利要求6所述的元数据负载均衡方法，其特征在于，在根据各所述迁移参数确定导出子树分区和导入子树分区之后，还包括：当分别在各所述元数据服务中维护的历史元数据访问请求表中存在体现空间局部性的历史元数据访问请求表时，从与所述导出子树分区同级的子树分区中选取目标子树分区；将所述目标子树分区的迁移参数增加预设值。9.根据权利要求1所述的元数据负载均衡方法，其特征在于，获取分布式文件存储集群中各元数据服务分别对应的元数据负载压力信息，包括：获取所述分布式文件存储集群中各所述元数据服务分别对应的单位时长内处理的元数据请求数；根据各所述元数据服务分别对应的单位时长内处理的元数据请求数确定各所述元数据服务分别对应的元数据负载压力信息。10.根据权利要求9所述的元数据负载均衡方法，其特征在于，根据各所述元数据服务分别对应的单位时长内处理的元数据请求数确定各所述元数据服务分别对应的元数据负载压力信息，包括：根据预设时长内统计的各所述元数据服务分别对应的...

【专利技术属性】
技术研发人员：臧林劼，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：