分布式存储的动态子树优化方法、系统、终端及存储介质技术方案

本发明专利技术提供一种分布式存储的动态子树优化方法、系统、终端及存储介质，包括：监控元数据服务进程热度，并将热度超过预设热度阈值的元数据服务进程作为待均衡进程；获取待均衡进程的热点目录的缓存数据量，若缓存数据量超过预设数据阈值则查找热点目录下的子热点目录作为均衡目录；获取均衡目录的目录数量和预先选定的目标元数据服务进程的单次接受目录数量阈值，根据目标元数据服务进程的单次接受目录数量阈值分批次向目标元数据服务进程导入均衡目录。本发明专利技术优化了动态子树过程，降低动态子树导致的存储业务波动，提升了分布式文件存储系统的业务流畅程度和可用性。存储系统的业务流畅程度和可用性。存储系统的业务流畅程度和可用性。

【技术实现步骤摘要】
分布式存储的动态子树优化方法、系统、终端及存储介质


[0001]本专利技术属于分布式文件存储系统
，具体涉及一种分布式存储的动态子树优化方法、系统、终端及存储介质。

技术介绍

[0002]分布式文件存储系统(Distributed File System，DFS)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为一台计算机)相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。DFS为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构，从而使用户访问分布在网络上的共享文件更加简便。单独的DFS共享文件夹的作用是相对于通过网络上的其他共享文件夹的访问点。元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data about data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在分布式存储架构中，为了提高系统性能，更有效地管理元数据和文件数据，通常把元数据的处理和文件数据的访问分开。由元数据服务进程(MDS)管理文件系统命名空间和文件各种属性，并负责与客户端交互，提高文件访问权限和文件存储位置等信息，同时由存储服务器负责存储文件，并直接处理客户端对文件数据的各种读写请求。
[0003]在大型分布式文件存储系统中，为了扩展元数据性能可以配置多个活跃的元数据服务进程(MDS)，它们会共同承担元数据负载。当前发挥MDS集群性能的方式有三种：静态子树分区、目录负载平衡和动态子树。其中，静态子树分区需要人工干预，手动将目录导出至不同MDS，进行压力负载；目录负载平衡功能将指定层级目录进行均分至所有MDS，需要事先知道用户的目录结构以及应用特性；动态负载均衡功能即动态子树功能，根据目录热度进行子树划分，实现元数据负载均衡。静态子树分区和目录负载平衡，很难通过一次部署来满足客户所有时间节点的需求。动态子树可以大幅提升系统对不同业务负载的自动适应能力，简化部署，简化现网局点使用。
[0004]动态子树方案是基于热度进行负载均衡。每隔一段时间，MDS会向其它MDS广播消息收集所有MDS的热度。根据收集到的MDS的热度，计算出一个热度的平均值，热度高的MDS根据热度差，找到符合条件的目录，然后导出给热度低的MDS。然而在实际使用过程中，发现动态子树引发的目录导出会导致业务的波动，甚至断流。

技术实现思路

[0005]针对现有技术的上述不足，本专利技术提供一种分布式存储的动态子树优化方法、系统、终端及存储介质，以解决上述技术问题。
[0006]第一方面，本专利技术提供一种分布式存储的动态子树优化方法，包括：
[0007]监控元数据服务进程热度，并将热度超过预设热度阈值的元数据服务进程作为待均衡进程；
[0008]获取待均衡进程的热点目录的缓存数据量，若缓存数据量超过预设数据阈值则查找热点目录下的子热点目录作为均衡目录；
[0009]获取均衡目录的目录数量和预先选定的目标元数据服务进程的单次接受目录数量阈值，根据目标元数据服务进程的单次接受目录数量阈值分批次向目标元数据服务进程导入均衡目录。
[0010]进一步的，获取待均衡进程的热点目录的缓存数据量，若缓存数据量超过预设数据阈值则查找热点目录下的子热点目录作为均衡目录，包括：
[0011]通过在利用dir命令中增设缓存计数项，记录各目录的缓存数据量；
[0012]利用dir命令查询待均衡进程的初次选定的热点目录的缓存数据量，并判断所述缓存数据量是否超过预设数据阈值：
[0013]若是，则从所述热点目录的下级目录中查找均衡目录；
[0014]若否，则将所述热点目录作为均衡目录。
[0015]利用dir命令对待导出目录进行缓存数据量校验，能够有效避免大目录在导出时，大量缓存数据打包，打包过程耗时长，导致存储业务断流的问题。通过限制大目录导出，限制导出目录的缓存数据量，令存储业务正常运行，提高分布式文件存储系统的使用效果。
[0016]进一步的，通过在利用dir命令中增设缓存计数字段，记录各目录的缓存数据量，包括：
[0017]dir命令对目录项修改后同步对缓存计数项中的缓存数据量进行更新。
[0018]通过增设缓存计数项能够实时记录目录的缓存数据量，在后续需要获取目录的缓存数据量时，直接从缓存计数项读取数值即可，无需再计算目录的缓存数据量，大大简化了处理逻辑，提高了动态子树执行效率。
[0019]进一步的，获取均衡目录的目录数量和预先选定的目标元数据服务进程的单次接受目录数量阈值，根据目标元数据服务进程的单次接受目录数量阈值分批次向目标元数据服务进程导入均衡目录，包括：
[0020]从热度低于平均热度值的元数据服务进程中随机选取初始目标元数据服务进程；
[0021]预先设置元数据服务进程的单次接受目录数量阈值；
[0022]若均衡目录数量的目录数量未超过所述单次接受目录数量阈值，则将均衡目录导入初始目标元数据服务进程；
[0023]若均衡目录数量的目录数量超过所述单次接受目录数量阈值，则重新选择多个目标元数据服务进程，并依次向多个目标元数据服务进程分批导入均衡目录的部分目录，且向目标元数据服务进程导入目录的数量与目标元数据服务进程的单次接受目录数量阈值相等。
[0024]每次目录导出操作，导出MDS和导入MDS中存在约十个左右的消息交互。当同一时刻产生大量的目录导出操作时，大量的导入导出处理消息，会阻塞前端业务的处理，同样导致业务的波动。通过设置MDS可接受的目录数量阈值，避免MDS接受过多目录数量影响MDS的存储业务。
[0025]第二方面，本专利技术提供一种分布式存储的动态子树优化系统，包括：
[0026]热度监控单元，用于监控元数据服务进程热度，并将热度超过预设热度阈值的元数据服务进程作为待均衡进程；
[0027]缓存校验单元，用于获取待均衡进程的热点目录的缓存数据量，若缓存数据量超过预设数据阈值则查找热点目录下的子热点目录作为均衡目录；
[0028]目录校验单元，用于获取均衡目录的目录数量和预先选定的目标元数据服务进程的单次接受目录数量阈值，根据目标元数据服务进程的单次接受目录数量阈值分批次向目标元数据服务进程导入均衡目录。
[0029]进一步的，所述缓存校验单元包括：
[0030]缓存记录模块，用于通过在利用dir命令中增设缓存计数项，记录各目录的缓存数据量；
[0031]缓存判断模块，用于利用dir命令查询待均衡进程的初次选定的热点目录的缓存数据量，并判断所述缓存数据量是否超过预设数据阈值；
[0032]下级查找模块，用于若所述缓存数据量超过预设数据阈值，则从所述热点目录的下级目录中查找均衡目录；
[0033]目录确定模块，用于若所述缓存数据量未超过预设数据阈值，则将所述热点目录作为均衡目录。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储的动态子树优化方法，其特征在于，包括：监控元数据服务进程热度，并将热度超过预设热度阈值的元数据服务进程作为待均衡进程；获取待均衡进程的热点目录的缓存数据量，若缓存数据量超过预设数据阈值则查找热点目录下的子热点目录作为均衡目录；获取均衡目录的目录数量和预先选定的目标元数据服务进程的单次接受目录数量阈值，根据目标元数据服务进程的单次接受目录数量阈值分批次向目标元数据服务进程导入均衡目录。2.根据权利要求1所述的方法，其特征在于，获取待均衡进程的热点目录的缓存数据量，若缓存数据量超过预设数据阈值则查找热点目录下的子热点目录作为均衡目录，包括：通过在利用dir命令中增设缓存计数项，记录各目录的缓存数据量；利用dir命令查询待均衡进程的初次选定的热点目录的缓存数据量，并判断所述缓存数据量是否超过预设数据阈值：若是，则从所述热点目录的下级目录中查找均衡目录；若否，则将所述热点目录作为均衡目录。3.根据权利要求2所述的方法，其特征在于，通过在利用dir命令中增设缓存计数字段，记录各目录的缓存数据量，包括：dir命令对目录项修改后同步对缓存计数项中的缓存数据量进行更新。4.根据权利要求1所述的方法，其特征在于，获取均衡目录的目录数量和预先选定的目标元数据服务进程的单次接受目录数量阈值，根据目标元数据服务进程的单次接受目录数量阈值分批次向目标元数据服务进程导入均衡目录，包括：从热度低于平均热度值的元数据服务进程中随机选取初始目标元数据服务进程；预先设置元数据服务进程的单次接受目录数量阈值；若均衡目录数量的目录数量未超过所述单次接受目录数量阈值，则将均衡目录导入初始目标元数据服务进程；若均衡目录数量的目录数量超过所述单次接受目录数量阈值，则重新选择多个目标元数据服务进程，并依次向多个目标元数据服务进程分批导入均衡目录的部分目录，且向目标元数据服务进程导入目录的数量与目标元数据服务进程的单次接受目录数量阈值相等。5.一种分布式存储的动态子树优化系统，其特征在于，包括：热度监控单元，用于监控元数据服务进程热度，并将热度超过预设热度阈值的元数据服务进程作为待均衡进程；缓存校验单...

【专利技术属性】
技术研发人员：解志阳，孟祥瑞，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：