一种分布式文件系统中QoS目录流量控制方法和控制装置制造方法及图纸

本发明专利技术公开了一种分布式文件系统中QoS目录流量控制方法和控制装置，所述方法包括：接收接入节点上报的反馈消息，反馈消息中包括接入节点对目标QoS目录进行读写的读写信息；基于反馈消息，在目标QoS目录的反馈消息映射表中更新接入节点的映射条目，映射条目用于表征接入节点的节点标识与读写信息之间的映射关系；根据反馈消息映射表中的各个映射条目，为目标QoS目录对应的各个接入节点生成QoS配置信息，并将生成的QoS配置信息下发至对应的接入节点处以分配所述目标QoS目录的流量至各个接入节点。本发明专利技术提供的技术方案，能够提高流量分配的效率。量分配的效率。量分配的效率。

【技术实现步骤摘要】
一种分布式文件系统中QoS目录流量控制方法和控制装置


[0001]本专利技术涉及分布式文件系统领域，具体涉及一种分布式文件系统中QoS目录流量控制方法和控制装置。

技术介绍

[0002]在云场景，存在多个用户共享云资源的情况。而在云资源中，一个重要的分类是分布式文件存储资源。对于分布式文件存储资源，一般依据用户的购买情况分配目录级别的文件存储容量，而更重要的是分配不同的流量，包括带宽和每秒读写次数(IOPS，Input/Output Operations Per Second)。云场景下的分布式文件存储资源，支撑系统是分布式文件系统。一般地，管理员会在分布式文件系统中给不同的用户分配不同的目录。不同用户的目录不存在嵌套情况，在逻辑上相互隔离互不相通。而支撑文件存储资源的集群节点的磁盘空间、CPU资源以及集群节点之间的网络资源仍然是共享的。为了保证每个用户得到规划的服务质量，就需要提供服务质量(Quality of Service，QoS)功能，对用户使用的带宽和IOPS资源进行限制。
[0003]对于分布式文件存储，这种对带宽和IOPS的限制需要在目录级别实现。对于多个接入节点的分布式文件存储集群，需要均衡各个接入节点QoS目录下的读写流量。具体是对每个接入节点的QoS分配值(即接入节点的带宽和IOPS的具体分配数值)，按照接入节点的读写IO情况相应地进行调整，避免出现浪费QoS配置值(即QoS目录整体的带宽和IPOS上限)的情况，保证用户购买的带宽和IOPS资源得到充分利用。而现有的流量分配方法通常是基于令牌桶实现的，令牌桶是指网络设备的内部存储池，而令牌则是指以给定速率填充令牌桶的虚拟信息包。令牌桶可以看作是一个存放令牌的容器，预先设定一定的容量。系统按设定的速度向桶中放置令牌，当桶中令牌满时，多余的令牌溢出。当数据流到达设备时首先会根据数据的大小从令牌桶中取出与数据大小相当的令牌数量用来传输数据，即数据能够被传输必须保证令牌桶里有足够多的令牌。若令牌数量不够则数据会被丢弃或缓存，从而限制报文的流量只能小于等于令牌生成的速度，达到限制流量的目的。
[0004]但是令牌桶的方法依赖于分布式文件系统中的QoS中心节点，QoS中心节点在为QoS接入节点分配令牌时，如果设定缓存的令牌数目少，会导致QoS接入节点频繁申请令牌，使得系统对读写请求的处理影响很大；如果设定缓存的令牌过多，会导致QoS配置值需要发生变化时生效缓慢，也就无法及时调整分配值。因此目前亟需一种更加高效的QoS目录流量的控制方法。

技术实现思路

[0005]有鉴于此，本专利技术实施方式提供了一种分布式文件系统中QoS目录流量控制方法和控制装置，能够提高QoS目录流量的分配效率。
[0006]根据第一方面，本专利技术提供了一种分布式文件系统中QoS目录流量控制方法，所述方法应用于元数据服务节点中，所述方法包括：接收接入节点上报的反馈消息，所述反馈消
息中包括所述接入节点对目标QoS目录进行读写的读写信息；基于所述反馈消息，在所述目标QoS目录的反馈消息映射表中更新所述接入节点的映射条目，所述映射条目用于表征所述接入节点的节点标识与所述读写信息之间的映射关系；根据所述反馈消息映射表中的各个映射条目，为所述目标QoS目录对应的各个接入节点生成QoS配置信息，并将生成的所述QoS配置信息下发至对应的接入节点处，以分配所述目标QoS目录的流量至各个接入节点。
[0007]可选地，所述基于所述反馈消息，在所述目标QoS目录的反馈消息映射表中更新所述接入节点的映射条目，包括：若所述接入节点上报的反馈消息表征所述接入节点在预设数量周期内没有发生读写行为，将所述接入节点对应的映射条目从所述反馈消息映射表中移除；若所述接入节点上报的反馈消息表征所述接入节点第一次发生读写行为，基于所述反馈消息在所述反馈消息映射表中添加新的映射条目；其中，在每个周期结束时，统计各个映射条目对应的接入节点的流量累计值，并基于统计的所述流量累计值修改所述反馈消息映射表中的各个映射条目。
[0008]可选地，所述根据所述反馈消息映射表中的各个映射条目，为所述目标QoS目录对应的各个接入节点生成QoS配置信息，包括：若当前周期为初始周期或新节点加入的周期，则平均分配QoS配置值给各个映射条目对应的接入节点，并将分配后的结果作为各个所述接入节点对应的QoS配置信息；若所述当前周期不是初始周期或新节点加入的周期，则确定各个映射条目对应的接入节点的饱和状态；回收各个不饱和接入节点的多余分配量，并在各个饱和接入节点中重新分配所述多余分配量，以生成下一周期各个所述接入节点的QoS配置信息。
[0009]可选地，所述确定各个映射条目对应的接入节点的饱和状态，包括：基于所述流量累计值计算各个所述接入节点上一周期的流量值，得到多个第一流量值；对比所述第一流量值和上一周期QoS分配值，若所述第一流量值小于所述上一周期QoS分配值，判定所述接入节点为不饱和接入节点；若所述第一流量值等于所述上一周期QoS分配值，判定所述接入节点为饱和接入节点。
[0010]可选地，所述回收各个不饱和接入节点的多余分配量，并在各个饱和接入节点中重新分配所述多余分配量包括：计算分配增量，所述分配增量为全部不饱和接入节点的多余分配量之和与饱和接入节点的数量之间的比值；将所述饱和接入节点的上一周期QoS分配值与所述分配增量相加，生成各饱和接入节点在下一周期的新QoS分配值；将各不饱和接入节点的上一周期流量值作为各不饱和接入节点在下一周期的新QoS分配值。
[0011]可选地，所述确定各个映射条目对应的接入节点的饱和状态，回收各个不饱和接入节点的多余分配量并在各个饱和接入节点中重新分配所述多余分配量，包括：基于各接入节点在多个周期内流量累计值的变化趋势，对各接入节点下一周期的QoS分配值进行预测，得到多个流量预测值；根据所述流量预测值与上一周期QoS分配值的大小关系判定所述接入节点中的饱和接入节点和不饱和接入节点；计算各饱和接入节点的流量预测值占饱和接入节点总流量预测值的比例，得到拆分比例；基于所述拆分比例将全部多余分配量拆分为多个分配增量，并分配给对应的饱和接入节点，所述饱和接入节点在下一周期的QoS分配值为上一周期QoS分配值与所述分配增量的和；将所述不饱和接入节点的预测流量值作为所述不饱和接入节点在下一周期的QoS分配值。
[0012]可选地，所述根据所述流量预测值与上一周期QoS分配值的大小关系判定所述接
入节点中的饱和接入节点和不饱和接入节点，包括：对比所述接入节点的流量预测值和上一周期QoS分配值，若所述流量预测值小于所述上一周期QoS分配值，判定所述接入节点为不饱和接入节点；若所述流量预测值等于所述上一周期QoS分配值，判定所述接入节点为第一饱和接入节点；若所述流量预测值大于所述上一周期QoS分配值，判定所述接入节点为第二饱和接入节点；针对所述第一饱和接入节点，将其流量预测值按预设比例升高为第二流量预测值。
[0013]可选地，所述方法还包括：当QoS配置值下调时，按本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式文件系统中QoS目录流量控制方法，其特征在于，所述方法应用于元数据服务节点中，所述方法包括：接收接入节点上报的反馈消息，所述反馈消息中包括所述接入节点对目标QoS目录进行读写的读写信息；基于所述反馈消息，在所述目标QoS目录的反馈消息映射表中更新所述接入节点的映射条目，所述映射条目用于表征所述接入节点的节点标识与所述读写信息之间的映射关系；根据所述反馈消息映射表中的各个映射条目，为所述目标QoS目录对应的各个接入节点生成QoS配置信息，并将生成的所述QoS配置信息下发至对应的接入节点处，以分配所述目标QoS目录的流量至各个接入节点。2.根据权利要求1所述的方法，其特征在于，所述基于所述反馈消息，在所述目标QoS目录的反馈消息映射表中更新所述接入节点的映射条目，包括：若所述接入节点上报的反馈消息表征所述接入节点在预设数量周期内没有发生读写行为，将所述接入节点对应的映射条目从所述反馈消息映射表中移除；若所述接入节点上报的反馈消息表征所述接入节点第一次发生读写行为，基于所述反馈消息在所述反馈消息映射表中添加新的映射条目；其中，在每个周期结束时，统计各个映射条目对应的接入节点的流量累计值，并基于统计的所述流量累计值修改所述反馈消息映射表中的各个映射条目。3.根据权利要求2所述的方法，其特征在于，所述根据所述反馈消息映射表中的各个映射条目，为所述目标QoS目录对应的各个接入节点生成QoS配置信息，包括：若当前周期为初始周期或新节点加入的周期，则平均分配QoS配置值给各个映射条目对应的接入节点，并将分配后的结果作为各个所述接入节点对应的QoS配置信息；若所述当前周期不是初始周期或新节点加入的周期，则确定各个映射条目对应的接入节点的饱和状态；回收各个不饱和接入节点的多余分配量，并在各个饱和接入节点中重新分配所述多余分配量，以生成下一周期各个所述接入节点的QoS配置信息。4.根据权利要求3所述的方法，其特征在于，所述确定各个映射条目对应的接入节点的饱和状态，包括：基于所述流量累计值计算各个所述接入节点上一周期的流量值，得到多个第一流量值；对比所述第一流量值和上一周期QoS分配值，若所述第一流量值小于所述上一周期QoS分配值，判定所述接入节点为不饱和接入节点；若所述第一流量值等于所述上一周期QoS分配值，判定所述接入节点为饱和接入节点。5.根据权利要求4所述的方法，其特征在于，所述回收各个不饱和接入节点的多余分配量，并在各个饱和接入节点中重新分配所述多余分配量包括：计算分配增量，所述分配增量为全部不饱和接入节点的多余分配量之和与饱和接入节点的数量之间的比值；将所述饱和接入节点的上一周期QoS分配值与所述分配增量相加，生成各饱和接入节点在下一周期的QoS分配值；
将各不饱和接入节点的上一周期流量值作为各不饱和接入节点在下一周期的QoS分配值。6.根据权利要求3所述的方法，其特征在于，所述确定各个映射条目对应的接入节点的饱和状态，回收各个不饱...

【专利技术属性】
技术研发人员：张松，豆文明，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：