【技术实现步骤摘要】
本专利技术涉及文件系统qos限制，尤其涉及为一种分布式租户侧监控的qos方法。
技术介绍
1、在大数据时代，数据已经成为了一种重要的资源，而且随着互联网、云计算、ai技术的发展，数据的产生和使用量也在不断增加，因此，如何有效地管理这些数据的读写和使用，成为了企业面临的重要问题，分布式存储以其高性能，高并发，大容量，可扩展等优势得到了广泛的应用和发展，天翼云的oceanfs分布式文件系统支持多种协议，多平台访问，同时具备文件备份保障数据的可靠性和安全性，可满足各产业不同业务的存储需求，对文件系统设置合理的qos限制，不仅保障了基本服务的带宽与iops，还能合理分配存储资源，有效缓解业务压力，控制应用服务对资源的抢占，实现流量监控，为重要服务提供了质量保障，可见，qos限制对于分布式存储来说是一项必不可少的关键技术，oceanfs在存储侧实现qos的传统方案还存在以下问题：
2、1、海量型文件系统oceanfs存在多租户共同使用一个文件系统的场景，其租户侧的qos限制场景更为复杂，传统方法在面临多租户请求挂载时，无法合理分配流量来保证各租户侧的业务需求；
3、2、海量型文件系统其租户id，subvolume等信息在数据存储池data pool中是无感知的，传统方法通常在存储侧osd上来实现qos，难以直接对多个租户的请求进行读写流量限制。
技术实现思路
1、针对现有技术存在的不足，本专利技术目的是提供一种分布式租户侧监控的qos方法，对分布式海量型文件系统在租户
2、为了实现上述目的，本专利技术是通过如下的技术方案来实现：一种分布式租户侧监控的qos方法，所述租户侧qos方法包括如下步骤；
3、步骤s1、在mds上对创建的海量型文件系统oceanfs设置qos；
4、步骤s2、对租户侧请求的标签值进行处理，进入调度队列；
5、步骤s3、响应每个租户侧请求；
6、步骤s4、mds根据请求标签，分配给租户qos额度；
7、步骤s5、租户侧收到mds的响应后，在租户侧完成对读写iops和带宽的限制。
8、进一步地，所述步骤s1中还包括：租户侧qos管理流程：
9、流程a1、对创建的海量型文件系统oceanfs设置qos，包含4个指标：读带宽(bps_r)、写带宽(bps_w)、读iops(iops_r)、写iops(iops_w)，通过subvolume来指定所要限制的文件系统；
10、流程a2、处理客户端的请求，当租户侧请求挂载subvolume时，mds将会把初始分配的qos返回给租户侧，对于分布式文件系统请求在多个服务端上执行的场景，为解决多客户的挂载请求，此处采用基于机器学习训练的缓存淘汰模型来进行处理；
11、流程a3、当请求到来时，需要给每个请求设置标签，标签包括三种：reservation标签、proportional标签(也叫weight标签)、limit标签，mds将根据客户端请求的三个标签，结合文件系统设置的总qos计算出需要给该请求分配的存储资源，读写流量。
12、进一步地，所述流程a3还包括：三个标签计算的公式，三个标签计算的公式为：
13、
14、
15、
16、其中，delta表示server1两次收到请求之间，这个租户向其他server发送的请求数。
17、进一步地，所述步骤s2中还包括：租户侧请求入队流程：
18、流程b1、mds收到租户侧的request时，判断该request所在租户是不是新接入或长时间没有访问的；
19、流程b2、空闲一段时间的，需要对已有的没有处理请求的ptag进行调整；
20、流程b3、根据公式计算当前request的ptag，ltag，rtag；
21、流程b4、将resquest放到pheap,lheap,rheap中，等待调度。
22、进一步地，所述流程b2还包括：让所有请求的ptag在同一个起点上进行处理：
23、遍历所有的request，找到minptag
24、调整所有request的ptag:ptag-＝(minptag-t)。
25、进一步地，所述步骤s3中还包括：响应出队流程：
26、流程c1、mds调度request时，先进入基于reservation的调度阶段；
27、流程c2、当request的rtag<t，被调度，若不能满足该条件，说明reservation的条件已经满足了，所有租户端都达到了自己的reservation设置，进入流程c3步骤；
28、流程c3、进入基于limit和weight的调度策略，遍历l_heap找到所有ltag<now的request，设置resquest的ready状态为true，并对pheap进行调整(ready状态变化了，需要重新调整)；
29、流程c4、从pheap中获取ptag最小的readyrequest进行调整；
30、流程c5、通过weight的调度策略调度的request，需要对所有剩余的request的rtag进行调整：
31、rtag＝rtag-1/rate；
32、流程c6、当request不满足ltag<t的需求，延迟t–ltag的时间再进行调度。
33、进一步地，所述流程c1还包括：优先满足reservation设置，从rheap中取得rtag最小的request。
34、进一步地，所述步骤s4中还包括mds将基于缓存淘汰模型计算出租户侧的request请求的结果，并将结果返回给租户侧对应的租户。
35、进一步地，所述步骤s4中还包括租户收到服务端mds响应后，再来对数据池读写流量进行限制。
36、进一步地，所述步骤s5中还包括租户侧完成对iops和带宽限制后，向数据池datapool读写数据。
37、本专利技术的有益效果：
38、1、对创建的oceanfs设置qos规则时，只需在mds上指定client_id和subvolume来完成，不需要到数据存储池osd上来设置，避免osd无法区分client是来自哪个租户，无法聚合租户下所有的client的情况，可有效处理多客户端的请求的场景；
39、2、相比于传统在存储侧osd上实现的qos，该方法利用租户侧与mds的本文档来自技高网...
【技术保护点】
1.一种分布式租户侧监控的QOS方法，其特征在于：所述租户侧QOS方法包括如下步骤；
2.根据权利要求1所述的一种分布式租户侧监控的QOS方法，其特征在于：所述步骤S1中还包括：租户侧QOS管理流程：
3.根据权利要求2所述的一种分布式租户侧监控的QOS方法，其特征在于：所述流程A3还包括：三个标签计算的公式，三个标签计算的公式为：
4.根据权利要求3所述的一种分布式租户侧监控的QOS方法，其特征在于：所述步骤S2中还包括：租户侧请求入队流程：
5.根据权利要求4所述的一种分布式租户侧监控的QOS方法，其特征在于：所述流程B2还包括：让所有请求的Ptag在同一个起点上进行处理：
6.根据权利要求5所述的一种分布式租户侧监控的QOS方法，其特征在于：所述步骤S3中还包括：响应出队流程：
7.根据权利要求6所述的一种分布式租户侧监控的QOS方法，其特征在于：所述流程C1还包括：优先满足Reservation设置，从Rheap中取得Rtag最小的request。
8.根据权利要求7所述的一种分布式租户侧
9.根据权利要求8所述的一种分布式租户侧监控的QOS方法，其特征在于：所述步骤S4中还包括租户收到服务端MDS响应后，再来对数据池读写流量进行限制。
10.根据权利要求9所述的一种分布式租户侧监控的QOS方法，其特征在于：所述步骤S5中还包括租户侧完成对IOPS和带宽限制后，向数据池Datapool读写数据。
...【技术特征摘要】
1.一种分布式租户侧监控的qos方法，其特征在于：所述租户侧qos方法包括如下步骤；
2.根据权利要求1所述的一种分布式租户侧监控的qos方法，其特征在于：所述步骤s1中还包括：租户侧qos管理流程：
3.根据权利要求2所述的一种分布式租户侧监控的qos方法，其特征在于：所述流程a3还包括：三个标签计算的公式，三个标签计算的公式为：
4.根据权利要求3所述的一种分布式租户侧监控的qos方法，其特征在于：所述步骤s2中还包括：租户侧请求入队流程：
5.根据权利要求4所述的一种分布式租户侧监控的qos方法，其特征在于：所述流程b2还包括：让所有请求的ptag在同一个起点上进行处理：
6.根据权利要求5所述的一种分布式租户侧监控的qos方法，其特征在于：所述步骤s3中还包括：...
【专利技术属性】
技术研发人员：黄俊尧，皇甫利刚，马兴耀，樊晓光，李想，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。