【技术实现步骤摘要】
本专利技术涉及分布式文件系统，特别涉及一种基于分布式文件系统的限流解决方法。
技术介绍
1、分布式文件系统通常由多个节点组成，这些节点共享有限的资源，例如网络带宽、磁盘i/o、内存等。当多个客户端同时请求大量数据时，可能会导致资源竞争，限流可以帮助平衡这种竞争，防止某个节点被过多的请求压垮。当文件系统收到过多的请求时，可能会导致系统过载。限流可以帮助控制请求的流量，避免系统不堪重负，导致响应时间增加、服务不稳定甚至崩溃。在分布式环境下，数据的一致性非常重要。如果请求过多，系统可能无法及时处理所有请求，这可能导致数据更新的延迟，进而影响数据一致性。通过限流，可以确保系统在承受能力范围内处理请求，保护数据的一致性。限流可以帮助防止恶意攻击，例如ddos攻击。攻击者可能发送大量的请求，试图消耗系统资源，通过限流可以减缓攻击的影响，提高系统的安全性。在高并发情况下，系统可能会因为资源耗尽或者请求处理不当而崩溃。通过限流，可以避免系统因为突然的大流量而崩溃，提高系统的稳定性。总的来说，限流在分布式文件系统中是一种重要的机制，可以帮助维持系统的稳定性、可靠性和性能，确保系统能够在合理的负载下正常运行。
2、传统的解决方案均有不足之处，例如：
3、1.令牌桶算法(token bucket algorithm)，原理：系统以恒定的速率往"令牌桶"中放入令牌，每个令牌代表一个请求的处理权力。当请求到来时，需要消耗一个令牌。如果桶中没有足够的令牌，则请求被拒绝或者等待。但是不能处理突发流量。
4、2.漏桶算法(l
5、3.基于队列的限流(queue-based throttling)，原理：使用队列缓冲请求，控制队列长度或者处理队列中的请求速率，从而控制系统的处理能力。但是需要合适的队列管理机制，过长的队列可能导致延迟。
6、4.基于滑动窗口的限流(sliding window algorithm)，维护一个固定大小的时间窗口，统计窗口内的请求数量，如果超过阈值则限流。但是实现相对较为复杂，需要维护时间窗口内的请求记录。
7、5.令牌桶加漏桶算法(token bucket with leaky bucket)，原理：结合了令牌桶和漏桶的特性，令牌桶用于限制平均速率，漏桶用于限制突发流量。但是需要精细调节参数以适应不同的流量模式。
技术实现思路
1、本专利技术要解决的技术问题是克服现有技术的缺陷，提供一种基于分布式文件系统的限流解决方法。
2、为了解决上述技术问题，本专利技术提供了如下的技术方案：
3、本专利技术一种基于分布式文件系统的限流解决方法，具体包括如下步骤：
4、a、对mds资源服务和oss资源服务进行限流；
5、b、以mds ops来进行资源访问限制，包括所有的操作类型；
6、c、以iops和bps两个维度进行资源限制。
7、作为本专利技术的一种优选技术方案，步骤c的实现方式为：
8、s1、对文件系统存在的任意一个目录设置read iops、write iops、read bps、write bps、total iops、total bps以及mops、total＝read+write、mops＝mds+ops，当对某个目录设置后，这些配额是整个集群的配额，也就是所有的client的总访问量。
9、s2、client通过mgr服务共享以及分配相关的配额，client定期上报自己过去这段时间的iops、bps、以及mops used，mgr根据client上报的数据，以及上一轮分配的资源和最近10s时间内client的平均数据，来对client进行分类，并计算分配下一轮每个client的配额。
10、作为本专利技术的一种优选技术方案，s2的实现方式为：
11、步骤1、根据share目录的配额和client个数计算平均值avg；
12、步骤2、统计not free的client个数以及free的client中token已经使用量used；
13、步骤3、用expect＝(total-used)/not_free，为第一阶段的预期值；
14、步骤4、统计busy的client个数以及令牌没有消耗完，但是消耗数量大于avg并且小于expect的令牌数量token_free；
15、步骤5、用expect+＝token_free/busy，为第二阶段的预期值；
16、步骤6、给所有client分配预期值，busy的client为expect，令牌消耗数量大于expect的client为expect，其余的预期值为上一轮周期的令牌消耗数量；
17、步骤7、统计所有client预期值total_used；
18、步骤8、token_res＝(total-total_used)/client_size；
19、步骤9、给所有的client再次补偿token_res数量的令牌。
20、与现有技术相比，本专利技术的有益效果如下：
21、本专利技术可以根据实际访问情况进行动态调整，能够更好地适应峰谷波动和突发访问，设置不同的令牌添加速率和阈值，可以实现对不同接口或不同用户的精细化控制，限流方案实现简单，易于集成到现有系统中，稳定可控，能处理突发流量，为分布式文件系统提供了可靠的保护。
本文档来自技高网...【技术保护点】
1.一种基于分布式文件系统的限流解决方法，其特征在于，具体包括如下步骤：
2.根据权利要求1所述的一种基于分布式文件系统的限流解决方法，其特征在于，步骤C的实现方式为：
3.根据权利要求2所述的一种基于分布式文件系统的限流解决方法，其特征在于，S2的实现方式为：
【技术特征摘要】
1.一种基于分布式文件系统的限流解决方法，其特征在于，具体包括如下步骤：
2.根据权利要求1所述的一种基于分布式文件系统的限流解决方...
【专利技术属性】
技术研发人员：侯玉彬，
申请(专利权)人：北京焱融科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。