【技术实现步骤摘要】
本专利技术属于云存储，尤其涉及一种大量云硬盘集体突发流量检测处理方法及系统。
技术介绍
1、云硬盘是一种基于网络的存储服务，允许用户通过网络访问其存储的数据。这种存储方式相对于传统的物理硬盘，为用户提供了更高的灵活性、扩展性和可用性。用户不再需要关心物理硬件的维护和升级，而只需按需分配和使用存储资源。
2、为了支持大量的并发用户和提供高可用性，云硬盘通常是以集群的形式部署的。一个云硬盘集群包含了多个存储节点，这些节点协同工作，提供统一的数据访问接口。集群的设计允许数据在多个物理节点之间进行复制和分布，从而确保数据的持久性和高可用性。此外，集群的架构还支持水平扩展，即当存储需求增长时，可以轻松地添加更多的存储节点，而无需对现有的应用或服务进行任何修改。在这种架构下，有效地调度和管理各个节点上的io请求变得尤为关键，因为任何一个节点的性能瓶颈或故障都可能影响到整个集群的性能和稳定性。
3、在一个大型的云硬盘集群中，可能会有大量的用户同时访问和使用存储资源。当这些用户的访问模式相对均衡时，整个集群可以保持稳定的性能。但当大量用户在特定的时间节点进行突发性的io操作时，这些集中的请求可能会迅速增加集群的负载，导致整体性能下降。这种情况下，集群内的资源调度和管理变得尤为重要。在集群环境中，尽管某些用户在整体的数据存储容量上可能只占据了较小的份额，但他们在短时间内产生的突发io流量可能与大客户产生的流量相当，甚至更大。这种小客户的突发io流量可能会对大客户的性能产生干扰。
技术实现思路b>
1、本专利技术的目的在于提供一种大量云硬盘集体突发流量检测处理方法，旨在解决突发流量异常时，将会造成云存储集群性能稳定性降低的问题。
2、本专利技术是这样实现的，一种大量云硬盘集体突发流量检测处理方法，所述方法包括：
3、数据采集，获取各个硬盘的iops时间序列数据；
4、对iops时间序列数据进行筛选，得到待分析硬盘数据；
5、对待分析硬盘数据进行频域分析，得到频域数据；
6、基于频域数据进行周期性分析，基于分析结果判定对应的待分析硬盘数据是否包含突发流量，构建历史数据集；
7、基于历史数据集构建prophet模型并对其进行训练，获取待分析iops数据，通过prophet模型判定待分析iops数据中是否存在突发流量，若存在，则对对应的云硬盘进行调整。
8、优选的，所述对iops时间序列数据进行筛选，得到待分析硬盘数据的步骤中，对iops时间序列数据进行统计分析，计算平均iops与最大iops的比值，记为burst_value，基于burst_value和预设的阈值范围对各个iops时间序列数据进行筛选，筛选得到待分析硬盘数据。
9、优选的，平均iops与最大iops的比值burst_value通过以下公式计算得到：
10、
11、其中，average为平均iops，max_value为最大iops，ε为常数。
12、优选的，所述对待分析硬盘数据进行频域分析，得到频域数据的步骤中，通过快速傅里叶变换将待分析硬盘数据转化为频域数据，快速傅里叶变换通过以下公式实现：
13、
14、其中，其中f(k)是频域中的第k个频率分量，f(n)是时间序列中的第n个数据点，n是数据点的总数。
15、优选的，基于频域数据进行周期性分析，基于分析结果判定对应的待分析硬盘数据是否包含突发流量的步骤中，检测频域数据中的峰值，计算频域数据中的主导周期，提取频率谱中的最大幅度，若主导周期在预设范围内，且iops的最大值超过预设值，则判定对应的待分析硬盘数据包含突发流量。
16、优选的，计算主导周期的步骤包括，从频域数据中提取峰值频率：
17、
18、其中，其中|f(k)|是频率k的幅度。优选的，
19、优选的，主导周期period表示为：
20、
21、优选的，对对应的云硬盘进行调整，包括在云硬盘的实时iops值超过预设的阈值时，对该云硬盘的流量进行限制。
22、优选的，对对应的云硬盘进行调整，包括构建沙箱池，在云硬盘的实时iops值超过预设的阈值时，将产生突发流量的用户群迁移到沙箱池，位于沙箱池内的用户群共用iops和带宽。
23、本专利技术的另一目的在于提供一种大量云硬盘集体突发流量检测处理系统，所述系统包括：
24、数据采集模块，用于数据采集，获取各个硬盘的iops时间序列数据；
25、数据筛选模块，用于对iops时间序列数据进行筛选，得到待分析硬盘数据；
26、频域分析模块，用于对待分析硬盘数据进行频域分析，得到频域数据；
27、异常判定模块，用于基于频域数据进行周期性分析，基于分析结果判定对应的待分析硬盘数据是否包含突发流量，构建历史数据集；
28、动态调整模块，用于基于历史数据集构建prophet模型并对其进行训练，获取待分析iops数据，通过prophet模型判定待分析iops数据中是否存在突发流量，若存在，则对对应的云硬盘进行调整。
29、本专利技术提供的一种大量云硬盘集体突发流量检测处理方法，能够对突发流量事件做出快速响应，大大增强了云硬盘集群在各种工作负载下的稳定性，尤其是在高io请求情境下，通过本专利技术，云硬盘集群能够在面对突发io请求时，仍然维持高效的性能，满足用户需求。
本文档来自技高网...【技术保护点】
1.一种大量云硬盘集体突发流量检测处理方法，其特征在于，包括：
2.根据权利要求1所述的大量云硬盘集体突发流量检测处理方法，其特征在于，所述对IOPS时间序列数据进行筛选，得到待分析硬盘数据的步骤中，对IOPS时间序列数据进行统计分析，计算平均IOPS与最大IOPS的比值，记为burst_value，基于burst_value和预设的阈值范围对各个IOPS时间序列数据进行筛选，筛选得到待分析硬盘数据。
3.根据权利要求2所述的大量云硬盘集体突发流量检测处理方法，其特征在于，平均IOPS与最大IOPS的比值burst_value通过以下公式计算得到：
4.根据权利要求1所述的大量云硬盘集体突发流量检测处理方法，其特征在于，所述对待分析硬盘数据进行频域分析，得到频域数据的步骤中，通过快速傅里叶变换将待分析硬盘数据转化为频域数据，快速傅里叶变换通过以下公式实现：
5.根据权利要求1所述的大量云硬盘集体突发流量检测处理方法，其特征在于，基于频域数据进行周期性分析，基于分析结果判定对应的待分析硬盘数据是否包含突发流量的步骤中，检测频域数据中的
6.根据权利要求5所述的大量云硬盘集体突发流量检测处理方法，其特征在于，计算主导周期的步骤包括，从频域数据中提取峰值频率：
7.根据权利要求6所述的大量云硬盘集体突发流量检测处理方法，其特征在于，主导周期period表示为：
8.根据权利要求1所述的大量云硬盘集体突发流量检测处理方法，其特征在于，对对应的云硬盘进行调整，包括在云硬盘的实时IOPS值超过预设的阈值时，对该云硬盘的流量进行限制。
9.根据权利要求1所述的大量云硬盘集体突发流量检测处理方法，其特征在于，对对应的云硬盘进行调整，包括构建沙箱池，在云硬盘的实时IOPS值超过预设的阈值时，将产生突发流量的用户群迁移到沙箱池，位于沙箱池内的用户群共用IOPS和带宽。
10.一种大量云硬盘集体突发流量检测处理系统，其特征在于，所述系统包括：
...【技术特征摘要】
1.一种大量云硬盘集体突发流量检测处理方法，其特征在于，包括：
2.根据权利要求1所述的大量云硬盘集体突发流量检测处理方法，其特征在于，所述对iops时间序列数据进行筛选，得到待分析硬盘数据的步骤中，对iops时间序列数据进行统计分析，计算平均iops与最大iops的比值，记为burst_value，基于burst_value和预设的阈值范围对各个iops时间序列数据进行筛选，筛选得到待分析硬盘数据。
3.根据权利要求2所述的大量云硬盘集体突发流量检测处理方法，其特征在于，平均iops与最大iops的比值burst_value通过以下公式计算得到：
4.根据权利要求1所述的大量云硬盘集体突发流量检测处理方法，其特征在于，所述对待分析硬盘数据进行频域分析，得到频域数据的步骤中，通过快速傅里叶变换将待分析硬盘数据转化为频域数据，快速傅里叶变换通过以下公式实现：
5.根据权利要求1所述的大量云硬盘集体突发流量检测处理方法，其特征在于，基于频域数据进行周期性分析，基于分析结果判定对应的待分析硬盘数据是...
【专利技术属性】
技术研发人员：郎桾侠，畅晨铭，刘浩林，宋雨昊，张峻伟，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。