本发明专利技术提供了一种基于人工智能的硬盘读写操作告警方法和装置，涉及硬盘监控及人工智能领域，方法包括：获取硬盘读写的初始历史数据；利用所述初始历史数据进行聚类分析和处理，得到各时段的指标聚类结果；根据所述各时段的指标聚类结果对不同时段进行初始动态阈值设置；基于所述初始动态阈值对硬盘读写操作进行告警。本发明专利技术采用基于聚类算法的动态阈值设置，且可以针对不同时段进行阈值动态设置，有效降低了人工成本，同时使得阈值设置更贴合硬盘实际运行情况，阈值的设置更加精准，也提高了硬盘读写告警的准确性。
【技术实现步骤摘要】
本专利技术涉及硬盘监控及人工智能领域，尤其涉及一种基于人工智能的硬盘读写操作告警方法和装置。
技术介绍
1、现有的对硬盘读写(io)操作时间占比的阈值告警，多采用静态阈值设置方式。即对阈值提前依据经验进行设置，当系统监控到指标超过阈值时进行报警，且在设置好阈值后就固定不变，除非后期再依据经验人工重新配置指标阈值。
2、当前依靠运维经验对硬盘io操作频繁度告警进行人工配置静态阈值的方法，阈值设置不够灵活和准确，会存在出现较多误告警的情况，比如节点在进行正常的日志写入操作时会导致指标值冲高等，影响运维人员工作效率，给运维人员带来不必要的工作负担。且依靠人工配置静态阈值的方法，本身也增加了运维人员的工作量。
技术实现思路
1、有鉴于此，本专利技术提供一种基于人工智能的硬盘读写操作告警方法和装置，以解决上述提及的至少一个问题。
2、为了实现上述目的，本专利技术采用以下方案：
3、根据本专利技术的第一方面，提供一种基于人工智能的硬盘读写操作告警方法，所述方法包括：获取硬盘读写的初始历史数据；利用所述初始历史数据进行聚类分析和处理，得到各时段的指标聚类结果；根据所述各时段的指标聚类结果对不同时段进行初始动态阈值设置；基于所述初始动态阈值对硬盘读写操作进行告警。
4、作为本专利技术的一个实施例，上述方法还包括：获取所述初始动态阈值设置之后硬盘读写的增量数据；基于所述初始历史数据的聚类结果对所述增量数据进行增量聚类以修正所述初始历史数据的聚类结果。</p>5、作为本专利技术的一个实施例，上述利用所述初始历史数据进行聚类分析和处理，得到各时段的指标聚类结果包括：对所述初始历史数据进行预处理得到初始数据集；结合手肘法和间隔统计量算法确定出最佳聚类数k；基于kd-树选取初始聚类中心点的算法，通过密度降序排列选取出k个初始聚类中心。
6、作为本专利技术的一个实施例，上述基于所述初始历史数据的聚类结果对所述增量数据进行增量聚类以修正所述初始历史数据的聚类结果包括：将所述增量数据和所述k个初始聚类中心结合在一起重新建立kd-树；采用最近邻搜索策略对所述增量数据进行分配，将所述增量数据分配到相应的聚类簇中；分配完毕后合并邻近的聚类簇，直到任意两个聚类簇之间的距离均大于聚类簇之间的平均距离为止。
7、作为本专利技术的一个实施例，上述方法还包括：获取硬盘在分布式云平台中所处的节点信息；所述根据所述各时段的指标聚类结果对不同时段进行初始动态阈值设置包括：根据所述各时段的指标聚类结果及硬盘所处的节点信息对不同时段进行初始动态阈值设置。
8、作为本专利技术的一个实施例，上述结合手肘法和间隔统计量算法确定出最佳聚类数k包括：根据所述初始数据集的大小和特性确定最佳聚类数k的初始范围；对所述初始范围内的每个k，利用k-means聚类算法计算相应的总平方误差sse；将每个k值与其对应的sse值绘制在图表上形成sse曲线；在所述sse曲线上确定肘部区域，将所述肘部区域所对应的k值范围作为间隔统计量算法的k值范围；在所述k值范围内利用间隔统计量算法确定出最佳聚类数k。
9、作为本专利技术的一个实施例，上述将所述增量数据和所述k个初始聚类中心结合在一起重新建立kd-树之后，所述方法还包括：评估当前聚类的紧密程度和分离度：响应于聚类内部的数据点相互间的距离增大，则增加聚类数目k以便更精细地划分数据；响应于聚类内部的数据点相互间的距离减小，则减少聚类数目k以减少重叠和提高区分度。
10、根据本专利技术的第二方面，提供一种基于人工智能的硬盘读写操作告警装置，所述装置包括：初始数据获取单元，用于获取硬盘读写的初始历史数据；聚类分析单元，用于利用所述初始历史数据进行聚类分析和处理，得到各时段的指标聚类结果；初始阈值设置单元，用于根据所述各时段的指标聚类结果对不同时段进行初始动态阈值设置；告警单元，用于基于所述初始动态阈值对硬盘读写操作进行告警。
11、作为本专利技术的一个实施例，上述装置包括：增量数据获取单元，用于获取所述初始动态阈值设置之后硬盘读写的增量数据；聚类修正单元，用于基于所述初始历史数据的聚类结果对所述增量数据进行增量聚类以修正所述初始历史数据的聚类结果。
12、作为本专利技术的一个实施例，上述聚类分析单元包括：预处理模块，用于对所述初始历史数据进行预处理得到初始数据集；最佳聚类数确定模块，用于结合手肘法和间隔统计量算法确定出最佳聚类数k；初始聚类中心选取模块，用于基于kd-树选取初始聚类中心点的算法，通过密度降序排列选取出k个初始聚类中心。
13、作为本专利技术的一个实施例，上述聚类修正单元包括：kd树建立模块，用于将所述增量数据和所述k个初始聚类中心结合在一起重新建立kd树；数据分配模块，用于采用最近邻搜索策略对所述增量数据进行分配，将所述增量数据分配到相应的聚类簇中；合并模块，用于分配完毕后合并邻近的聚类簇，直到任意两个聚类簇之间的距离均大于聚类簇之间的平均距离为止。
14、作为本专利技术的一个实施例，上述装置还包括：节点信息获取单元，用于获取硬盘在分布式云平台中所处的节点信息；上述初始阈值设置单元具体用于：根据所述各时段的指标聚类结果及硬盘所处的节点信息对不同时段进行初始动态阈值设置。
15、作为本专利技术的一个实施例，上述最佳聚类数确定模块包括：初始范围确定子模块，用于根据所述初始数据集的大小和特性确定最佳聚类数k的初始范围；sse计算子模块，用于对所述初始范围内的每个k，利用k-means聚类算法计算相应的总平方误差sse；曲线绘制子模块，用于将每个k值与其对应的sse值绘制在图表上形成sse曲线；肘部确定子模块，用于在所述sse曲线上确定肘部区域，将所述肘部区域所对应的k值范围作为间隔统计量算法的k值范围；最佳聚类数确定子模块，用于在所述k值范围内利用间隔统计量算法确定出最佳聚类数k。
16、作为本专利技术的一个实施例，上述聚类修正单元包括还包括：聚类评估模块，用于评估当前聚类的紧密程度和分离度：聚类数目调整模块，用于响应于聚类内部的数据点相互间的距离增大，则增加聚类数目k以便更精细地划分数据；响应于聚类内部的数据点相互间的距离减小，则减少聚类数目k以减少重叠和提高区分度。
17、根据本专利技术的第三方面，提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述方法的步骤。
18、根据本专利技术的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
19、由上述技术方案可知，本专利技术所提供的基于人工智能的硬盘读写操作告警方法和装置，采用基于聚类算法的动态阈值设置，且可以针对不同时段进行阈值动态设置，有效降低了人工成本，同时使得阈值设置更贴合硬盘实际运行情况，阈值的设置更加精准，也提高了硬盘读写告警的准确性。
本文档来自技高网...
【技术保护点】
1.一种基于人工智能的硬盘读写操作告警方法，其特征在于，所述方法包括：
2.如权利要求1所述的基于人工智能的硬盘读写操作告警方法，其特征在于，所述方法还包括：
3.如权利要求2所述的基于人工智能的硬盘读写操作告警方法，其特征在于，所述利用所述初始历史数据进行聚类分析和处理，得到各时段的指标聚类结果包括：
4.如权利要求3所述的基于人工智能的硬盘读写操作告警方法，其特征在于，所述的基于所述初始历史数据的聚类结果对所述增量数据进行增量聚类以修正所述初始历史数据的聚类结果包括：
5.如权利要求1所述的基于人工智能的硬盘读写操作告警方法，其特征在于，所述方法还包括：获取硬盘在分布式云平台中所处的节点信息；
6.如权利要求3所述的基于人工智能的硬盘读写操作告警方法，其特征在于，所述结合手肘法和间隔统计量算法确定出最佳聚类数k包括：
7.如权利要求4所述的基于人工智能的硬盘读写操作告警方法，其特征在于，将所述增量数据和所述k个初始聚类中心结合在一起重新建立KD树之后，所述方法还包括：
8.一种基于人工智能的硬盘读写操作告警装置，其特征在于，所述装置包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
...
【技术特征摘要】
1.一种基于人工智能的硬盘读写操作告警方法，其特征在于，所述方法包括：
2.如权利要求1所述的基于人工智能的硬盘读写操作告警方法，其特征在于，所述方法还包括：
3.如权利要求2所述的基于人工智能的硬盘读写操作告警方法，其特征在于，所述利用所述初始历史数据进行聚类分析和处理，得到各时段的指标聚类结果包括：
4.如权利要求3所述的基于人工智能的硬盘读写操作告警方法，其特征在于，所述的基于所述初始历史数据的聚类结果对所述增量数据进行增量聚类以修正所述初始历史数据的聚类结果包括：
5.如权利要求1所述的基于人工智能的硬盘读写操作告警方法，其特征在于，所述方法还包括：获取硬盘在分布式云平台中所处的节点信息；
6.如权利要求3所述的...
【专利技术属性】
技术研发人员：张雪晶，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。