服务器故障诊断方法、产品、计算机设备和存储介质技术

技术编号:41748324 阅读:29 留言:0更新日期:2024-06-21 21:33
本申请涉及一种服务器故障诊断方法、产品、计算机设备和存储介质。本申请通过先将获取的服务器故障日志根据服务器地址聚合形成日志组,再对日志组进行向量化处理和聚类处理确定日志组的标签,对日志组以第一预设格式进行存储,并训练服务器故障诊断模型来对新采集的服务器故障日志设置标签,实现了自动对服务器日志高效准确的进行异常信息数据标注,减少了人力消耗成本,提升了日志标注质量及效率,基于准确标注标签的日志组训练服务器故障诊断模型进行标签设置,提升了服务器故障诊断结果效率和准确率。

【技术实现步骤摘要】

本申请涉及服务器故障检测,特别是涉及一种服务器故障诊断方法、产品、计算机设备和存储介质


技术介绍

1、机器学习过程的一个重要方面是数据标注(data annotation),数据标注是一个对原始数据进行标记和分类的过程,使其可用于训练机器学习 (ml) 模型。数据标注是一个耗时和劳动密集型的过程,需大量人力完成标注。

2、服务器日志种类繁多,标注需要各种运维经验知识,依赖人员对日志的分辨力,能够实现日志的定位、并且准确从多个异常中捕获故障信息,实现日志的准确标注。标注过程需要标注人员准确识别故障日志,否则会影响标注准确度,此外,服务器规模的增大,日志增速呈现指数级别上升趋势,异常日志夹杂在大量的基本日志信息中,海量日志的标注将耗费大量的人力。

3、当前人工标注耗费大量的时间,面对大规模的运维日志,标注人员领域知识缺乏,日志标注质量参差不齐。基于规则的日志标注,具有规则编写困难、规则更新缓慢的问题,难以在短时间内更新日志文本的正则解析语句。将日志进行聚类等方式,可能会丢失重要的异常信息,而重要的异常信息有可能决定标注的类型,信息丢失本文档来自技高网...

【技术保护点】

1.一种服务器故障诊断方法,其特征在于,包括:

2.根据权利要求1所述的服务器故障诊断方法,其特征在于,所述获取服务器故障日志,根据服务器地址聚合每个地址下的服务器故障日志,形成对应每个服务器地址的日志组志步骤包括:

3.根据权利要求2所述的服务器故障诊断方法,其特征在于,所述根据所述日志条数及所述日志生成时间将所述服务器故障日志裁切为限定于日志条数限额范围、时间跨度阈值范围内的多个日志段步骤包括:

4.根据权利要求3所述的服务器故障诊断方法,其特征在于,所述根据所述日志条数及所述日志生成时间将所述服务器故障日志裁切为限定于日志条数限额范围、时间跨度阈...

【技术特征摘要】

1.一种服务器故障诊断方法,其特征在于,包括:

2.根据权利要求1所述的服务器故障诊断方法,其特征在于,所述获取服务器故障日志,根据服务器地址聚合每个地址下的服务器故障日志,形成对应每个服务器地址的日志组志步骤包括:

3.根据权利要求2所述的服务器故障诊断方法,其特征在于,所述根据所述日志条数及所述日志生成时间将所述服务器故障日志裁切为限定于日志条数限额范围、时间跨度阈值范围内的多个日志段步骤包括:

4.根据权利要求3所述的服务器故障诊断方法,其特征在于,所述根据所述日志条数及所述日志生成时间将所述服务器故障日志裁切为限定于日志条数限额范围、时间跨度阈值范围内的多个日志段步骤还包括:

5.根据权利要求2所述的服务器故障诊断方法,其特征在于,所述对所述日志组进行向量化处理并进行聚类处理,根据聚类结果获取所述日志组的标签步骤包括:

6.根据权利要求5所述的服务器故障诊断方法,其特征在于,所述对所述日志组中的硬件类型和日志信息进行向量化处理,形成向量化日志步骤包括:

7.根据权利要求6所述的服务器故障诊断方法,其特征在于,所述提取目标服务器故障日志中的硬件类型和日志信息作为用于语言处理向量化模型训练的语料训练集步骤包括:

8.根据权利要求6所述的服务器故障诊断方法,其特征在于,所述对所述向量化日志采用聚类的方式聚类为多个类簇步骤包括:

9.根据权利要求8所述的服务器故障诊断...

【专利技术属性】
技术研发人员:张鹏郭锋李锋
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1