【技术实现步骤摘要】
本申请涉及服务器故障检测，特别是涉及一种服务器故障诊断方法、产品、计算机设备和存储介质。
技术介绍
1、机器学习过程的一个重要方面是数据标注(data annotation)，数据标注是一个对原始数据进行标记和分类的过程，使其可用于训练机器学习 (ml) 模型。数据标注是一个耗时和劳动密集型的过程，需大量人力完成标注。
2、服务器日志种类繁多，标注需要各种运维经验知识，依赖人员对日志的分辨力，能够实现日志的定位、并且准确从多个异常中捕获故障信息，实现日志的准确标注。标注过程需要标注人员准确识别故障日志，否则会影响标注准确度，此外，服务器规模的增大，日志增速呈现指数级别上升趋势，异常日志夹杂在大量的基本日志信息中，海量日志的标注将耗费大量的人力。
3、当前人工标注耗费大量的时间，面对大规模的运维日志，标注人员领域知识缺乏，日志标注质量参差不齐。基于规则的日志标注，具有规则编写困难、规则更新缓慢的问题，难以在短时间内更新日志文本的正则解析语句。将日志进行聚类等方式，可能会丢失重要的异常信息，而重要的异常信息有可能决定标注的类型，信息丢失则会影响标注的精度，并且服务器故障发生时，会出现多种日志异常信息，目前ai算法无法实现有效精准的故障定位。因此当前针对服务器日志难以高效准确的进行异常信息数据标注，从而导致服务器故障诊断结果效率低且存在准确性差的缺陷。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种服务器故障诊断方法、装置、计算机设备和存储介质，实现对
2、一方面，提供一种服务器故障诊断方法，所述方法包括：获取服务器故障日志，根据服务器地址聚合每个地址下的服务器故障日志，形成对应每个服务器地址的日志组；对所述日志组进行向量化处理并进行聚类处理，根据聚类结果获取所述日志组的标签；获取每个日志组对应的服务器地址及标签，对所述日志组以第一预设格式进行存储；采用第一预设格式的日志组训练服务器故障诊断模型；将新采集的服务器故障日志输入训练后的服务器故障诊断模型，得到服务器故障诊断结果。
3、在其中一个实施例中，所述获取服务器故障日志，根据服务器地址聚合每个地址下的服务器故障日志，形成对应每个服务器地址的日志组志步骤包括：按照服务器地址获取对应的服务器故障日志；读取所述服务器故障日志中的日志条数及日志生成时间；对所述服务器故障日志按日志生成时间排序；根据所述日志条数及所述日志生成时间将所述服务器故障日志裁切为限定于日志条数限额范围、时间跨度阈值范围内的多个日志段；读取每个日志段中记载日志信息，合并日志信息形成日志组。
4、在其中一个实施例中，所述根据所述日志条数及所述日志生成时间将所述服务器故障日志裁切为限定于日志条数限额范围、时间跨度阈值范围内的多个日志段步骤包括：设置日志条数限额范围的数值以及时间跨度阈值范围的数值；获取所述服务器故障日志中的所有日志条的日志生成时间，计算所述服务器故障日志的记载日志时间跨度，判断所述记载日志时间跨度是否在所述时间跨度阈值范围内，并判断所述服务器故障日志中的日志条数是否在所述日志条数限额范围内；响应于所述记载日志时间跨度在所述时间跨度阈值范围内且所述服务器故障日志中的日志条数在所述日志条数限额范围内时，不对所述服务器故障日志裁切，将所述服务器故障日志作为一个日志段；响应于所述记载日志时间跨度在所述时间跨度阈值范围内且所述服务器故障日志中的日志条数不在所述日志条数限额范围内时，按照所述日志条数限额范围对所述服务器故障日志裁切为多个日志段；响应于所述记载日志时间跨度不在所述时间跨度阈值范围内且所述服务器故障日志中的日志条数在所述日志条数限额范围内时，按照所述时间跨度阈值范围对所述服务器故障日志裁切为多个日志段；响应于所述记载日志时间跨度不在所述时间跨度阈值范围内且所述服务器故障日志中的日志条数不在所述日志条数限额范围内时，按照所述时间跨度阈值范围及所述日志条数限额范围对所述服务器故障日志裁切为多个日志段。
5、在其中一个实施例中，所述根据所述日志条数及所述日志生成时间将所述服务器故障日志裁切为限定于日志条数限额范围、时间跨度阈值范围内的多个日志段步骤还包括：获取日志条数为所述日志条数限额范围最大值时的服务器故障日志的长度值，将该长度值设置为日志段的标准长度；判断每一日志段的长度是否为所述标准长度；若是则判定所述日志段的长度合格；若否则判定所述日志段的长度不合格，并对所述日志段进行零值补全为所述标准长度。
6、在其中一个实施例中，所述对所述日志组进行向量化处理并进行聚类处理，根据聚类结果获取所述日志组的标签步骤包括：对所述日志组中的硬件类型和日志信息进行向量化处理，形成向量化日志；对所述向量化日志采用聚类的方式聚类为多个类簇，输出每个类簇对应的硬件类型；获取每个类簇中的硬件类型的种类数目，根据种类数目确定对应类簇的标签；获取每个服务器地址的日志组中所有类簇的标签，获取每一类簇的标签对应的向量列表，对所述向量列表进行聚类，以向量列表数目最多的聚类簇对应的标签作为所述日志组的标签。
7、在其中一个实施例中，所述对所述日志组中的硬件类型和日志信息进行向量化处理，形成向量化日志步骤包括：提取目标服务器故障日志中的硬件类型和日志信息作为用于语言处理向量化模型训练的语料训练集；构建待训练的语言处理向量化模型，采用所述语料训练集训练所述待训练的语言处理向量化模型，保存去重后的全部硬件类型，根据构建硬件类型键-值对字典，形成训练后的语言处理向量化模型；获取所述服务器日志集中的硬件类型和日志信息，利用训练后的语言处理向量化模型对所述日志组中的硬件类型和日志信息进行向量化处理，形成向量化日志。
8、在其中一个实施例中，所述提取目标服务器故障日志中的硬件类型和日志信息作为用于语言处理向量化模型训练的语料训练集步骤包括：获取所述硬件类型和所述日志信息的每个词的词序；按照词序获取所述硬件类型和所述日志信息的每个词映射的向量；将获取的向量按照词序汇总，形成语料训练集。
9、在其中一个实施例中，所述对所述向量化日志采用聚类的方式聚类为多个类簇步骤包括：获取所述向量化日志的硬件类型，按照硬件类型将所述向量化日志分为多个数组；
10、对所述数组进行向量化处理，形成向量化数组；对同一地址编号下的所有向量化数组采用聚类的方式聚类为多个类簇，输出每个类簇对应的硬件类型和数目。
11、在其中一个实施例中，所述输出每个类簇对应的硬件类型和数目步骤包括：获取每一类簇对应的硬件类型的向量，计算其与硬件类型键-值对的每个键下的向量的相似度；对每一类簇，初始化硬件类型键-值对的每个键出现次数计数为零，查询类簇中硬件类型键-值对的每个键下的向量，响应于向量被查询到，对应的键的计数加一；根据计算的硬件类型键-值对中键的计数，获取每个类簇出现的硬件类型和对应的计数。
12、在其中一本文档来自技高网...
【技术保护点】
1.一种服务器故障诊断方法，其特征在于，包括：
2.根据权利要求1所述的服务器故障诊断方法，其特征在于，所述获取服务器故障日志，根据服务器地址聚合每个地址下的服务器故障日志，形成对应每个服务器地址的日志组志步骤包括：
3.根据权利要求2所述的服务器故障诊断方法，其特征在于，所述根据所述日志条数及所述日志生成时间将所述服务器故障日志裁切为限定于日志条数限额范围、时间跨度阈值范围内的多个日志段步骤包括：
4.根据权利要求3所述的服务器故障诊断方法，其特征在于，所述根据所述日志条数及所述日志生成时间将所述服务器故障日志裁切为限定于日志条数限额范围、时间跨度阈值范围内的多个日志段步骤还包括：
5.根据权利要求2所述的服务器故障诊断方法，其特征在于，所述对所述日志组进行向量化处理并进行聚类处理，根据聚类结果获取所述日志组的标签步骤包括：
6.根据权利要求5所述的服务器故障诊断方法，其特征在于，所述对所述日志组中的硬件类型和日志信息进行向量化处理，形成向量化日志步骤包括：
7.根据权利要求6所述的服务器故障诊断方法，其特
8.根据权利要求6所述的服务器故障诊断方法，其特征在于，所述对所述向量化日志采用聚类的方式聚类为多个类簇步骤包括：
9.根据权利要求8所述的服务器故障诊断方法，其特征在于，所述输出每个类簇对应的硬件类型和数目步骤包括：
10.根据权利要求5所述的服务器故障诊断方法，其特征在于，所述获取每个类簇中的硬件类型的种类数目，根据种类数目确定对应类簇的标签步骤包括：
11.根据权利要求10所述的服务器故障诊断方法，其特征在于，所述获取数目最多的所有硬件类型，构建混合关联模型，根据混合关联系数输出故障硬件种类作为对应类簇的标签步骤包括：
12.根据权利要求5所述的服务器故障诊断方法，其特征在于，所述获取每个服务器地址的日志组中所有类簇的标签，获取每一类簇的标签对应的向量列表，对所述向量列表进行聚类，以向量列表数目最多的聚类簇对应的标签作为所述日志组的标签步骤包括：
13.根据权利要求12所述的服务器故障诊断方法，其特征在于，所述计算每个聚类簇中每一标签的权重，以求和方式计算所述日志组中每一标签的权重步骤包括：
14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-13中任一所述的方法的步骤。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种服务器故障诊断方法，其特征在于，包括：
2.根据权利要求1所述的服务器故障诊断方法，其特征在于，所述获取服务器故障日志，根据服务器地址聚合每个地址下的服务器故障日志，形成对应每个服务器地址的日志组志步骤包括：
3.根据权利要求2所述的服务器故障诊断方法，其特征在于，所述根据所述日志条数及所述日志生成时间将所述服务器故障日志裁切为限定于日志条数限额范围、时间跨度阈值范围内的多个日志段步骤包括：
4.根据权利要求3所述的服务器故障诊断方法，其特征在于，所述根据所述日志条数及所述日志生成时间将所述服务器故障日志裁切为限定于日志条数限额范围、时间跨度阈值范围内的多个日志段步骤还包括：
5.根据权利要求2所述的服务器故障诊断方法，其特征在于，所述对所述日志组进行向量化处理并进行聚类处理，根据聚类结果获取所述日志组的标签步骤包括：
6.根据权利要求5所述的服务器故障诊断方法，其特征在于，所述对所述日志组中的硬件类型和日志信息进行向量化处理，形成向量化日志步骤包括：
7.根据权利要求6所述的服务器故障诊断方法，其特征在于，所述提取目标服务器故障日志中的硬件类型和日志信息作为用于语言处理向量化模型训练的语料训练集步骤包括：
8.根据权利要求6所述的服务器故障诊断方法，其特征在于，所述对所述向量化日志采用聚类的方式聚类为多个类簇步骤包括：
9.根据权利要求8所述的服务器故障诊断...
【专利技术属性】
技术研发人员：张鹏，郭锋，李锋，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。