【技术实现步骤摘要】
本专利技术涉及数据管理，具体涉及一种基于人工智能的日志分析聚合故障诊断方法及系统。
技术介绍
1、大数据时代，人工智能技术在不断地推进，传统的故障排除手段往往需要现场运维人员对故障现象反复观察和分析，费时费力，甚至会因人为疏忽遗漏从而造成严重问题，而人工智能技术在此方面却能够提供一种更加高效可靠的解决方案，通过对大量故障日志数据进行模型训练，自动学习特征和规律，来提高故障诊断的准确率，完成故障诊断任务。
技术实现思路
1、鉴于上述技术问题，为了克服上述现有技术的不足，本专利技术提出了一种人工智能的日志分析聚合故障诊断方法及系统，以提高故障诊断结果的效率和准确性，实现实时监测与诊断。
2、本专利技术提供一种基于人工智能的日志分析聚合故障诊断方法，包括步骤：
3、s1、依托大数据日志分析平台，实时自动收集非结构化故障日志流数据；
4、s2、利用自然语言处理技术自动将非结构化故障日志流数据转化为结构化故障日志数据并进行预处理操作；
5、s3、利用词袋模型并结合tf-idf方法自动对预处理后的故障日志数据进行特征提取；
6、s4、利用已训练好的分类模型根据所述特征自动对故障日志数据进行分类或者聚类，实现实时监测与诊断；
7、s5、将故障诊断结果以及相关知识自动整理成知识库。
8、进一步的方案中，所述s2中，所述预处理操作包括对数据清洗、去重和标注。
9、进一步的方案中，所述s3中，所述特征提取包
10、进一步的方案中，所述s4中，所述分类模型的训练包括：
11、s41、收集各种故障日志数据，进行清洗、去重、标注操作，得到预处理后的故障日志数据；
12、s42、利用词袋模型并结合tf-idf方法对预处理后的数据进行特征提取；
13、s43、利用朴素贝叶斯算法模型自动根据日志特征进行故障分类，训练分类模型；
14、s44、使用内部评估指标对构建完成的分类模型的预测结果进行模型的性能评估，并不断调整模型参数达到优化性能的效果；
15、s45、将优化后的分类模型嵌入到实时大数据日志分析平台中，对收集到的实时故障日志数据进行监测与诊断。
16、进一步的方案中，所述s43中，利用朴素贝叶斯算法构建分类模型，包括：根据给定样本，已知的训练数据集，其中，是第个样本的第个特征，计算出每个特征在每个类别中出现的概率以及每个类别的先验概率，其中通过统计训练数据集来计算得到先验概率和条件概率，最终通过两者估计出后验概率，公式如下所示：
17、，其中是用于归一化的证据因子。
18、进一步的方案中，所述s44中，所述预测结果来自于根据已知的特征计算出每个类别的后验概率，并将新数据分类到后验概率最大的类别中。
19、进一步的方案中，所述s44中，通过交叉验证并结合混淆矩阵方法进行模型评估优化，其中交叉验证方法为在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预报，并求这小部分样本的预报误差，记录它们的平方和，然后结合混淆矩阵直观地可视化观测模型的性能以及不同类别之间的预测准确率或混淆情况。
20、本专利技术的另一实施例提供一种基于人工智能的日志分析聚合故障诊断系统，该系统依托大数据日志分析平台，包括：
21、采集模块，用于实时自动收集非结构化故障日志流数据；
22、预处理模块，用于利用自然语言处理技术将非结构化故障日志流数据转化为结构化故障日志数据并进行预处理操作；
23、特征提取模块，用于利用词袋模型并结合tf-idf方法对预处理后的数据进行特征提取；
24、分类模块，利用已训练好的分类模型根据所述特征对故障日志数据进行分类或者聚类，实现实时监测与诊断；
25、知识库模块，用于将故障诊断结果以及相关知识整理成知识库，方便后续查询和使用。
26、本专利技术的另一实施例提供一种计算机可读存储介质，用于存储计算机程序指令，当计算机程序指令被计算机运行时，使所述计算机执行上述的基于人工智能的日志分析聚合故障诊断方法。
27、本专利技术的另一实施例提供一种电子设备，包括：处理器和上述的计算机可读存储介质。
28、本专利技术的技术方案具有以下有益效果：
29、（1）提高了数据分类的效率和准确性，实现实时监测与诊断，减少人力成本和时间成本。
30、（2）将故障诊断结果以及相关知识整理成知识库，方便后续查询和使用。
本文档来自技高网...【技术保护点】
1.一种基于人工智能的日志分析聚合故障诊断方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述S2中，所述预处理操作包括对数据清洗、去重和标注。
3.根据权利要求1所述的方法，其特征在于，所述S3中，所述特征提取包括计算出单词、出现次数两个维度数据，然后进行特征向量化，向量化完后使用TF-IDF方法进行特征的权重修正，再将特征进行标准化，依据公式TF-IDF=TF * IDF，其中TF是某一个给定的词语出现的频率，IDF是一个词语普遍重要性的度量。
4.根据权利要求1所述的方法，其特征在于，所述S4中，所述分类模型的训练包括：
5.根据权利要求4所述的方法，其特征在于，所述S43中，利用朴素贝叶斯算法构建分类模型，包括：根据给定样本，已知的训练数据集，其中，是第个样本的第个特征，计算出每个特征在每个类别中出现的概率以及每个类别的先验概率，其中通过统计训练数据集来计算得到先验概率和条件概率，最终通过两者估计出后验概率，公式如下所示：
6.根据权利要求5所述的方法，其特征在于，所述S44中，所述预测结果来
7.根据权利要求5所述的方法，其特征在于，所述S44中，通过交叉验证并结合混淆矩阵方法进行模型评估优化，其中交叉验证方法为在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预报，并求这小部分样本的预报误差，记录它们的平方和，然后结合混淆矩阵直观地可视化观测模型的性能以及不同类别之间的预测准确率或混淆情况。
8.一种基于人工智能的日志分析聚合故障诊断系统，其特征在于，该系统依托大数据日志分析平台，包括：
9.一种计算机可读存储介质，用于存储计算机程序指令，当计算机程序指令被计算机运行时，使所述计算机执行如权利要求1-7所述的基于人工智能的日志分析聚合故障诊断方法。
10.一种电子设备，包括：处理器和如权利要求9所述的计算机可读存储介质。
...【技术特征摘要】
1.一种基于人工智能的日志分析聚合故障诊断方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述s2中，所述预处理操作包括对数据清洗、去重和标注。
3.根据权利要求1所述的方法，其特征在于，所述s3中，所述特征提取包括计算出单词、出现次数两个维度数据，然后进行特征向量化，向量化完后使用tf-idf方法进行特征的权重修正，再将特征进行标准化，依据公式tf-idf=tf * idf，其中tf是某一个给定的词语出现的频率，idf是一个词语普遍重要性的度量。
4.根据权利要求1所述的方法，其特征在于，所述s4中，所述分类模型的训练包括：
5.根据权利要求4所述的方法，其特征在于，所述s43中，利用朴素贝叶斯算法构建分类模型，包括：根据给定样本，已知的训练数据集，其中，是第个样本的第个特征，计算出每个特征在每个类别中出现的概率以及每个类别的先验概率，其中通过统计训练数据集来计算得到先验概率和条件概率，最终通过两者估计出后验概率，公...
【专利技术属性】
技术研发人员：王少南，孙鸿斌，陈青民，方莉莉，白旭东，赵少川，
申请(专利权)人：北京安信天行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。