一种基于主题模型和异构图的智能告警分析方法技术

本发明专利技术公开一种基于主题模型和异构图的智能告警分析方法，包括采用基于语义相关的主题模型对告警数据进行主题特征扩展，构建出异构图来建模并提取告警信息流中不同告警信息之间潜在的语义关联特征、采用神经网络模型对告警数据进行特征提取和处理，提取告警文本信息中蕴含的文本上下文序列信息特征和将提取的不同告警信息之间潜在的语义关联特征和蕴含的文本上下文序列信息特征拼接融合，引入自注意力模型中突出相关特征，然后输入到全连接层和Softmax层进行预测输出，该种基于主题模型和异构图的智能告警分析方法，提升智能告警分析的准确率和效率。分析的准确率和效率。分析的准确率和效率。

【技术实现步骤摘要】
一种基于主题模型和异构图的智能告警分析方法


[0001]本专利技术涉及自然语言处理
，具体为一种基于主题模型和异构图的智能告警分析方法。

技术介绍

[0002]自然语言处理的任务是要为计算机和机器人开发能够用自然语言与人类进行有效沟通的技术能力。文本分析是自然语言处理领域一个重要的研究方向，是从大量的文本数据中自动提取和分类信息的过程。随着以深度神经网络为代表的人工智能技术的飞速发展，使用深度学习技术在自然语言处理领域实现了巨大突破，文本分析技术也被广泛地应用于新闻、医疗、工业和商业等多个领域。根据不同的应用场景，文本分析可被用于情感分析，主题检测和分类等。用户可以根据不同的应用场景和需求来定义规则，根据文本分析提取到的信息制定不同的应对策略，如可以实现对突发的厂站告警信息进行快速高效地分析，生成智能告警信息并提供解决建议，政府可以了解热门话题，把握舆论趋势，对重要的公共事件做出快速反应。
[0003]智能告警分析是文本分析技术的典型任务之一。随着计算机技术地快速发展，越来越多的现实应用场景中引入了数字化系统平台，而告警分析处理模块是平台的重要一环，主要用于告警信息的收集展示与分析处理。现阶段，随着数据规模不断扩大和信息技术产业的升级改造，对告警分析处理模块提出了新的要求，即如何针对短时间内由于故障产生的大量告警信息实现快速高效地信息分析与处理，提取重要信息并生成智能告警信息，提供决策建议。智能告警分析就是基于人工智能技术，通过搭建复杂的神经网络模型来建模处理告警信息流，使用科学的神经网络模型和强大的算力实现对告警信息高效地信息分析与处理，针对突发问题提供智能告警信息与解决建议，辅助使用者科学快速决策。
[0004]智能告警分析对告警信息进行分析处理时，不能简单地针对单条告警信息进行处理，而忽略了同一时间段内产生的多条告警信息之间潜在语义关联信息。大多数智能告警分析方法的主要思路是利用机器学习算法或神经网络模型对报警信息进行逐条处理，但是一方面与批处理相比处理效率不高，另一方面获得的信息不全面，缺少了同一时间段内其它告警信息所包含的关键信息，最终导致方法的效率不高。

技术实现思路

[0005]本部分的目的在于概述本专利技术的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0006]因此，本专利技术的目的是提供一种基于主题模型和异构图的智能告警分析方法，提升智能告警分析的准确率和效率。
[0007]为解决上述技术问题，根据本专利技术的一个方面，本专利技术提供了如下技术方案：
[0008]一种基于主题模型和异构图的智能告警分析方法，其包括：
[0009]S1、采用基于语义相关的主题模型对告警数据进行主题特征扩展，构建出异构图来建模并提取告警信息流中不同告警信息之间潜在的语义关联特征；
[0010]S2、采用神经网络模型对告警数据进行特征提取和处理，提取告警文本信息中蕴含的文本上下文序列信息特征；
[0011]S3、将提取的不同告警信息之间潜在的语义关联特征和蕴含的文本上下文序列信息特征拼接融合，引入自注意力模型中突出相关特征，然后输入到全连接层和Softmax层进行预测输出。
[0012]作为本专利技术所述的一种基于主题模型和异构图的智能告警分析方法的一种优选方案，其中，所述步骤S1中，基于语义相关的主题模型通过对BTM主题模型从构建词对集合和模型训练策略进行改进生成。
[0013]作为本专利技术所述的一种基于主题模型和异构图的智能告警分析方法的一种优选方案，其中，从构建词对集合对所述BTM主题模型进行改进的步骤如下：
[0014]对语料库中的短文本进行数据预处理和分词，得到短文本d∈D；
[0015]利用Jieba工具对文档集合D中所有短文本d进行词性标记，选择名词，动词和形容词构成文本d
′
，同时依据d
′
构建语料库的词汇表V；
[0016]根据d
′
构建名词与名词、动词与名词以及形容词与名词等形式的词对，得到基础词对集合其中N
B
′
表示基础词对集合B
′
中词对b
e
＝(w
ie
,w
je
)的数量；
[0017]使用Word2vec模型得到词汇表V上所有词的向量表示，计算单词之间的余弦相似度，选择相似度大于预定义阈值η的词计入集合C中；
[0018]基于语义相似度构建相关词对集合，遍历所有d
′
，如果d
′
中的单词w
i
存在集合C中，那么在集合C中查找w
i
所在的相似词集合对集合中的除w
i
之外的单词w
j
，当w
i
和w
j
不在同一文本时，将w
j
和d
′
里其余的单词构建名词与名词、动词与名词以及形容词与名词等形式的词对，放入集合B
″
中，最终得到相关词对集合其中N
B
″
表示相关词对集合B
″
中词对b
o
＝(w
io
,w
jo
)的数量；
[0019]基础词对集合B
′
与相关词对集合B
″
合并得到词对集合N
B
表示词对集合B中词对的数量。
[0020]作为本专利技术所述的一种基于主题模型和异构图的智能告警分析方法的一种优选方案，其中，从模型训练策略对所述BTM主题模型进行改进的步骤如下：
[0021]构建词对的语义相关集合SR
b
，SR
b
是词对b＝(w
i
,w
j
)的语义相关词集SR
b
，集合SR
b
包括w
i
和w
j
，其余的词与w
i
和w
j
的余弦相似度都大于预定义阈值γ，即SR
b
＝{w
x
|sim(w
x
,w
i
)＞γ,sim(w
x
,w
j
)＞γ}，sim(w
x
,w
i
)表示计算w
x
和w
i
对应词向量和的余弦相似度，公式如(1)所示；
[0022][0023]当词对b与主题z高度相关时，选择与词对b语义相关的词放回，公式(2)用于计算词对b＝(w
i
,w
j
)与所有主题z
k
的相关性P(z
k
|b)，其中k∈{1,...,K本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于主题模型和异构图的智能告警分析方法，其特征在于，包括：S1、采用基于语义相关的主题模型对告警数据进行主题特征扩展，构建出异构图来建模并提取告警信息流中不同告警信息之间潜在的语义关联特征；S2、采用神经网络模型对告警数据进行特征提取和处理，提取告警文本信息中蕴含的文本上下文序列信息特征；S3、将提取的不同告警信息之间潜在的语义关联特征和蕴含的文本上下文序列信息特征拼接融合，引入自注意力模型中突出相关特征，然后输入到全连接层和Softmax层进行预测输出。2.根据权利要求1所述的一种基于主题模型和异构图的智能告警分析方法，其特征在于，所述步骤S1中，基于语义相关的主题模型通过对BTM主题模型从构建词对集合和模型训练策略进行改进生成。3.根据权利要求2所述的一种基于主题模型和异构图的智能告警分析方法，其特征在于，从构建词对集合对所述BTM主题模型进行改进的步骤如下：对语料库中的短文本进行数据预处理和分词，得到短文本d∈D；利用Jieba工具对文档集合D中所有短文本d进行词性标记，选择名词，动词和形容词构成文本d
′
，同时依据d
′
构建语料库的词汇表V；根据d
′
构建名词与名词、动词与名词以及形容词与名词等形式的词对，得到基础词对集合其中N
B
′
表示基础词对集合B
′
中词对b
e
＝(w
ie
,w
je
)的数量；使用Word2vec模型得到词汇表V上所有词的向量表示，计算单词之间的余弦相似度，选择相似度大于预定义阈值η的词计入集合C中；基于语义相似度构建相关词对集合，遍历所有d
′
，如果d
′
中的单词w
i
存在集合C中，那么在集合C中查找w
i
所在的相似词集合对集合中的除w
i
之外的单词w
j
，当w
i
和w
j
不在同一文本时，将w
j
和d
′
里其余的单词构建名词与名词、动词与名词以及形容词与名词等形式的词对，放入集合B
″
中，最终得到相关词对集合其中N
B
″
表示相关词对集合B
″
中词对b
o
＝(w
io
,w
jo
)的数量；基础词对集合B
′
与相关词对集合B
″
合并得到词对集合N
B
表示词对集合B中词对的数量。4.根据权利要求2所述的一种基于主题模型和异构图的智能告警分析方法，其特征在于，从模型训练策略对所述BTM主题模型进行改进的步骤如下：构建词对的语义相关集合SR
b
，SR
b
是词对b＝(w
i
,w
j
)的语义相关词集SR
b
，集合SR
b
包括w
i
和w
j
，其余的词与w
i
和w
j
的余弦相似度都大于预定义阈值γ，即SR
b
＝{w
x
|sim(w
x
,w
i
)＞γ,sim(...

【专利技术属性】
技术研发人员：张政，金舒，施广德，徐衍，戚付涛，
申请(专利权)人：国电南京自动化股份有限公司，
类型：发明
国别省市：