基于多模态信息动态抽取的网络运维异常检测方法及系统技术方案

本发明专利技术提供了一种基于多模态信息动态抽取的网络运维异常检测方法及系统，涉及网络运维技术领域。通过构建网络运维知识图谱，存储网络设备、应用程序和其他相关信息的多模态数据，以及所述多模态数据的关系；获取网络设备、应用程序和其他相关的多模态信息，并对获取的所述多模态信息进行预处理；学习所述多模态信息的表示特征；构建多模态信息异常检测模型；采用从粗粒度至细粒度的抽取算法，对所述网络运维知识图谱进行动态抽取，从所述网络运维知识图谱中获得前M个知识三元组，并学习所述三元组的全局表示特征；将所述多模态信息的表示特征以及所述三元组的全局表示特征依次组合，并输入至所述多模态信息异常检测模型中进行异常检测。异常检测。异常检测。

【技术实现步骤摘要】
基于多模态信息动态抽取的网络运维异常检测方法及系统


[0001]本专利技术涉及网络运维
，特别是涉及一种基于多模态信息动态抽取的网络运维异常检测方法及系统。

技术介绍

[0002]随着信息技术的快速发展，网络的规模和结构不断扩大，网络已经以各种形式融入到生产和生活的各个领域中，成为了信息交流和传输的重要通道。随着工业互联网的广泛应用，保障其服务质量和网络性能变得至关重要。然而，工业互联网络规模巨大，设备数量众多，网络结构复杂，故障种类繁多，且设备之间相互关联，导致故障不是独立发生的。传统运维手段难以快速准确定位故障点，影响生产效率和收益。因此，提升网络性能，保证服务质量和安全性，以及快速准确地定位故障点是网络运维亟待解决的难题。
[0003]在网络运维领域，异常检测是一项关键技术。在网络运维的异常检测中，可以利用多模态信息作为辅助材料，以提高检测的准确性和效率。常见的多模态信息主要有实时性信息、安全事件信息、日志信息、用户行为信息，其中实时性信息是指网络设备和服务的运行状态信息，包括CPU、内存、网络带宽、磁盘空间等指标。安全事件信息是指网络安全事件的记录和分析信息，包括入侵、攻击、病毒等安全威胁的检测和响应信息。日志信息是指网络设备和服务的日志记录信息，包括系统日志、应用日志、安全日志等。用户行为信息是指网络用户的行为信息，包括访问记录、操作记录等。多模态信息在网络运维的异常检测中可以提供丰富的辅助材料，以提高检测的准确性和效率。通过多模态信息的融合，可以全面地监测和管理网络状态，保障网络的正常运行。现有的异常检测方法主要基于单一模态信息，如基于日志等单一数据源的异常检测方法。这些方法虽然能够对网络状态进行监测和分析，但往往只能通过单一维度的数据源进行分析，难以全面反映网络状态的整体情况，同时也缺乏多维度信息分析能力，难以从多个角度对网络状态进行全面、深入的分析。

技术实现思路

[0004]本专利技术提供一种基于多模态信息动态抽取的网络运维异常检测方法及系统，以解决仅通过单一维度数据进行分析，缺乏多维度信息分析能力，难以全面反应网络状态的整体情况，以及难以从多个角度对网络状态进行全面深入分析的问题。
[0005]第一方面，本专利技术提供一种基于多模态信息动态抽取的网络运维异常检测方法，所述方法包括：
[0006]构建网络运维知识图谱，存储网络设备、应用程序和其他相关信息的多模态数据，以及所述多模态数据的关系；
[0007]获取网络设备、应用程序和其他相关的多模态信息，并对获取的所述多模态信息进行预处理；
[0008]学习所述多模态信息的表示特征；
[0009]构建多模态信息异常检测模型；
[0010]采用从粗粒度至细粒度的抽取算法，对所述网络运维知识图谱进行动态抽取，从所述网络运维知识图谱中获得前M个知识三元组，并学习所述三元组的全局表示特征；
[0011]将所述多模态信息的表示特征以及所述三元组的全局表示特征依次组合，并输入至所述多模态信息异常检测模型中进行异常检测。
[0012]基于第一方面，学习所述多模态信息的表示特征，包括：
[0013]将所述多模态信息输入BERT模型，得到固定长度的向量表示；
[0014]将所述固定长度的向量表示输入至多模态Transformer模型中，融合不同类型的多模态信息，得到所述多模态信息的表示特征。
[0015]基于第一方面，所述多模态信息的表示特征q
w
，定义如下：
[0016]q
w
＝Transformer(f
e
(q))，
[0017]式中：f
e
表示将字符串转为词向量的模型BERT；l
q
表示多模态信息的最大长度。
[0018]基于第一方面，所述构建多模态信息异常检测模型，包括：
[0019]将所述多模态信息表示特征输入所述多模态信息异常检测模型中，得到多模态信息的预测结果基于预测结果判断多模态信息是否发生异常；
[0020]其中，所述预测结果定义如下：
[0021][0022]式中，θ
MLP
(
·
)是产生最终异常预测标签的多层感知器，q
w
为多模态信息表示特征；
[0023]其中，采用损失函数对所述多模态信息异常检测模型进行训练，所述损失函数定义如下：
[0024][0025]式中，是用于所述多模态信息异常检测模型训练的二进制交叉熵损失函数，为预测结果，y为真实结果。
[0026]基于第一方面，所述采用从粗粒度至细粒度的抽取算法，对所述网络运维知识图谱进行动态抽取，从所述网络运维知识图谱中获得前M个知识三元组，并学习所述三元组的全局表示特征，包括：
[0027]在粗粒度阶段，采用所述多模态信息异常检测模型计算所述网络运维知识图谱中的子图对多模态信息异常检测的信息增益，在所述网络运维知识图谱的子图中选择前K个子图；
[0028]在细粒度阶段，采用所述多模态信息异常检测模型计算所述前K个子图中三元组对多模态信息异常检测的信息增益，在所述前K个子图中选择前M个三元组。
[0029]基于第一方面，所述在粗粒度阶段，采用所述多模态信息异常检测模型计算所述网络运维知识图谱中的子图对多模态信息异常检测的信息增益，在所述网络运维知识图谱的子图中选择前K个子图，包括：
[0030]获取所述网络运维知识图谱中每个子图的表示特征；
[0031]对所述每个子图的表示特征进行平均汇聚处理，获取所述每个子图的全局表示特征；
[0032]将所述每个子图的全局表示特征输入所述多模态信息异常检测模型，计算所述每个子图对多模态信息异常检测的信息增益；
[0033]基于所述每个子图对多模态信息异常检测的信息增益，在所述网络运维知识图谱的子图中选择前K个子图。
[0034]基于第一方面，所述每个子图对多模态信息异常检测的信息增益g(q，s
i
)，定义如下：
[0035][0036]式中：q
g
为多模态信息的全局表示特征，为子图s
i
的全局表示特征，AP为平均汇聚处理，s
i
为子图的表示特征，H(q
g
)表示多模态信息q的熵，为给定子图s
i
的情况下多模态信息q异常检测的条件熵。
[0037]基于第一方面，所述在细粒度阶段，采用所述多模态信息异常检测模型计算所述前K个子图中三元组对多模态信息异常检测的信息增益，在所述前K个子图中选择前M个三元组，包括：
[0038]获取所述前K个子图中每个三元组的表示特征；
[0039]对所述每个三元组的表示特征进行平均汇聚处理，获取所述每个三元组的全局表示特征；
[0040]将所述每个三元组的全局表示特征输入所述多模态信息异常检测模型，计算所述每个三元组对多模态信息异常检测的信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态信息动态抽取的网络运维异常检测方法，其特征在于，所述方法包括：构建网络运维知识图谱，存储网络设备、应用程序和其他相关信息的多模态数据，以及所述多模态数据的关系；获取网络设备、应用程序和其他相关的多模态信息，并对获取的所述多模态信息进行预处理；学习所述多模态信息的表示特征；构建多模态信息异常检测模型；采用从粗粒度至细粒度的抽取算法，对所述网络运维知识图谱进行动态抽取，从所述网络运维知识图谱中获得前M个知识三元组，并学习所述三元组的全局表示特征；将所述多模态信息的表示特征以及所述三元组的全局表示特征依次组合，并输入至所述多模态信息异常检测模型中进行异常检测。2.根据权利要求1所述的网络运维异常检测方法，其特征在于，学习所述多模态信息的表示特征，包括：将所述多模态信息输入BERT模型，得到固定长度的向量表示；将所述固定长度的向量表示输入至多模态Transformer模型中，融合不同类型的多模态信息，得到所述多模态信息的表示特征。3.根据权利要求2所述的网络运维异常检测方法，其特征在于，所述多模态信息的表示特征q
w
，定义如下：q
w
＝Transformer(f
e
(q))，式中：f
e
表示将字符串转为词向量的模型BERT；l
q
表示多模态信息的最大长度。4.根据权利要求1所述的网络运维异常检测方法，其特征在于，所述构建多模态信息异常检测模型，包括：将所述多模态信息表示特征输入所述多模态信息异常检测模型中，得到多模态信息的预测结果基于预测结果判断多模态信息是否发生异常；其中，所述预测结果定义如下：式中，θ
MLP
(
·
)是产生最终异常预测标签的多层感知器，q
w
为多模态信息表示特征；其中，采用损失函数对所述多模态信息异常检测模型进行训练，所述损失函数定义如下：式中，是用于所述多模态信息异常检测模型训练的二进制交叉熵损失函数，为预测结果，y为真实结果。5.根据权利要求1所述的网络运维异常检测方法，其特征在于，所述采用从粗粒度至细粒度的抽取算法，对所述网络运维知识图谱进行动态抽取，从所述网络运维知识图谱中获得前M个知识三元组，并学习所述三元组的全局表示特征，包括：
在粗粒度阶段，采用所述多模态信息异常检测模型计算所述网络运维知识图谱中的子图对多模态信息异常检测的信息增益，在所述网络运维知识图谱的子图中选择前K个子图；在细粒度阶段，采用所述多模态信息异常检测模型计算所述前K个子图中三元组对多模态信息异常检测的信息增益，在所述前K个子图中选择前M个三元组。6.根据权利要求5所述的网络运维异常检测方法，其特征在于，所述在粗粒度阶段，采用所述多模态信息异常检测模型计算所述网络运维知识图谱中的...

【专利技术属性】
技术研发人员：马杰，周川，王平辉，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：