一种基于强化学习和知识图谱的设备故障溯因方法技术

本发明专利技术公开了一种基于强化学习和知识图谱的故障溯因方法，包括：(1)构建样本实例，编码样本实例，得到包含设备的节点表示、告警信息表示的样本实例表示，根据根因对编码得到根因关系表示；(2)基于强化学习构建策略网络，用于根据环境状态信息确定下一时刻的动作决策；(3)根据设定的时间步长阈值内动作决策结果构建奖励值，利用依据奖励值构建的损失函数更新策略网络参数、节点表示、告警信息表示、根因关系表示；(4)应用时，将实例表示作为策略网络的输入，利用策略网络获得接下来每个时刻里连接的设备节点，依据连接的每个设备节点追溯得到故障设备节点对应的根因设备节点。可以从故障节点开始溯因，通过因果链找到根因节点。

【技术实现步骤摘要】
一种基于强化学习和知识图谱的设备故障溯因方法
本专利技术属于故障检测领域，具体涉及一种基于强化学习和知识图谱的故障溯因方法。
技术介绍
知识图谱作为一种特殊的图数据，是一种人类可识别并且对机器友好的知识表示。作为一种应用型技术，知识图谱在很多领域中都得到了广泛的应用，例如信息检索、自然语言理解、问答系统、推荐系统、金融风控、教育医疗等。然而，如何自动化地构建高质量的知识图谱，以及如何充分地利用知识图谱的实体和关系所包含的语义进行推理，仍是需要研究的问题，比如说使用知识图谱的链接预测算法。链接预测指给定头实体(或尾实体)和关系，预测实体在该关系的对应的尾实体(或头实体)，当然也可以给定两个实体预测它们最有可能存在的关系。因此，一方面我们可以利用链接预测来补全已有的知识图谱，另一方面链接预测算法也可以看作是利用知识图谱已有的语义信息做推理，这在一些应用例如问答系统中是非常有帮助的。在知识图谱的链接预测算法，一些研究者进一步引出了可解释性问题的研究。其不仅仅是作出链接预测，还需要解释作出这样选择原因，表示为一条解释性的路径，相关工作为设备溯因的场景提供了思路上的启发。故障溯因检测是一种特殊的场景。其设备之间可以由不同的关系，可以由知识图谱来表示。更明确的说，设备之间构成的图谱是一种动态的知识图谱。在这样的图谱里面，会存在一些特殊的“现象”。比如说某一个节点发生了故障，因为节点之间存在着依赖的关系，所以该节点的故障会依次向外传播，形成一条故障传播的链路。同时每一个被影响到的设备节点都会产生一些表征现象。这种现象被称为告警，可以理解为向外发出的警告，包含了该节点故障的一系列的信息，比如说是故障的种类、故障发生的时间等。最终这条故障链路会传播到最上层的某一些节点，这些节点会产生一种名叫KPI(KeyPerformanceIndicator，关键绩效指标)的信息，同样的用来描述故障。当维修专家进行维修时，其首先接触到的最表层的故障节点。然后根据一系列的告警和KPI的信息，从最表层进行溯因。强化学习的算法模型可以简单定位一个四元组(S,P,A,R)，其中S表示环境状态State；P表示需要训练的策略网络；A表示智能体执行的动作Action；R表示奖励值Reward。强化学习可以简单地看作是一种搜索算法，但是它搜索的方向并非是随机的，是由训练好的策略网络来确定的。它每一种选择都是概率，根据概率来选择搜索的方向。需要注意的是并非智能体每次都会选概率最大的Action，这是一个随机的过程。
技术实现思路
本专利技术的目的是提供一种基于强化学习和知识图谱的故障溯因方法，该故障溯因方法可以直接从表层的故障节点开始溯因，从而形成一条因果链，最终找到深层的根因节点。为实现上述专利技术目的，本专利技术提供的技术方案为：一种基于强化学习和知识图谱的故障溯因方法，所述故障溯因方法包括以下步骤：(1)构建应用场景的设备知识图谱，提取每时刻的故障设备节点和对应根因设备节点组成根因对，该根因对与出现故障时刻的场景告警信息、设备知识图谱形成一个样本实例，编码样本实例，得到包含设备的节点表示、告警信息表示的样本实例表示，根据根因对编码得到根因关系表示；(2)基于强化学习构建包括环境状态构建单元和决策确定单元的策略网络，所述环境状态构建单元用于根据样本实例表示和根因关系表示构建环境状态信息，所述决策确定单元用于根据环境状态信息确定下一时刻的动作决策；(3)根据设定的时间步长阈值内动作决策结果构建奖励值，依据该奖励值构建损失函数，利用该损失函数更新策略网络参数、节点表示、告警信息表示、根因关系表示；(4)应用时，以故障设备节点的节点表示、告警信息表示以及对应的根因关系表示作为策略网络的输入，利用策略网络获得接下来每个时刻里连接的设备节点，依据连接的每个设备节点追溯得到故障设备节点对应的根因设备节点。与现有技术相比，本专利技术具有的有益效果至少包括：本专利技术提供的基于强化学习和知识图谱的故障溯因方法，以知识图谱作为基础，采用注意力机制结合动态变化的环境告警信息构建环境状态信息，并采用强化学习算法根据环境状态信息给出动作，在知识图谱中搜索获得引起故障的根因设备。提升了故障根因检测的速度和准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。图1是本专利技术实施例提供的基于强化学习和知识图谱的故障溯因方法的流程图；图2是本专利技术实施例提供的注意力机制示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。本实施例提供的基于强化学习和知识图谱的故障溯因方法，通过知识图谱表示学习的方法结合强化的学习的思路去解决设备网络故障的场景，目的是找到一条因果链，最终寻找到产生表层故障节点的真正的根因。在动态的故障发生场景，该故障溯因方法能够根据动态变化的告警信息，在搜索的过程中利用注意力的机制进行逐步溯因。该故障溯因方法可以应用到更多类似的比如金融领域里股价波动预测等溯因场景中。图1是本专利技术实施例提供的基于强化学习和知识图谱的故障溯因方法的流程图。如图1所示，实施例提供的基于强化学习和知识图谱的故障溯因方法包括以下步骤：步骤1，构建应用场景的设备知识图谱，提取每时刻的故障设备节点和对应根因设备节点组成根因对，该根因对与出现故障时刻的场景告警信息、设备知识图谱形成一个样本实例，编码样本实例，得到包含设备节点表示、告警信息表示的样本实例表示，根据根因对编码得到根因关系表示。强化学习算法是智能体根据时刻的环境状态信息产生一个决策动作。设备故障溯因是根据设备节点和设备节点的连接关系，从故障设备追溯到造成故障设备发生故障的根因设备。本实施例中，将引起表层设备出现故障的深层设备为根因设备，例如在计算机系统中，当表面显示器不显示了，追溯可能是深层的根因设备显卡出了问题。根据强化学习技术和设备故障溯因技术，发现强化学习的搜索过程与溯因过程及其相似，因此本专利技术利用强化学习算法来进行设备故障溯因搜索，将设备到设备的搜索过程看作是产生下一个动作的过程。针对每个应用场景，根据固定的设备及连接关系构建设备知识图谱，该设备知识图谱可以是ontology层面或schema图，该设备知识图谱表示G＝(E,R)，其中，E表示设备节点集合，R表示设备节点之间关系的集合。实施例中，认为设备节点出现故障时的场景状态是不一样的，可以将设备节点出现故障时的场景状态作为一个样本数据，场景状态包含故障设备、引起故障设备发生故障的根因设备，出现故障时刻的场景告警信息以及整个设备场景，其中场景告警信息包括KPI数据和设备警示信息。因此，提取设备知识本文档来自技高网...

【技术保护点】
1.一种基于强化学习和知识图谱的故障溯因方法，其特征在于，所述故障溯因方法包括以下步骤：/n(1)构建应用场景的设备知识图谱，提取每时刻的故障设备节点和对应根因设备节点组成根因对，该根因对与出现故障时刻的场景告警信息、设备知识图谱形成一个样本实例，编码样本实例，得到包含设备的节点表示、告警信息表示的样本实例表示，根据根因对编码得到根因关系表示；/n(2)基于强化学习构建包括环境状态构建单元和决策确定单元的策略网络，所述环境状态构建单元用于根据样本实例表示和根因关系表示构建环境状态信息，所述决策确定单元用于根据环境状态信息确定下一时刻的动作决策；/n(3)根据设定的时间步长阈值内动作决策结果构建奖励值，依据该奖励值构建损失函数，利用该损失函数更新策略网络参数、节点表示、告警信息表示、根因关系表示；/n(4)应用时，以故障设备节点的节点表示、告警信息表示以及对应的根因关系表示作为策略网络的输入，利用策略网络获得接下来每个时刻里连接的设备节点，依据连接的每个设备节点追溯得到故障设备节点对应的根因设备节点。/n

【技术特征摘要】
1.一种基于强化学习和知识图谱的故障溯因方法，其特征在于，所述故障溯因方法包括以下步骤：
(1)构建应用场景的设备知识图谱，提取每时刻的故障设备节点和对应根因设备节点组成根因对，该根因对与出现故障时刻的场景告警信息、设备知识图谱形成一个样本实例，编码样本实例，得到包含设备的节点表示、告警信息表示的样本实例表示，根据根因对编码得到根因关系表示；
(2)基于强化学习构建包括环境状态构建单元和决策确定单元的策略网络，所述环境状态构建单元用于根据样本实例表示和根因关系表示构建环境状态信息，所述决策确定单元用于根据环境状态信息确定下一时刻的动作决策；
(3)根据设定的时间步长阈值内动作决策结果构建奖励值，依据该奖励值构建损失函数，利用该损失函数更新策略网络参数、节点表示、告警信息表示、根因关系表示；
(4)应用时，以故障设备节点的节点表示、告警信息表示以及对应的根因关系表示作为策略网络的输入，利用策略网络获得接下来每个时刻里连接的设备节点，依据连接的每个设备节点追溯得到故障设备节点对应的根因设备节点。


2.如权利要求1所述的基于强化学习和知识图谱的故障溯因方法，其特征在于，所述环境状态构建单元构建的环境状态信息st＝[mt；ht；at]，其中，st表示t时刻的全局环境状态信息，其由t时刻的节点状态信息mt、历史状态信息ht以及节点注意力信息at通过符号；拼接而成。


3.如权利要求2所述的基于强化学习和知识图谱的故障溯因方法，其特征在于，根据设备的节点表示和根因关系表示构建节点状态信息mt为：
mt＝[et；fq(estart,rcause)]
其中，et为t时刻设备的节点表示，estart为故障设备的节点表示，rcause为故障设备节点对应的根因关系表示，fq(estart,rcause)为对estart和rcause的融合操作。


4.如权利要求2所述的基于强化学习和知识图谱的故障溯因方法，其特征在于，利用LSTM获得历史状态信息ht为：
ht＝LSTM[ht-1；mt]
其中，ht-1为t-1时刻的LSTM输出的隐含层向量作为t-1时刻的历史状态信息，LSTM[ht-1；mt]表示将ht-1与mt通过符号；拼接后输入至LSTM得到的t-1时刻的历史状态信息ht，该历史状态信息ht可以来记录整条故障溯因路径的信息。


5.如权利要求2所述的基于强化学习和知识图谱的故...

【专利技术属性】
技术研发人员：陈华钧，毕祯，陈名杨，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33