【技术实现步骤摘要】
一种基于强化学习和知识图谱的设备故障溯因方法
本专利技术属于故障检测领域，具体涉及一种基于强化学习和知识图谱的故障溯因方法。
技术介绍
知识图谱作为一种特殊的图数据，是一种人类可识别并且对机器友好的知识表示。作为一种应用型技术，知识图谱在很多领域中都得到了广泛的应用，例如信息检索、自然语言理解、问答系统、推荐系统、金融风控、教育医疗等。然而，如何自动化地构建高质量的知识图谱，以及如何充分地利用知识图谱的实体和关系所包含的语义进行推理，仍是需要研究的问题，比如说使用知识图谱的链接预测算法。链接预测指给定头实体(或尾实体)和关系，预测实体在该关系的对应的尾实体(或头实体)，当然也可以给定两个实体预测它们最有可能存在的关系。因此，一方面我们可以利用链接预测来补全已有的知识图谱，另一方面链接预测算法也可以看作是利用知识图谱已有的语义信息做推理，这在一些应用例如问答系统中是非常有帮助的。在知识图谱的链接预测算法，一些研究者进一步引出了可解释性问题的研究。其不仅仅是作出链接预测，还需要解释作出这样选择原因，表示为一条解释性的路径，相关工...
【技术保护点】
1.一种基于强化学习和知识图谱的故障溯因方法，其特征在于，所述故障溯因方法包括以下步骤：/n(1)构建应用场景的设备知识图谱，提取每时刻的故障设备节点和对应根因设备节点组成根因对，该根因对与出现故障时刻的场景告警信息、设备知识图谱形成一个样本实例，编码样本实例，得到包含设备的节点表示、告警信息表示的样本实例表示，根据根因对编码得到根因关系表示；/n(2)基于强化学习构建包括环境状态构建单元和决策确定单元的策略网络，所述环境状态构建单元用于根据样本实例表示和根因关系表示构建环境状态信息，所述决策确定单元用于根据环境状态信息确定下一时刻的动作决策；/n(3)根据设定的时间步长阈...
【技术特征摘要】
1.一种基于强化学习和知识图谱的故障溯因方法，其特征在于，所述故障溯因方法包括以下步骤：
(1)构建应用场景的设备知识图谱，提取每时刻的故障设备节点和对应根因设备节点组成根因对，该根因对与出现故障时刻的场景告警信息、设备知识图谱形成一个样本实例，编码样本实例，得到包含设备的节点表示、告警信息表示的样本实例表示，根据根因对编码得到根因关系表示；
(2)基于强化学习构建包括环境状态构建单元和决策确定单元的策略网络，所述环境状态构建单元用于根据样本实例表示和根因关系表示构建环境状态信息，所述决策确定单元用于根据环境状态信息确定下一时刻的动作决策；
(3)根据设定的时间步长阈值内动作决策结果构建奖励值，依据该奖励值构建损失函数，利用该损失函数更新策略网络参数、节点表示、告警信息表示、根因关系表示；
(4)应用时，以故障设备节点的节点表示、告警信息表示以及对应的根因关系表示作为策略网络的输入，利用策略网络获得接下来每个时刻里连接的设备节点，依据连接的每个设备节点追溯得到故障设备节点对应的根因设备节点。
2.如权利要求1所述的基于强化学习和知识图谱的故障溯因方法，其特征在于，所述环境状态构建单元构建的环境状态信息st＝[mt；ht；at]，其中，st表示t时刻的全局环境状态信息，其由t时刻的节点状态信息mt、历史状态信息ht以及节点注意力信息at通过符号；拼接而成。
3.如权利要求2所述的基于强化学习和知识图谱的故障溯因方法，其特征在于，根据设备的节点表示和根因关系表示构建节点状态信息mt为：
mt＝[et；fq(estart,rcause)]
其中，et为t时刻设备的节点表示，estart为故障设备的节点表示，rcause为故障设备节点对应的根因关系表示，fq(estart,rcause)为对estart和rcause的融合操作。
4.如权利要求2所述的基于强化学习和知识图谱的故障溯因方法，其特征在于，利用LSTM获得历史状态信息ht为：
ht＝LSTM[ht-1；mt]
其中，ht-1为t-1时刻的LSTM输出的隐含层向量作为t-1时刻的历史状态信息，LSTM[ht-1；mt]表示将ht-1与mt通过符号；拼接后输入至LSTM得到的t-1时刻的历史状态信息ht，该历史状态信息ht可以来记录整条故障溯因路径的信息。
5.如权利要求2所述的基于强化学习和知识图谱的故...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。