航空领域故障分析事理图谱构建方法技术

本发明专利技术涉及一种航空领域故障分析事理图谱构建方法，其包括以下步骤，步骤1：基于实体标记的航空领域事件抽取；步骤2：基于集成学习实现航空领域事件关系抽取；步骤3：基于拷贝网络的抽象航空领域事件生成，构建故障分析事理图谱。本发明专利技术基于实体信息的标记位特征引入技术，应用软权重正则化及稳定权重衰减方法多项优化技术，基于集成学习的事件关系抽取和基于拷贝网络的抽象事件生成技术，结合航空领域场景，构建了完备的故障分析事理图谱；能有效提高事件抽取准确率，结合最新优化器技术，优化事件抽取模块，集成多种特征来获得比单个算法更好的预测性能。更好的预测性能。更好的预测性能。

【技术实现步骤摘要】
航空领域故障分析事理图谱构建方法


[0001]本申请涉及航空故障分析
，具体地涉及一种航空领域故障分析事理图谱构建方法。

技术介绍

[0002]事件是人类社会的核心概念之一，人们的社会活动往往是事件驱动的。事件之间在时间维度上相继发生的演化规律和模式是一种十分有价值的知识，挖掘这种事理逻辑知识对认识人类行为和社会发展变化规律非常有意义。众多类型的人类知识中，事理逻辑
‑
包括事件之间的顺承、因果等关系
‑
是一种非常重要且普遍存在的常识知识。
[0003]在航空领域中，尤其是航空制造业具有产业链长、结构层次多、配套复杂，研发、制造和服务跨地域等特征，随着航空制造业数字化转型不断推进，全寿命周期过程会产生大量多模态、跨领域、强关联数据，其中蕴含丰富的航空领域事理逻辑知识。
[0004]目前，航空领域缺少统一的数据治理体系以及针对航空领域数据特点的自动化知识加工和智能化应用的方法和工具，导致海量数据中的历史经验、逻辑知识等无法及时有效地总结和积累，严重影响航空制造业数字化转型过程中对共性数据和通用知识的智能化使用需求，需要进行自动化抽取及整合、关联。
[0005]本专利技术从大规模无结构化文本数据中自动获取事理逻辑知识，并将这些知识组织成有向有环图结构，用以描述事件之间的演化规律和模式。这样的知识库称之为“事理图谱”。本专利技术提出应用了软权重正则化及稳定权重衰减方法等多项优化技术，基于集成学习的事件关系抽取，及基于拷贝网络的抽象事件生成技术，结合航空领域场景，构建了完备的故障分析事理图谱。

技术实现思路

[0006]为了克服现有技术的不足，本专利技术基于实体信息的标记位特征引入技术，应用软权重正则化及稳定权重衰减方法多项优化技术，基于集成学习的事件关系抽取和基于拷贝网络的抽象事件生成技术，结合航空领域场景，构建故障分析事理图谱；能有效提高事件抽取准确率，结合最新优化器技术，优化事件抽取模块，集成多种特征来获得比单个算法更好的预测性能。
[0007]为实现上述目的，本专利技术所采用的解决方案为提供一种航空领域故障分析事理图谱构建方法，其包括以下步骤：
[0008]步骤1：基于实体标记的航空领域事件抽取；
[0009]基于第一BERT模型，利用实体标记实现航空领域事件抽取；首先，定义并识别航空领域事件；然后，进行触发词识别；最后，将实体识别标记加入航空领域事件中的字符串序列和触发词的信息作为输入，作为事件论元预测的输入，得到航空领域事件；
[0010]步骤2：基于集成学习实现航空领域事件关系抽取；
[0011]获取步骤1中的航空领域事件，结合基于文本分类的事件关系抽取和融合序列标
注特征的事件关系抽取，对航空领域事件中具有因果、顺承关系的航空领域事件对建立关联；
[0012]步骤21：基于文本分类实现航空领域事件特征抽取；
[0013]首先通过判断句子中的航空领域事件对是否具有指定的关系，从而将事件关系抽取转化为一个分类问题；包括将文本与事件进行拼接，通过第二BERT模型内置的CLS标记和SEP标记将原始文本和事件文本进行分隔，然后输入第二BERT模型进行特征抽取；
[0014]步骤22：将步骤1中的航空领域事件抽取的结果转换为序列标签，根据所述事件论元得到第一个事件的标签为Evt1，第二个事件的标签为Evt2，然后将序列标签与步骤21中的文本分类的CLS标记相结合；
[0015]步骤23：基于融合序列标注特征的航空领域事件关系抽取；
[0016]结合权重软正则化和稳定权重衰减法构建改进的AdamW优化器；使用第一BERT模型进行第二轮预测，并使用CLS标记处的特征，得到事件关系的标记分类；
[0017]所述的软权重正则化衰减模型，如下所示：
[0018]d
AdamW
＝
‑
ηλθ；
[0019]式中：d
AdamW
表示AdamW优化器权重衰减；η表示学习率；λ表示缩放权重衰减的参数；θ表示待优化的参数；
[0020]所述的稳定权重衰减法具体为在AdamW优化器中，使用梯度积累参数v
t
，对梯度和梯度的平方进行滑动平均，使得每次更新都和梯度历史值相关，如下所示：
[0021][0022]式中：v
t
表示t时刻梯度积累参数；β2表示滑动平均优化系数；v
t
‑1表示t
‑
1时刻梯度积累参数；g
t
表示t时刻稳定权重衰减法的梯度；
[0023]步骤3：基于拷贝网络的抽象航空领域事件生成，构建故障分析事理图谱；
[0024]获取步骤2中抽取到的航空领域事件关系，使用结合拷贝网络的生成模型，通过选择生成模式和拷贝模式，使得模型能够从输入中的航空领域事件关系中复制所需实体片段作为输出；在编码器部分，实体片段经过双向循环神经网络LSTM后得到编码状态h
t
；解码器为一个双向循环神经网络LSTM，将实体片段编码状态中的参考摘要词依次输入，在t时刻得到当前时间步的参考摘要词状态s
t
，最终输出事理图谱；具体为：
[0025]首先，确定抽象航空领域事件输入位置的注意力分数；构建输入位置的注意力分数向量，确定归一化后得到的权重向量；在时间t时，根据输入序列的隐藏状态的加权和，计算航空领域事件关系词汇概率，如下所示：
[0026][0027]式中：P
vocab
表示航空领域事件词汇概率；p表示航空领域事件词汇概率函数；softmax表示归一化函数；V
′
表示第一词汇概率矩阵；V表示第二词汇概率矩阵；s
t
表示t时刻得到当前时间步的状态；表示航空领域上下文向量；b表示第一词汇概率偏置向量；b
′
表示第二词汇概率偏置向量；ω表示航空领域事件词汇概率系数；
[0028]然后，在编码器部分，增加生成概率p
gen
的获取方法如下所示：
[0029][0030]式中：p
gen
表示增加生成概率；σ表示增加生成概率指数；表示航空领域上下文向量权重系数；表示状态的权重系数；表示输入向量的权重系数；x
t
表示第t个时间步的输入向量；b
ptr
表示增加生成概率偏置向量；
[0031]最后，通过增加生成概率p
gen
决定下一个参考摘要词是从原文中复制或通过序列到序列模型seq2seq的方式生成，从而构建出航空领域故障分析事理图谱。
[0032]可优选的是，所述第一BERT模型、第二BERT模型、改进的AdamW优化器、双向循环神经网络LSTM和编解码结构seq2seq，具体为：
[0033]所述第一BERT模型和第二BERT模型分别基于Transformer Encoder构建，以无监督的方式利用多个无标注本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种航空领域故障分析事理图谱构建方法，其特征在于，其包括以下步骤：步骤1：基于实体标记的航空领域事件抽取；基于第一BERT模型，利用实体标记实进行触发词识别现航空领域事件抽取；首先，定义并识别航空领域事件；然后，进行触发词识别；最后，将实体识别标记加入航空领域事件中的字符串序列和触发词的信息作为输入，作为事件论元预测的输入，得到航空领域事件；步骤2：基于集成学习实现航空领域事件关系抽取；获取步骤1中的航空领域事件，结合基于文本分类的事件关系抽取和融合序列标注特征的事件关系抽取，对航空领域事件中具有因果、顺承关系的航空领域事件对建立关联；步骤21：基于文本分类实现航空领域事件特征抽取；首先通过判断句子中的航空领域事件对是否具有指定的关系，从而将事件关系抽取转化为一个分类问题；包括将文本与事件进行拼接，通过第二BERT模型内置的CLS标记和SEP标记将原始文本和事件文本进行分隔，然后输入第二BERT模型进行特征抽取；步骤22：将步骤1中的航空领域事件抽取的结果转换为序列标签，根据所述事件论元得到第一个事件的标签为Evt1，第二个事件的标签为Evt2，然后将序列标签与步骤21中的文本分类的CLS标记相结合；步骤23：基于融合序列标注特征的航空领域事件关系抽取；结合权重软正则化和稳定权重衰减法构建改进的AdamW优化器；使用第一BERT模型进行第二轮预测，并使用CLS标记处的特征，得到事件关系的标记分类；所述的软权重正则化衰减模型，如下所示：d
AdamW
＝
‑
ηλθ；式中：d
AdamW
表示AdamW优化器权重衰减；η表示学习率；λ表示缩放权重衰减的参数；θ表示待优化的参数；所述的稳定权重衰减法具体为在AdamW优化器中，使用梯度积累参数v
t
，对梯度和梯度的平方进行滑动平均，使得每次更新都和梯度历史值相关，如下所示：式中：v
t
表示t时刻梯度积累参数；β2表示滑动平均优化系数；v
t
‑1表示t
‑
1时刻梯度积累参数；g
t
表示t时刻稳定权重衰减法的梯度；步骤3：基于拷贝网络的抽象航空领域事件生成，构建故障分析事理图谱；获取步骤2中抽取到的航空领域事件关系，使用结合拷贝网络的生成模型，通过选择生成模式和拷贝模式，使得模型能够从输入中的航空领域事件关系中复制所需实体片段作为输出；在编码器部分，实体片段经过双向循环神经网络LSTM后得到编码状态h
t
；解码器为一个双向循环神经网络LSTM，将实体片段编码状态中的参考摘要词依次输入，在t时刻得到当前时间步的参考摘要词状态s
t
，最终输出事理图谱；具体为：首先，确定抽象航空领域事件输入位置的注意力分数；构建输入位置的注意力分数向量，确定归一化后得到的权重向量；在时间t时，根据输入序列的隐藏状态的加权和，计算航空领域事件关系词汇概率，如下所示：式中：P
vocab
表示航空领域事件词汇概率；p表示航空领域事件词汇概率函数；softmax表
示归一化函数；V
′
表示第一词汇概率矩阵；V表示第二词汇概率矩阵；s
t
表示t时刻得到当前时间步的状态；表示航空领域上下文向量；b表示第一词汇概率偏置向量；b
′
表示第二词汇概率偏置向量；ω表示航空领域事件词汇概率系数；然后，在编码器部分，增加生成概率p
gen
的获取方法如下所示：式中：p
gen
表示增加生成概...

【专利技术属性】
技术研发人员：高龙，武铎，陶剑，秦晓瑞，孙郁文，董洪飞，
申请(专利权)人：中国航空综合技术研究所，
类型：发明
国别省市：