一种文本语义关系提取方法及系统技术方案

本发明专利技术公开了一种文本语义关系提取方法及系统，获取文本信息，将文本信息向量化，提取文本局部特征；将文本局部特征输入至预先训练好的双向LSTM模型，引入注意力机制对双向LSTM模型的输入与输出之间的相关性进行重要度计算，根据重要度获取文本整体特征；将局部特征和整体特征进行特征融合，通过分类器输出分类结果。优点：基于长短期记忆模型（LSTM）网络，并引入注意力机制算法，采用LSTM模型来避免CNN和RNN的长距离依赖问题，并采用注意力机制更好地考虑了模型输入和输出的相关性问题，充分提取文本局部特征对实体概念进行提取，提升电网检修本体概念提取的速度和准确率。

A text semantic relation extraction method and system

【技术实现步骤摘要】
一种文本语义关系提取方法及系统
本专利技术涉及一种文本语义关系提取方法及系统，属于本体概念提取

技术介绍
随着网络技术的快速发展，互联网为人们创造了一个很好的交互平台。如何有效地在海量的网络大数据中为用户提取出有价值的信息，也面临着巨大的挑战。基于语义的信息处理能有效地解决上述问题。作为一种共享的概念化模型，本体在语义分析中起着至关重要的作用。领域本体学习是一种针对特定的领域自动的获取该领域本体中的概念和概念间关系的学习方法，随着电网行业与互联网信息技术的迅速发展，电网检修对领域本体的自动学习提出了更高、更大的需求。在我国电网检修领域，一些研究人员已将本体和语义网技术应用于电网检修应急管理领域，通过“领域词典”构建了应急决策领域本体，该本体以领域本体为基础，通过基于语义查询转换和语义检索与推理实现了应急检修初始方案的生成，提高了应急决策的智能性。随着时代的进步和发展，现有的领域本体已经不足以支持电网检修领域知识的表达，丰富领域本体知识并提升本体提取的准确率已经成为一个迫切需要解决的问题。另外，手工进行本体构建是一个既费本文档来自技高网...

【技术保护点】
1.一种文本语义关系提取方法，其特征在于，/n获取文本信息，将文本信息向量化，提取文本局部特征；/n将文本局部特征输入至预先训练好的双向LSTM模型，引入注意力机制对双向LSTM模型的输入与输出之间的相关性进行重要度计算，根据重要度确定文本整体特征；/n将局部特征和整体特征进行特征融合，通过分类器输出分类结果。/n

【技术特征摘要】
1.一种文本语义关系提取方法，其特征在于，
获取文本信息，将文本信息向量化，提取文本局部特征；
将文本局部特征输入至预先训练好的双向LSTM模型，引入注意力机制对双向LSTM模型的输入与输出之间的相关性进行重要度计算，根据重要度确定文本整体特征；
将局部特征和整体特征进行特征融合，通过分类器输出分类结果。


2.根据权利要求1所述的文本语义关系提取方法，其特征在于，所述双向LSTM模型的训练过程为：
获取LSTM训练样本，采集电网调度日检修申请票数据和调度日志，作为LSTM训练样本；
使用LSTM训练样本训练双向LSTM模型：



其中，it，ft，ct，ot，ht分别是LSTM的输入门，遗忘门，记忆，输出门和隐藏状态的变量，gt表示当前输入的单元状态，σ表示逻辑sigmoid激活函数，tanh表示输出的激活函数，TD+m+n，n表示用学习到的参数所定义的实数空间RD+m+n到Rn的仿射变换，D表示提取器提取的样本向量维度，m和n分别表示嵌入矩阵和LSTM网络矩阵维度，E表示嵌入矩阵，E∈Rm*K，R表示实数集合，K表示样本词汇量，yt-1表示前一时刻的语义释义中间变量，表示随机变量，z是上下文向量，z∈RD；
ct＝ft⊙ct-1+it⊙gt
ht＝ottanh(ct)
⊙表示元素乘法，ct-1为注意力模型上一时刻状态。


3.根据权利要求2所述的文本语义关系提取方法，其特征在于，通过下式确定ct，



其中，
atj为注意力机制给所有特征向量赋予的权重，hj为LSTM神经网络输出的特征向量序列，T表示特征向量总数，j表示第j个特征向量，exp(etj)表示以自然常数e为底的指数函数，etj表示输出特征值是对齐模型，代表时刻t的输入和时刻j的输出匹配程度的分数，etk同理，a表示计算etj的函数，va为全局的权值，wa为上一时刻注意力机制的状态的权值，ua为上一时刻的特征向量的权值。


4.一种文本语义关系提取系统，其特征在于，包括...

【专利技术属性】
技术研发人员：徐家慧，张晓营，武毅，林海峰，殷智，王刚，王燕，
申请(专利权)人：北京科东电力控制系统有限责任公司，
类型：发明
国别省市：北京;11