一种文本语义关系提取方法及系统技术方案

本发明专利技术公开了一种文本语义关系提取方法及系统，获取文本信息，将文本信息向量化，提取文本局部特征；将文本局部特征输入至预先训练好的双向LSTM模型，引入注意力机制对双向LSTM模型的输入与输出之间的相关性进行重要度计算，根据重要度获取文本整体特征；将局部特征和整体特征进行特征融合，通过分类器输出分类结果。优点：基于长短期记忆模型（LSTM）网络，并引入注意力机制算法，采用LSTM模型来避免CNN和RNN的长距离依赖问题，并采用注意力机制更好地考虑了模型输入和输出的相关性问题，充分提取文本局部特征对实体概念进行提取，提升电网检修本体概念提取的速度和准确率。

A text semantic relation extraction method and system

【技术实现步骤摘要】
一种文本语义关系提取方法及系统
本专利技术涉及一种文本语义关系提取方法及系统，属于本体概念提取

技术介绍
随着网络技术的快速发展，互联网为人们创造了一个很好的交互平台。如何有效地在海量的网络大数据中为用户提取出有价值的信息，也面临着巨大的挑战。基于语义的信息处理能有效地解决上述问题。作为一种共享的概念化模型，本体在语义分析中起着至关重要的作用。领域本体学习是一种针对特定的领域自动的获取该领域本体中的概念和概念间关系的学习方法，随着电网行业与互联网信息技术的迅速发展，电网检修对领域本体的自动学习提出了更高、更大的需求。在我国电网检修领域，一些研究人员已将本体和语义网技术应用于电网检修应急管理领域，通过“领域词典”构建了应急决策领域本体，该本体以领域本体为基础，通过基于语义查询转换和语义检索与推理实现了应急检修初始方案的生成，提高了应急决策的智能性。随着时代的进步和发展，现有的领域本体已经不足以支持电网检修领域知识的表达，丰富领域本体知识并提升本体提取的准确率已经成为一个迫切需要解决的问题。另外，手工进行本体构建是一个既费时又低效的工作，如何有效的提高本体自动更新的效率是当前需要克服的技术难题。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术的缺陷，提供一种文本语义关系提取方法及系统。为解决上述技术问题，本专利技术提供一种文本语义关系提取方法，获取文本信息，将文本信息向量化，提取文本局部特征；将文本局部特征输入至预先训练好的双向LSTM模型，引入注意力机制对双向LSTM模型的输入与输出之间的相关性进行重要度计算，根据重要度确定文本整体特征；将局部特征和整体特征进行特征融合，通过分类器输出分类结果。进一步的，所述双向LSTM模型的训练过程为：获取LSTM训练样本，采集电网调度日检修申请票数据和调度日志，作为LSTM训练样本；电网调度日检修申请票和调度日志可以从调度系统中获得，针对一张检修票或调度日志，应该收集的数据包括：设备信息、设备参数、故障信息、检修方式等；使用LSTM训练样本训练双向LSTM模型：其中，it，ft，ct，ot，ht分别是LSTM的输入门，遗忘门，记忆，输出门和隐藏状态的变量，gt表示当前输入的单元状态，σ表示逻辑sigmoid激活函数，tanh表示输出的激活函数，TD+m+n，n表示用学习到的参数所定义的实数空间RD+m+n到Rn的仿射变换，D表示提取器提取的样本向量维度，m和n分别表示嵌入矩阵和LSTM网络矩阵维度，E表示嵌入矩阵，E∈Rm*K，R表示实数集合，K表示样本词汇量，yt-1表示前一时刻的语义释义中间变量，表示随机变量，z是上下文向量，z∈RD；ct＝ft⊙ct-1+it⊙gtht＝ottanh(ct)⊙表示元素乘法，ct-1为注意力模型上一时刻状态。进一步的，通过下式确定ct，其中，atj为注意力机制给所有特征向量赋予的权重，hj为LSTM神经网络输出的特征向量序列，T表示特征向量总数，j表示第j个特征向量，exp(etj)表示以自然常数e为底的指数函数，etj表示输出特征值是对齐模型，代表时刻t的输入和时刻j的输出匹配程度的分数，etk同理，a表示计算etj的函数，va为全局的权值，wa为上一时刻注意力机制的状态的权值，ua为上一时刻的特征向量的权值。一种文本语义关系提取系统，包括获取模块、确定模块和输出模块；所述括获取模块，用于获取文本信息，将文本信息向量化，提取文本局部特征；所述确定模块，用于将文本局部特征输入至预先训练好的双向LSTM模型，引入注意力机制对双向LSTM模型的输入与输出之间的相关性进行重要度计算，根据重要度确定文本整体特征；所述输出模块，用于将局部特征和整体特征进行特征融合，通过分类器输出分类结果。进一步的，所述确定模块包括训练模块，用于获取LSTM训练样本，采集电网调度日检修申请票数据和调度日志，作为LSTM训练样本；使用LSTM训练样本训练双向LSTM模型：其中，it，ft，ct，ot，ht分别是LSTM的输入门，遗忘门，记忆，输出门和隐藏状态的变量，gt表示当前输入的单元状态，σ表示逻辑sigmoid激活函数，tanh表示输出的激活函数，TD+m+n，n表示用学习到的参数所定义的实数空间RD+m+n到Rn的仿射变换，D表示提取器提取的样本向量维度，m和n分别表示嵌入矩阵和LSTM网络矩阵维度，E表示嵌入矩阵，E∈Rm*K，R表示实数集合，K表示样本词汇量，yt-1表示前一时刻的语义释义中间变量，表示随机变量，z是上下文向量，z∈RD；ct＝ft⊙ct-1+it⊙gtht＝ottanh(ct)⊙表示元素乘法，ct-1为注意力模型上一时刻状态。进一步的，所述训练模块包括记忆变量确定模块，用于通过下式确定ct，其中，atj为注意力机制给所有特征向量赋予的权重，hj为LSTM神经网络输出的特征向量序列，T表示特征向量总数，j表示第j个特征向量，exp(etj)表示以自然常数e为底的指数函数，etj表示输出特征值是对齐模型，代表时刻t的输入和时刻j的输出匹配程度的分数，etk同理，a表示计算etj的函数，va为全局的权值，wa为上一时刻注意力机制的状态的权值，ua为上一时刻的特征向量的权值。本专利技术所达到的有益效果：基于长短期记忆模型(LSTM)网络，并引入注意力机制算法，采用LSTM模型来避免CNN和RNN的长距离依赖问题，并采用注意力机制更好地考虑了模型输入和输出的相关性问题，充分提取文本局部特征对实体概念进行提取，提升电网检修本体概念提取的速度和准确率,依据本体概念和关系提取，制定更科学化的电网检修方案，运用最为妥帖的检修方式，最大程度地减少人、财、物的消耗，提高检修效率，继而有效地提高电网安全运行水平和供电可靠性，提高社会效益和供电企业自身的经济效益。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。下面通过具体实施方式来进一步说明本专利技术的技术方案。一种将长短期记忆模型(LSTM)与注意力机制(AttentionMechanism)相结合的关系提取方法，首先将文本信息向量化，提取文本局部特征；然后将文本局部特征导入双向LSTM模型中，引入注意力机制对LSTM模型的输入与输出之间的相关性进行重要度计算，根据重要度获取文本整体特征；再将局部特征和整体特征进行特征融合，通过分类器输出分类结果。使用LSTM训练样本：it，ft，ct，ot，ht分别是LSTM的输入门，遗忘门，记忆，输出门本文档来自技高网...

【技术保护点】
1.一种文本语义关系提取方法，其特征在于，/n获取文本信息，将文本信息向量化，提取文本局部特征；/n将文本局部特征输入至预先训练好的双向LSTM模型，引入注意力机制对双向LSTM模型的输入与输出之间的相关性进行重要度计算，根据重要度确定文本整体特征；/n将局部特征和整体特征进行特征融合，通过分类器输出分类结果。/n

【技术特征摘要】
1.一种文本语义关系提取方法，其特征在于，
获取文本信息，将文本信息向量化，提取文本局部特征；
将文本局部特征输入至预先训练好的双向LSTM模型，引入注意力机制对双向LSTM模型的输入与输出之间的相关性进行重要度计算，根据重要度确定文本整体特征；
将局部特征和整体特征进行特征融合，通过分类器输出分类结果。


2.根据权利要求1所述的文本语义关系提取方法，其特征在于，所述双向LSTM模型的训练过程为：
获取LSTM训练样本，采集电网调度日检修申请票数据和调度日志，作为LSTM训练样本；
使用LSTM训练样本训练双向LSTM模型：



其中，it，ft，ct，ot，ht分别是LSTM的输入门，遗忘门，记忆，输出门和隐藏状态的变量，gt表示当前输入的单元状态，σ表示逻辑sigmoid激活函数，tanh表示输出的激活函数，TD+m+n，n表示用学习到的参数所定义的实数空间RD+m+n到Rn的仿射变换，D表示提取器提取的样本向量维度，m和n分别表示嵌入矩阵和LSTM网络矩阵维度，E表示嵌入矩阵，E∈Rm*K，R表示实数集合，K表示样本词汇量，yt-1表示前一时刻的语义释义中间变量，表示随机变量，z是上下文向量，z∈RD；
ct＝ft⊙ct-1+it⊙gt
ht＝ottanh(ct)
⊙表示元素乘法，ct-1为注意力模型上一时刻状态。


3.根据权利要求2所述的文本语义关系提取方法，其特征在于，通过下式确定ct，



其中，
atj为注意力机制给所有特征向量赋予的权重，hj为LSTM神经网络输出的特征向量序列，T表示特征向量总数，j表示第j个特征向量，exp(etj)表示以自然常数e为底的指数函数，etj表示输出特征值是对齐模型，代表时刻t的输入和时刻j的输出匹配程度的分数，etk同理，a表示计算etj的函数，va为全局的权值，wa为上一时刻注意力机制的状态的权值，ua为上一时刻的特征向量的权值。


4.一种文本语义关系提取系统，其特征在于，包括...

【专利技术属性】
技术研发人员：徐家慧，张晓营，武毅，林海峰，殷智，王刚，王燕，
申请(专利权)人：北京科东电力控制系统有限责任公司，
类型：发明
国别省市：北京;11