基于复合神经网络的语义关系推断系统和方法技术方案

本发明专利技术实施例提供一种基于复合神经网络的语义关系推断系统和方法。所述系统包括特征提取单元、训练单元以及决策单元，所述训练单元包括双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型，特征提取单元，用于提取输入文本的词向量输出至所述训练单元；训练单元，用于接收所述词向量，将需要匹配的两个文本的词向量分别进行双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型的训练，将各模型输出的结果向量输出至决策单元；决策单元，用于接收训练单元输入的结果向量，通过梯度增强决策树进行整合后输出需要匹配的两个文本的语义关系。本发明专利技术实施例能够提高同义词语义关系检测的精准度。

Semantic relation inference system and method based on Compound Neural Network

【技术实现步骤摘要】
基于复合神经网络的语义关系推断系统和方法
本专利技术实施例涉及自然语言处理
，尤其涉及一种基于复合神经网络的语义关系推断系统和方法。
技术介绍
随着深度学习的兴起，基于神经网络的语义分析成为研究热点，同义词、近义词语义关系的检测成为推断短文本上下文关系的关键。目前，提高语义关系推断的方法精准性的方式主要是通过大量的人工特征提取。通常是基于业务情况、数据状况进行的针对性提取。例如，对常见的业务同义词进行统一化等。但是该方法的精准性提升通常很难迁移到另外的数据集上。同时，人工特征提取将占用系统构建的大部分时间。
技术实现思路
本专利技术实施例提供一种基于复合神经网络的语义关系推断系统和方法，用以解决现有技术中语义关系推断精准度低的问题。第一方面，本专利技术实施例提供一种基于复合神经网络的语义关系推断系统，所述系统包括特征提取单元、训练单元以及决策单元，所述训练单元包括双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型，其中：所述特征提取单元，用于提取输入文本的词向量输出至所述训练单元；所述训练单元，用于接收所述词向量，将需要匹配的两个文本的词向量分别进行双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型的训练，将各模型输出的结果向量输出至所述决策单元；所述决策单元，用于接收所述训练单元输入的结果向量，通过梯度增强决策树进行整合后输出需要匹配的两个文本的语义关系。第二方面，本专利技术实施例提供一种复合神经网络的语义关系推断方法，所述方法包括：提取输入文本的词向量；对所述词向量分别进行双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型的训练；将各模型输出的结果向量进行整合后输出需要匹配的两个文本的语义关系。第三方面，本专利技术实施例还提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第二方面提供的方法。第四方面，本专利技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第二方面提供的方法。本专利技术实施例通过将词向量分别进行双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型的训练，再通过梯度增强决策评判出词向量的语义关系，能够提高同义词语义关系检测的精准度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的基于复合神经网络的语义关系推断系统的结构示意图；图2为本专利技术一实施例提供的双生长短期记忆神经网络模型的网络结构示意图；图3为本专利技术一实施例提供的分解焦距模型的网络结构示意图；图4为本专利技术一实施例提供的增强序列推断模型的网络结构示意图；图5为本专利技术一实施例提供的基于复合神经网络的语义关系推断方法的流程示意图；图6为本专利技术一实施例提供的电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1示出了本专利技术实施例提供的基于复合神经网络的语义关系推断系统的结构示意图。如图1所示，所述系统包括特征提取单元11、训练单元12以及决策单元13，所述训练单元包括双生长短期记忆神经网络模型121、分解焦距模型122以及增强序列推断模型123，其中：所述特征提取单元，用于提取输入文本的词向量输出至所述训练单元；具体地，本专利技术实施例可以使用预训练的词向量模型或自行对原始文本进行训练生成词向量。所述训练单元，用于接收所述词向量，将需要匹配的两个文本的词向量分别进行双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型的训练，将各模型输出的结果向量输出至所述决策单元；具体地，本专利技术实施例将需要匹配的两个文本的词向量输入到训练单元，使用数据集对训练单元中的三个模型分别进行训练。最终，将三个模型输出的结果向量作为嵌入向量输出至决策单元。所述决策单元，用于接收所述训练单元输入的匹配结果向量，通过梯度增强决策树进行整合后输出需要匹配的两个文本的语义关系。具体地，决策单元采用梯度增强决策树对训练单元输入的嵌入向量进行最终整合，得到两个文本的词向量的语义关系的评判结果，评判出两个文本的词向量是否为同义词或近义词，从而得出文本的语义关系。本专利技术实施例通过将词向量分别进行双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型的训练，再通过梯度增强决策评判出词向量的语义关系，能够提高同义词语义关系检测的精准度。同时，基于神经网络的特征自动提取，减少了系统构建中人工特征选取与构建的工作量，使本专利技术的适用范围更广，能够更方便快速地实现语义关系的推断。在上述实施例的基础上，所述双生长短期记忆神经网络模型包括：第一输入模块，用于将需要匹配的两个文本的词向量分别输入到两个长短期记忆神经网络，得到两个文本的最终隐藏状态；第一训练模块，将两个文本的最终隐藏状态的归一化后的差值作为预测标签进行训练；第一输出模块，用于将训练得的两个文本的最终隐藏状态进行向量拼接，输出至所述决策单元。图2示出了本专利技术实施例提供的双生长短期记忆神经网络模型的网络结构示意图。如图2所示，本专利技术实施例提供的双生长短期记忆神经网络(SiameseLongShort-termMemory，SiameseLSTM)模型包括两个长短期记忆神经网络(LSTM-A和LSTM-B)，训练过程为：将需要匹配的两个文本分别输入到两个LSTM网络中；将LSTM-A和LSTM-B的最终隐藏状态求得归一化后的差值作为预测标签，和数据集提供的标签进行匹配训练，预测标签的计算公式为：exp(-||h2A-h3B||1)训练完成后，使用时将LSTM-A和LSTM-B的最终隐藏状态进行向量拼接并输入到最终的梯度增强决策树模型中。在上述实施例的基础上上，所述分解焦距模型包括：第二输入模块，用于将需要匹配的两个文本的词向量输入到一个分解聚焦矩阵，得到两个词向量位置的对位词向量；第二训练单元，用于将对位词向量和相应位置的原词向量的比较结果输入到前馈神经网络进行训练；第二输出单元，用于将训练得的两个文本的位置比较结果池化后的向量进行拼接，输出至所述决策单元。图3示出了本专利技术实施例提供的分解焦距模型的网络结构示意图。...

【技术保护点】
1.一种基于复合神经网络的语义关系推断系统，其特征在于，所述系统包括特征提取单元、训练单元以及决策单元，所述训练单元包括双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型，其中：/n所述特征提取单元，用于提取输入文本的词向量输出至所述训练单元；/n所述训练单元，用于接收所述词向量，将需要匹配的两个文本的词向量分别进行双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型的训练，将各模型输出的结果向量输出至所述决策单元；/n所述决策单元，用于接收所述训练单元输入的结果向量，通过梯度增强决策树进行整合后输出需要匹配的两个文本的语义关系。/n

【技术特征摘要】
1.一种基于复合神经网络的语义关系推断系统，其特征在于，所述系统包括特征提取单元、训练单元以及决策单元，所述训练单元包括双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型，其中：
所述特征提取单元，用于提取输入文本的词向量输出至所述训练单元；
所述训练单元，用于接收所述词向量，将需要匹配的两个文本的词向量分别进行双生长短期记忆神经网络模型、分解焦距模型以及增强序列推断模型的训练，将各模型输出的结果向量输出至所述决策单元；
所述决策单元，用于接收所述训练单元输入的结果向量，通过梯度增强决策树进行整合后输出需要匹配的两个文本的语义关系。


2.根据权利要求1所述的系统，其特征在于，所述双生长短期记忆神经网络模型包括：
第一输入模块，用于将需要匹配的两个文本的词向量分别输入到两个长短期记忆神经网络，得到两个文本的最终隐藏状态；
第一训练模块，将两个文本的最终隐藏状态的归一化后的差值作为预测标签进行训练；
第一输出模块，用于将训练得的两个文本的最终隐藏状态进行向量拼接，输出至所述决策单元。


3.根据权利要求1所述的系统，其特征在于，所述分解焦距模型包括：
第二输入模块，用于将需要匹配的两个文本的词向量输入到一个分解聚焦矩阵，得到两个词向量位置的对位词向量；
第二训练单元，用于将对位词向量和相应位置的原词向量的比较结果输入到前馈神经网络进行训练；
第二输出单元，用于将训练得的两个文本的位置比较结果池化后的向量进行拼接，输出至所述决策单元。


4.根据权利要求1所述的系统，其特征在于，所述增强序列推断模型包括：
第三输入模块，用于将需要匹配的两个文本的词向量输入到一个双生长短期记忆神经网络，得到每一步两个文本的隐藏状态；
第四输入模块，用于将双生长短期记忆神经网络每一步的隐藏状态作为对应文本的位置编码，输入到一个分解聚焦矩阵，得到两个文本的对位局域编码；
第五输入模块，用于将两个文本的对位局域编码输入到一个长短期记忆神经网络，得到两个文本的隐藏状态；
第三输出单元，用于将两个文本的隐藏状态池化后的向量进行拼接，输出至所述决策单元。

<...

【专利技术属性】
技术研发人员：何广，朱琦，林鹏飞，袁源，覃玲华，毛仕文，陈开添，
申请(专利权)人：中国移动通信集团广东有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：广东;44