一种自然语言推理的神经网络架构制造技术

本发明专利技术公开了一种自然语言推理的神经网络架构，其特点是采用知识库、知识吸收门和语义关系预测架构的卷积神经网络，所述知识库中的每个知识以三元组表示；所述知识吸收门为上、下文感知的集合；所述卷积神经网络由前提句向量表示、假设句向量表示和句子间信息交互组成；所述语义关系预测基于句子交互后的信息对自然语言所表达的信息进行推理，并对两句子之间的语义关系进行预测。本发明专利技术与现有技术相比具有外部知识融入神经网络的特点，使引入的相关知识与句子表示结合，语义推理更准确，方法简便、高效，成本低廉，并且能够在不同数据领域之间进行迁移，具有广泛的实用意义，能够为智能问答系统、文本摘要系统等应用提供有效的解决方案。

【技术实现步骤摘要】
一种自然语言推理的神经网络架构
本专利技术涉及自然语言推理
，尤其是一种带外部知识的自然语言推理的神经网络架构。
技术介绍
感知和推理是人类和人工智能的核心，自然语言的推理是将前提和假设两句子的语义关系分为蕴含、矛盾和中立三类，具体而言，自然语言推理旨在确定给定的假设句是否可以从给定的前提句中通过逻辑推断出。例如，以“乔布斯创立苹果”为前提句，我们可以推断“乔布斯是苹果的创始人”这一假设句是真实的，因此我们将前提句与假设句之间的关系标记为“蕴含”。自然语言推理是评估模型语言理解能力的重要任务，因此，对问答系统、抽象文本摘要以及图像标注等自然语言处理是很有帮助和有益的。最近发布的大规模数据集，如斯坦福自然语言推理语料(SNLI)和多种类自然语言推理语料库(MultiNLI)，使得自然语言推理任务更加可行和准确。根据模型是否能够利用两句话之间的交互信息，所提出的模型可以分为基于编码的模型和使用交叉句子特征的交互式模型，基于编码的模型为单独编码前提和假设。现有技术的自然语言推理通常依赖于逻辑规则和手工构建的特征，这些特征耗费劳动力且难以泛化，很少研究关注融合外部词汇知识。基于神经网络的模型也只是端到端训练，输入只是文本或一系列词汇，而忽视了大量的背景知识，如前提为“今天下雨了，她很伤心”，假设为“她今天很快乐”的“SNLI”数据集例子，如果计算机无法从大量注释数据中学习有用或足够的信息来建模“伤心”和“快乐”的关系，也就是很难正确预测前提与该假设是相矛盾的关系。
技术实现思路
本专利技术的目的是针对现有技术的不足而设计的一种自然语言推理的神经网络架构，采用知库与知识吸收门架构的卷积神经网络系统，进行句子间的信息交互，使引入的相关知识与句子表示结合，从而进行更准确的语义推理，工作效率高，具有广泛的实用意义，能够为智能问答系统、文本摘要系统等应用提供有效的解决方案。本专利技术的目的是这样实现的：一种自然语言推理的神经网络架构，其特点是采用知识库、知识吸收门和语义关系预测架构的卷积神经网络系统，所述知识库采用“WordNet”和“Wikidata”知库，其库中的每个知识均以u＝(head(h)，relation(r)，tail(t))的三元组表示；其中，h和t是实体；r则是这两个实体之间的关系；所述知识吸收门表示为G＝{}(i＝1,2,…)的上、下文感知的集合；所述卷积神经网络由前提句向量表示、假设句向量表示和句子间信息交互组成；所述前提句向量表示和假设句向量表示采用长短时记忆网络“LSTM”对前提X和假设Y进行编码，分别得到基于上、下文的句子向量表示；所述句子间信息交互为编码后的知识融入前提句和假设句的向量表示中进行句子间的信息交互；所述语义关系预测基于句子交互后的信息对自然语言所表达的信息进行推理，并对两句子之间的语义关系进行预测。本专利技术与现有技术相比具有外部知识融入神经网络的特点，使引入的相关知识与句子表示结合，从而进行更准确的语义推理，能够更加全面有效地对句子语义进行推理，方法简便、高效，成本低廉，并且能够在不同数据领域之间进行迁移，具有广泛的实用意义，能够为智能问答系统、文本摘要系统等应用提供有效的解决方案。附图说明图1为本专利技术结构示意图。具体实施方式参阅附图1，本专利技术由知识库1、知识吸收门2、卷积神经网络3和语义关系预测4架构而成，所述知识库1采用“WordNet”和“Wikidata”知库，其库中的每个知识均以u＝(head(h)，relation(r)，tail(t))的三元组表示；其中，h和t是实体；r则是这两个实体之间的关系；所述知识吸收门2为G＝{}(i＝1,2,…)表示的上、下文感知组成的集合；所述卷积神经网络3由前提句向量表示31、假设句向量表示32和句子间信息交互33组成；所述前提句向量表示31和假设句向量表示32采用长短时记忆网络“LSTM”对前提X和假设Y进行编码，分别得到基于上、下文的句子向量表示；所述句子间的信息交互33为编码后的知识融入前提句和假设句的向量表示中进行句子间的信息交互；所述语义关系预测4基于句子交互后的信息对自然语言所表达的信息进行推理，并对两句子之间的语义关系进行预测。以下通过某一自然语言推理的具体实例，对本专利技术作进一步的详细说明。实施例1本专利技术按下述步骤进行自然语言推理：(一)、句子相关知识的收集和表示使用“WordNet”和“Wikidata”作为知识库1，其库中的每个知识都表示为一个三元组u＝(head(h)，relation(r)，tail(t))，其中h和t是实体，而r则是这两个实体之间的关系。以“快乐”的反义词“悲伤”为例，假设lp和lh分别为前提和假设的长度，将输入的前提定义为假设为其中xi表示前提中的第i个词，yj表示假设中的第j个词。对前提中的每个词xi来说，如果xi和假设中的词y属于知识库中的同一个三元组(u＝(xi,r,y))，则视这个元组为与句子相关的一条知识。收集的与词xi相关的知识表示为Ui＝{u1,u2,…,un}。同样的过程对假设句中的每个词都执行一遍。使用由前提句向量表示31、假设句向量表示32和句子间信息交互33组成的卷积神经网络3学习收集的知识Ui的向量表示并记为Ki，使用“TransE”算法对三元组中的实体和关系进行编码表示。将元组u＝(h，r，t)编码为向量vu，对h，r和t的向量表示取平均操作，得到维数为d的元组向量表示，收集的n个三元组被表示为：其中，为向量加操作，然后将v1:n作为输入，使用一个简单的“CNN”对其进行编码得到d维的向量Ki，卷及操作中将过滤器的维度为h×d，一个过滤器应用在h个三元组窗口上。(二)、前提句和假设句的编码表示在自然语言处理领域，为了保存序列信息，前提句向量表示31和假设句向量表示32采用长短时记忆网络“LSTM”对前提X和假设Y进行编码，分别得到基于上、下文的句子向量表示为：HX和HY：其中，“LSTM”表示“LSTM”单元；xt和yt分别为时刻t处的输入；h是单个“LSTM”单元的输出隐藏向量的维度为256，最后一个隐藏状态(HX和HY)为整个句子的表示。上述为基于长短时记忆网络的编码，为了让模型更好地理解句子的信息，采用知识吸收门2丰富句子的表达，在获得第i个词的向下文向量表示h之后，利用所收集的知识在重建该表示。由于收集的知识并非都是有效的，本专利技术设计了一个基于当前上、下文情况动态的决定知识吸收多少的知识吸收门2，其表示为G＝{gi}(i＝1,2,…)的上、下文感知的集合。句子中第i个词所对应的知识吸收门2表示为：gi＝σ(hi,Ki)。其中，Ki为编码得到的知识；σ(·)为sigmoid函数；gi为一个反应每个维度上知识相关度的向量。结合原始上、下文的表示hi和得到知识的表示Kj，得到知识丰富化的上下文表示为：h′i＝(1-gi)⊙hi+gi⊙Ki，其中，⊙为向量乘操作，最终得到带知识的句子表示HX和HY。(三)、信息交互句子间信息交互33将编码后的知识融入前提句和假设句的向量表示中得到知识丰富的句子表示，然后进行句子的交叉阅读以得到前提句和假设句的初步信息交互。人在评判两个句子之间的关系时，首先阅读前提，然后脑海中带着前提句中包含的信息去阅读假设句，为了实现这样的过程本文档来自技高网...

【技术保护点】
1.一种自然语言推理的神经网络架构，其特征在于采用知识库、知识吸收门和语义关系预测架构的卷积神经网络系统，所述知识库采用“WordNet”和“Wikidata”知库，其库中的每个知识均以u＝(head(h)，relation(r)，tail(t))的三元组表示；其中，h和t是实体；r则是这两个实体之间的关系；所述知识吸收门表示为G＝{gi}(i＝1,2,…)的上、下文感知的集合；所述卷积神经网络由前提句向量表示、假设句向量表示和句子间信息交互组成；所述前提句向量表示和假设句向量表示采用长短时记忆网络“LSTM”对前提X和假设Y进行编码，分别得到基于上、下文的句子向量表示；所述句子间信息交互为编码后的知识融入前提句和假设句的向量表示中进行句子间的信息交互；所述语义关系预测基于句子交互后的信息对自然语言所表达的信息进行推理，并对两句子之间的语义关系进行预测。

【技术特征摘要】
1.一种自然语言推理的神经网络架构，其特征在于采用知识库、知识吸收门和语义关系预测架构的卷积神经网络系统，所述知识库采用“WordNet”和“Wikidata”知库，其库中的每个知识均以u＝(head(h)，relation(r)，tail(t))的三元组表示；其中，h和t是实体；r则是这两个实体之间的关系；所述知识吸收门表示为G＝{gi}(i＝1,2,…)的上、下文感知的集合；...

【专利技术属性】
技术研发人员：杨燕，张琪，陈成才，贺樑，
申请(专利权)人：华东师范大学，上海智臻智能网络科技股份有限公司，
类型：发明
国别省市：上海,31