情境感知的双重注意力自然语言推理方法技术

本发明专利技术公开了一种情境感知的双重注意力自然语言推理方法，针对具有情境信息的自然语言句子对，运用多模态学习的方法和注意力机制，充分利用了文本，图像的信息，从而更准确理解句子所表达的语义以及在这样的语义下两个句子之间的交互，进而准确判断两个句子之间是否存在推理关系，同时还可以提供一种进行句子语义表征的方法，弥补了现有方法没有考虑句子所处的情境的弊端。

【技术实现步骤摘要】
情境感知的双重注意力自然语言推理方法
本专利技术涉及深度学习和自然语言理解
，尤其涉及一种情境感知的双重注意力自然语言推理方法。
技术介绍
自然语言推理(NaturalLanguageInference,NLI)是自然语言理解领域的一个重要组成部分，要解决的主要问题是判断是否可以从前提句子(PremiseSentence)推断出假设句子(HypothesisSentence)。因此自然语言推理要解决的一个首要问题是句子语义的理解，这有助于机器理解人类表达同一种意义的多种表达方式；其次，相对于自然语言理解领域的其他问题，例如对话系统，问答系统等不仅需要理解语义，同时需要兼顾生成过程中的可靠性和稳定性，自然语言理解专注于句子语义理解，这不仅保证相关技术的语义理解质量，同时相关技术可以便捷的迁移到其他场景，例如对话系统，问答系统中。因此，自然语言推理一直是自然语言理解领域探索的一个重要研究方向。目前，关于自然语言推理的方法主要有以下方法：1)基于句子表示的方法基于句子表示的方法主要是通过不同的神经网络结构，例如卷积神经网络(ConvolutionalNeuralNetwork，CNN)，循环神经网络(RecurrentNeuralNetwork，RNN)等抽取句子的特征信息，然后将这些特征信息映射到低维空间，得到句子表示的向量，最后通过一些分类方法判断两个句子之间的推理关系。2)基于词匹配的方法相对于基于句子表示的方法，词匹配的方法更关于两个句子中的词之间的匹配关系，通过注意力机制(AttentionMechanism)或者门结构(GateUnit)等方法计算不同词之间的相似度或者距离，这些方法可以从更细粒度上建模两个句子之间的交互，利用词之间的匹配信息建模两个句子之间的推理关系。上述自然语言推理方法都是集中于挖掘句子本身的信息，而在实际条件下，同一个句子可以根据所处情境的不同表达不同的意思，这些方法并没有利用句子的情境信息，因此缺乏对句子语义的精准理解。
技术实现思路
本专利技术的目的是提供一种情境感知的双重注意力自然语言推理方法，可以结合句子对的情境信息来获取句子的语义表示，从而准确的判断句子对中两个句子是否存在推理关系。本专利技术的目的是通过以下技术方案实现的：一种情境感知的双重注意力自然语言推理方法，包括：获取具有异构数据的包含情境信息的图像和对应的自然语言句子对；根据获取到的异构数据的图像和自然语言句子使用多模态学习的方法和注意力机制进行建模，获取自然语言句子对在图像注意力层的语义表示；根据自然语言句子对在图像注意力层的语义表示，使用注意力机制和循环神经网络进行建模，获取自然语言句子对在句子注意力层的语义表示；根据自然语言句子对在图像注意力层及句子注意力层的语义表示，利用自然语言推理中的匹配方法处理得到自然语言句子对的表示向量，以此判断自然语言句子对中两个句子之间是否存在推理关系。由上述本专利技术提供的技术方案可以看出，针对具有情境信息的自然语言句子对，运用多模态学习的方法和注意力机制，充分利用了文本，图像的信息，从而更准确理解句子所表达的语义以及在这样的语义下两个句子之间的交互，进而准确判断两个句子之间是否存在推理关系，同时还可以提供一种进行句子语义表征的方法，弥补了现有方法没有考虑句子所处的情境的弊端。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种情境感知的双重注意力自然语言推理方法的流程图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种情境感知的双重注意力自然语言推理方法，如图1所示，其主要包括：步骤11、获取具有异构数据的包含情境信息的图像和对应的自然语言句子对。本专利技术实施例中，每一条样例的异构数据包括：自然语言前提句子、自然语言假设句子以及对应的表示情境的图像；其中的前提句子和假设句子的推理关系由专家标注，对应的情境信息的图像由文本数据时自动获得。步骤12、根据获取到的异构数据的图像和自然语言句子使用多模态学习的方法和注意力机制进行建模，获取自然语言句子对在图像注意力层的语义表示。本步骤优选实施方式如下：使用统一的数学形式表示包含情境信息的图像和对应的自然语言句子对：对于图像，用I表示，是一个固定大小(如227*227*3)的三通道图，且每一个像素值在0到255之间；对于自然语言句子对中的前提句子用表示其由m个词组成的文本；对于自然语言句子对中的假设句子用表示其由n个词组成的文本；其中，Sa与Sb中的每一元素均表示一个词，可以由利用整个文本数据预训练好的自编码器(AutoEncoder)得到。对于图像表示，可以利用现有的模型，例如深度网络模型VGG或者残差网络模型ResNet处理，因为这些模型能够有效的抽取图像特征，因此抽取模型的最后一个卷积层的结果作为图像的特征表示，用c表示，从而得到了图像的低维特征表示，也即情境信息。Sa与Sb中的所有的不重复的词组成整个文本的词典V，词典V中每个词的向量表示由利用整个文本数据预训练好的自编码器得到，所有词的向量表示集合由E表示。由于自然语言文本，尤其是中文文本，有很多的比喻，象征等表现手法，因此每个词表示的并不一定是它的字面意思。为了更好的表示文本的语义信息，利用自编码器得到每个词的低维向量表示，并且将这些信息融入到每个词的向量表示当中，由如下公式表示：完成图像和文本句子的预处理之后，通过整合图像和文本信息，理解和学习在给定情境下的句子语义，得到句子的语义表示。具体如下：考虑到句子文本的词序列信息，采用门结构循环网络GRU分别对前提句子和假设句子进行建模，得到每个句子中的每个词的隐含状态序列hi表示，这样可以得到在考虑周围上下文的条件下每个词的深层语义表示，从而得到更加全面的句子语义理解，对于t时刻的输入xt，GRU的隐含状态ht更新如下：z＝σ(xtUz+ht-1Wz)r＝σ(xtUr+ht-1Wr)其中，z,r,cm分别是GRU的更新门，重置门，记忆单元，Uz与Wz为更新门的参数矩阵，Ur与Wr为重置门的参数矩阵，Uh与Wh为记忆单元的参数矩阵，表示点乘；在这里xt表示前提句子Sa或假设句子Sb中第t个词的低维向量表示。相对于长短期记忆网络(LSTM)，GRU在保证效果的基础上，拥有相对更少的门结构，计算速度更快。利用GRU编码每个句子中每个词的表示，得到每个句子中词之间相互依赖的隐层表示，公式如下：其中，GRU1表示前提句和假设句使用的是同一个GRU，分别表示前提句子Sa第i个词和假设句子Sb中第j个词的隐层状态表示，表示前提句子Sa中从第一个词开始到第i个词的词序列，表示假设句子Sb中从第一个词开始到第j个词的词序列。前文提到，同一个句子在不同情境下可以表达不同的语义，因此模型在理解本文档来自技高网...

【技术保护点】
1.一种情境感知的双重注意力自然语言推理方法，其特征在于，包括：获取具有异构数据的包含情境信息的图像和对应的自然语言句子对；根据获取到的异构数据的图像和自然语言句子使用多模态学习的方法和注意力机制进行建模，获取自然语言句子对在图像注意力层的语义表示；根据自然语言句子对在图像注意力层的语义表示，使用注意力机制和循环神经网络进行建模，获取自然语言句子对在句子注意力层的语义表示；根据自然语言句子对在图像注意力层及句子注意力层的语义表示，利用自然语言推理中的匹配方法处理得到自然语言句子对的表示向量，以此判断自然语言句子对中两个句子之间是否存在推理关系。

【技术特征摘要】
1.一种情境感知的双重注意力自然语言推理方法，其特征在于，包括：获取具有异构数据的包含情境信息的图像和对应的自然语言句子对；根据获取到的异构数据的图像和自然语言句子使用多模态学习的方法和注意力机制进行建模，获取自然语言句子对在图像注意力层的语义表示；根据自然语言句子对在图像注意力层的语义表示，使用注意力机制和循环神经网络进行建模，获取自然语言句子对在句子注意力层的语义表示；根据自然语言句子对在图像注意力层及句子注意力层的语义表示，利用自然语言推理中的匹配方法处理得到自然语言句子对的表示向量，以此判断自然语言句子对中两个句子之间是否存在推理关系。2.根据权利要求1所述的一种情境感知的双重注意力自然语言推理方法，其特征在于，所述自然语言句子对包括：前提句子与假设句子；所述前提句子和假设句子的推理关系由专家标注，对应的情境信息的图像由文本数据时自动获得。3.根据权利要求1所述的一种情境感知的双重注意力自然语言推理方法，其特征在于，所述根据获取到的异构数据的图像和自然语言句子使用多模态学习的方法和注意力机制进行建模，获取自然语言句子对在图像注意力层的语义表示包括：使用统一的数学形式表示包含情境信息的图像和对应的自然语言句子对：对于图像，用I表示，是一个固定大小的三通道图，且每一个像素值在0到255之间；对于自然语言句子对中的前提句子用表示其由m个词组成的文本；对于自然语言句子对中的假设句子用表示其由n个词组成的文本；其中，Sa与Sb中的每一元素均表示一个词；对于图像表示，利用深度网络模型VGG或者残差网络模型ResNet处理，模型的最后一个卷积层的结果作为图像的特征表示，用c表示；Sa与Sb中的所有的不重复的词组成整个文本的词典V，词典V中每个词的向量表示由利用整个文本数据预训练好的自编码器得到，所有词的向量表示集合由E表示；再利用由自编码器得到每个词的低维向量表示，并且将这些信息融入到向量表示当中，由如下公式表示：门结构循环网络GRU分别对前提句子和假设句子进行建模，得到每个句子中的每个词的隐含状态序列hi表示，这样可以得到在考虑周围上下文的条件下每个词的深层语义表示，从而得到更加全面的句子语义理解，对于t时刻的输入xt，GRU的隐含状态ht更新如下：z＝σ(xtUz+ht-1Wz)r＝σ(xtUr+ht-1Wr)其中，z,r,cm分别是GRU的更新门，重置门，记忆单元，Uz与Wz为更新门的参数矩阵，Ur与Wr为重置门的参数矩阵，Uh与Wh为记忆单元的参数矩阵，表示点乘；xt表示前提句子Sa或假设句子Sb中第t个词的低维向量表示；利用GRU编码每个句子中每个词的表示，得到每个句子中词之间相互依赖的隐层表示，公式如下...

【专利技术属性】
技术研发人员：陈恩红，刘淇，张琨，吕广奕，吴乐，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34