The invention discloses a natural language reasoning method for hierarchical semantic representation of image enhancement, which includes: acquiring natural language sentence pairs with heterogeneous data structure and corresponding image information; modeling the semantics of the natural language sentences at different granularity levels of word level, phrase level and sentence level respectively to obtain corresponding semantic representation; and utilizing corresponding image letters. Information is used to enhance the semantic representation of word level, phrase level and sentence level respectively. According to the semantic representation of word level, phrase level and sentence level after enhancement, the expression vectors of natural language sentence pairs are processed by matching method in natural language reasoning to judge the inferential relationship between two sentences in natural sentence pairs. This method can comprehensively and accurately understand and express the semantics of sentences, then efficiently model the semantic interaction between two sentences, and finally accurately judge the semantic inference relationship between two sentences.
【技术实现步骤摘要】
图像增强的层次化语义表示的自然语言推理方法
本专利技术涉及深度学习和自然语言理解
,尤其涉及一种图像增强的层次化语义表示的自然语言推理方法。
技术介绍
自然语言推理(NaturalLanguageInference,NLI)是自然语言理解领域的一个重要组成部分,要解决的主要问题是判断前提句子(PremiseSentence)与假设句子(HypothesisSentence)之间存在的语义推断关系。该关系主要分为三类:1)Entailment:假设句子的语义可以从前提句子的语义中推断出来,2)Contradiction:假设句子的语义无法从前提句子的语义中推断出来;3)Neutral:无法判断假设句子和前提句子之间的语义关系。因此该任务要解决的一个首要问题是自然语言句子的语义表示。自然语言句子的语义表示是自然语言理解甚至人工智能领域一个基础但极其重要的研究内容,无论是基础的信息检索,语义抽取,还是复杂的问答系统,对话系统,都需要对输入句子的语义有一个精准的表示,这样才能保证机器理解人类复杂的语言系统;而自然语言推理相对于这些自然语言理解领域的其他问题,更专注于自然语言句子的语义理解与表示,这不仅保证相关技术的语义理解质量,同时一些成熟的技术可以迅速迁移到自然语言理解的其他领域,为其提供重要的技术支持。因此,自然语言推理一直是自然语言理解领域探索的一个基础但十分重要的研究方向。目前,关于自然语言推理的方法主要有以下方法:1)基于句子表示的方法基于句子表示的方法主要是通过不同的神经网络结构,例如卷积神经网络(ConvolutionalNeuralNetwo ...
【技术保护点】
1.一种图像增强的层次化语义表示的自然语言推理方法,其特征在于,包括:获取具有异构数据结构的自然语言句子对和对应的图像信息;对所述自然语言句子对分别进行词级别、短语级别与句子级别的不同粒度的语义建模,获得相应的语义表示;利用对应的图像信息,分别对词级别、短语级别与句子级别的语义表示进行增强处理;根据增强处理后的词级别、短语级别与句子级别的语义表示,利用自然语言推理中的匹配方法处理得到的自然语言句子对的表示向量,以此判断自然句子对中两个句子之间的推断关系。
【技术特征摘要】
1.一种图像增强的层次化语义表示的自然语言推理方法,其特征在于,包括:获取具有异构数据结构的自然语言句子对和对应的图像信息;对所述自然语言句子对分别进行词级别、短语级别与句子级别的不同粒度的语义建模,获得相应的语义表示;利用对应的图像信息,分别对词级别、短语级别与句子级别的语义表示进行增强处理;根据增强处理后的词级别、短语级别与句子级别的语义表示,利用自然语言推理中的匹配方法处理得到的自然语言句子对的表示向量,以此判断自然句子对中两个句子之间的推断关系。2.根据权利要求1所述的一种图像增强的层次化语义表示的自然语言推理方法,其特征在于,所述自然语言句子对包括:前提句子与假设句子;所述前提句子和假设句子的推理关系由专家标注,对应的图像信息由生成文本数据时自动获得。3.根据权利要求1所述的一种图像增强的层次化语义表示的自然语言推理方法,其特征在于,所述对所述自然语言句子对分别进行词级别、短语级别与句子级别的不同粒度的语义建模,获得相应的语义表示包括:使用统一的数学形式表示自然语言句子对:对于自然语言句子对中的前提句子用表示其由m个单词组成的文本;对于自然语言句子对中的假设句子用表示其由n个单词组成的文本;其中,Sa与Sb中的每一元素均表示一个单词;Sa与Sb中的所有单词构成一个词典V,其大小用lv表示;Sa和Sb中的每一个元素都用一个独热向量表示,向量长度为词典的大小,每个单词的独热向量中只有其在词典中对应的索引位置为1,其他均为0;在此基础上,使用预训练好的词向量矩阵E得到每个单词的低维特征表示,也即词级别的语义表示:其中,和分别表示前提句子Sa中第i个单词和假设句子Sb中第j个单词,Siwa、对应于前提句子Sa中第i个单词和假设句子Sb中第j个单词的词级别的语义表示;之后,使用一维卷积分别处理两个句子的词级别的语义表示,从而得到两个句子在短语级别的语义表示:其中,Conv1D表示一维卷积操作,Sga和Sgb分别表示前提句子和假设句子在短语级别的语义表示集合;门结构循环网络GRU分别对前提句子和假设句子进行建模,得到每个句子中的每个单词的隐含状态序列hi表示,对于t时刻的输入xt,GRU的隐含状态ht更新如下:z=σ(xtUz+ht-1Wz)r=σ(xtUr+ht-1Wr)其中,z,r,cm分别是GRU的更新门、重置门、记忆单元,Uz与Wz为更新门的参数矩阵,Ur与Wr为重置门的参数矩阵,Uh与Wh为记忆单元的参数矩阵,表示点乘;xt表示前提句子Sa或假设句子Sb中第t个单词的短语级别语义表示或σ表示Sigmoid激活操作;利用GRU编码每个句子中每个单词的短语级别语义表示,得到每个句子中单词之间相互依赖的隐层表示,公式如下:其中,和分别表示前提句Sa中第i个单词和假设句子Sb中第j个单词在句子级别的语义表示;表示前提句子Sa中从第1个短语级别的语义表示到第i'个短语级别的语义表示的集合,表示假设句子Sb中从第1个短语级别的语义表示到第j'个短语级别的语义表示的集合。4.根据权利要求1所述的一种图像增强的层次化语义表示的自然语言推理方法,其特征在于,所述利用对应的图像信息,分别对词级别、短语级别与句子级别的语义表示进行增强处理的过程包括:首先,利用数学形式表示图像信息I,将图像信息输入至神经网络模型,将神经网络模型最后一个卷积层的结果作为图像信息的特征序列表示,表示为C=(c1,c...
【专利技术属性】
技术研发人员:陈恩红,刘淇,张琨,吕广奕,吴乐,武晗,
申请(专利权)人:中国科学技术大学,
类型:发明
国别省市:安徽,34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。