一种基于变量绑定和关系激活的自动问答方法技术

本发明专利技术属于自然语言处理领域，具体涉及一种基于变量绑定和关系激活的自动问答方法。旨在解决现有技术难以模拟人脑精确推理出结果的问题。本发明专利技术的方法包括对文本和问句进行编码，得到文本的语义信息和问句的查询语句，识别文本中的实体，并对实体进行映射和跟踪，利用第一动作网络理解语义信息，确定实体在逻辑规则中的位置，利用第二动作网络激活实体关系，将实体关系写入逻辑规则，得到意象图式，利用查询语句对意象图式进行检索，根据检索结果生成答案词。本发明专利技术将实体位置和实体关系写入逻辑规则之后形成意象图式，能够作为先验知识存在，无需依赖大量的数据，即可产生与人脑类似的变量和关系序列，产生正确答案。

【技术实现步骤摘要】
一种基于变量绑定和关系激活的推理方法
本专利技术属于自然语言处理领域，具体涉及一种基于变量绑定和关系激活的推理方法。
技术介绍
自动问答是自然语言处理中重要的组成部分，其表现形式通常为通过阅读文本，理解文本所包含的叙述段落，并针对段落内容给出的问句进行回答，自动问答需要能够精确理解文本中的概念和关系，并进行推理的能力。目前已有的自动问答方法是通过使用已有的命名实体识别、语义角色标注、句法分析工具得到句义表示，将句义表示代入逻辑规则，对段落中所有句子进行编码并直接存放，使用注意力机制进行多轮选择，生成答案词的连续表示，通过理解段落中的句子，并对段落进行记忆，选择有用的信息，对矩阵形式的外置记忆单元进行读写和寻址，从而完成对推理问题的问答。使用外置记忆单元和注意力机制的模型框架在自动问答时能够取得较好的效果，但是使用该模型框架对推理规则的理解所依赖的数据量过大，缺乏对概念范畴和对立关系(例如南、北)的先验知识，即使数据充分，也难以获得完全精确和类人的结果，当样本数量较少时，该模型框架在解决归纳演绎、位置推理等场景时存在很大的困难。以下述问题为例：1.Theredsquareisbelowthebluesquare.2.Theredsquareistotheleftofthepinkrectangle.问题1：Isthebluesquarebelowthepinkrectangle？问题2：Isthepinkrectangleabovethebluesquare？使用现有技术的自动问答方法，对于问题1和问题2的回答均为no，现有的自动问答方法难以理解上、下、左、右之间的关系特性，只能从统计共现的角度建立文本和问题到答案词的映射，在数据量充足时，可以得到高于90％的正确率，但是仍然不能模拟人类精确推理的结果。另外，现有技术中采用的模型是基于端对端的训练，获得的结果不具有足够的可解释性。因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。
技术实现思路
为了解决现有技术中的上述问题，即为了解决现有技术对数据量依赖过大而且缺乏对概念范畴和对立关系的先验知识，导致难以模拟人脑精确推理结果的问题，本专利技术提供了一种基于变量绑定和关系激活的推理方法，包括：通过词向量和编码模型对文本进行编码，得到所述文本的语义信息；识别所述文本的语义信息中的实体，对所述实体进行映射和跟踪；通过第一动作网络理解所述语义信息和问句，确定所述实体在逻辑规则中的位置，得到所述问句对应的查询语句；通过第二动作网络激活实体关系，并将所述实体关系写入所述逻辑规则，得到意象图式；利用所述查询语句对所述意象图式进行检索，得到检索结果，根据所述检索结果生成答案词。在上述方法的优选技术方案中，所述“通过词向量和编码模型对文本进行编码”，其方法为：将所述文本使用可训练的映射矩阵进行词向量表示，其中所述词向量作为所述文本的词粒度的编码，计算所述词向量ei(t)的具体公式为：其中，|V|表示总词表大小，d表示词向量的维度，A表示映射矩阵，xi,t表示t时刻的文本，表示实数构成的矩阵；使用编码模型将所述词向量拼接为句子向量，所述句子向量表示所述文本的语义信息，计算所述句子向量st的具体公式为：st＝concat(e1(t),e2(t),...en(t))，其中，concat表示字符串连接函数。在上述方法的优选技术方案中，所述编码模型为循环神经网络模型。在上述方法的优选技术方案中，所述“对所述实体进行映射和跟踪”，其方法为：使用命名空间为所述实体分配固定编号；当所述文本中出现相同的实体时，所述命名空间为所述相同的实体映射相同的编号。在上述方法的优选技术方案中，所述“通过第一动作网络理解所述语义信息和问句”之前，该方法还包括：使用全连接的感知机将所述句子向量进一步编码为隐层表示，其中，计算隐层语义ht的具体公式为：ht＝σ(Whidst)，其中，Whid表示神经网络权重，其中，dim(s)表示句子向量的维度，d表示词向量的维度，表示实数构成的矩阵，σ表示sigmoid激活函数，st表示句子向量。在上述方法的优选技术方案中，所述“确定所述实体在逻辑规则中的位置”，其方法为：使用全连接的感知机理解所述隐层语义，根据变量绑定的动作决策输出可行动作的分布，所述可行动作确定所述实体在逻辑规则中的位置，其中，计算所述变量绑定的动作决策的具体公式为：其中，softmax表示激活函数，Wbind表示变量绑定的动作网络参数，其中，dim(a)表示可行动作的个数，d表示词向量的维度，表示实数构成的矩阵，ht表示隐层语义，τ表示softmax激活函数中的温度常数。在上述方法的优选技术方案中，所述“通过第二动作网络激活实体关系”，其方法为：使用全连接的感知机理解所述隐层语义，通过第二动作网络的关系激活的动作决策计算要激活的实体关系，其中，计算所述关系激活的动作决策的具体公式为：其中，softmax表示激活函数，Wactiv表示关系激活的动作网络参数，ht表示隐层语义，τ表示softmax激活函数中的温度常数。在上述方法的优选技术方案中，所述第一动作网络与所述第二动作网络均为神经网络模型，其中，所述第一动作网络与所述第二动作网络的权重参数不同。在上述方法的优选技术方案中，所述意象图式由三元组进行表示，所述三元组包含第一、第二以及第三参数，所述实体作为第一或者第三参数，所述实体关系作为第二参数。在上述方法的优选技术方案中，所述意象图式包括部分-整体图示、始源-路径-终点图示以及链接图示。在上述方法的优选技术方案中，所述“利用所述查询语句对所述意象图式进行检索，得到检索结果”，其方法为：所述查询语句包括第一实体和实体关系，将所述查询语句输入所述意象图式进行检索，所述意象图式根据所述第一实体和所述实体关系生成第二实体，得到检索结果。在上述方法的优选技术方案中，所述“根据所述检索结果生成答案词”，其方法为：根据所述命名空间对所述检索结果进行反查询，得到所述检索结果对应的文本字符串，所述文本字符串作为答案词。本专利技术提供了一种基于变量绑定和关系激活的推理方法，包括利用词向量和编码模型对文本进行编码，得到文本的语义信息；识别文本的语义信息中的实体，对实体进行映射和跟踪；利用第一动作网络理解语义信息和问句，确定实体在逻辑规则中的位置，得到问句对应的查询语句；利用第二动作网络激活实体关系，并将实体关系写入逻辑规则，得到意象图式；利用查询语句对意象图式进行检索，得到检索结果，根据检索结果生成答案词。本专利技术通过动作网络识别文本中的实体，并且激活实体间的关系，将实体位置和实体关系写入逻辑规则进而形成意象图式，从而能够把空间结构映射到概念结构中，对感性经验进行压缩性描述，根据问句生成的查询语句对意象图式进行检索，能够根据当前的逻辑规则中的实体和实体关系，自动推导出和意象图式中已存在的其他实体之间的关系，并且作为长期记忆的先验知识存在，无需进行训练，从而不需要依赖大量的数据，即可产生与人脑类似的变量和关系序列，产生正确的答案。附图说明图1为本专利技术一种实施例的基于变量绑定和关系激活的推理方法的流程示意图；图2为本专利技术一种实施例的句子编码的流程示意图；图3为本专利技术一种实施例的基于变量绑定和关系激活的推理本文档来自技高网...

【技术保护点】
一种基于变量绑定和关系激活的推理方法，其特征在于，包括：通过词向量和编码模型对文本进行编码，得到所述文本的语义信息；识别所述文本的语义信息中的实体，对所述实体进行映射和跟踪；通过第一动作网络理解所述语义信息和问句，确定所述实体在逻辑规则中的位置，得到所述问句对应的查询语句；通过第二动作网络激活实体关系，并将所述实体关系写入所述逻辑规则，得到意象图式；利用所述查询语句对所述意象图式进行检索，得到检索结果，根据所述检索结果生成答案词。

【技术特征摘要】
1.一种基于变量绑定和关系激活的推理方法，其特征在于，包括：通过词向量和编码模型对文本进行编码，得到所述文本的语义信息；识别所述文本的语义信息中的实体，对所述实体进行映射和跟踪；通过第一动作网络理解所述语义信息和问句，确定所述实体在逻辑规则中的位置，得到所述问句对应的查询语句；通过第二动作网络激活实体关系，并将所述实体关系写入所述逻辑规则，得到意象图式；利用所述查询语句对所述意象图式进行检索，得到检索结果，根据所述检索结果生成答案词。2.根据权利要求1所述的基于变量绑定和关系激活的推理方法，其特征在于，所述“通过词向量和编码模型对文本进行编码”，其方法为：将所述文本使用可训练的映射矩阵进行词向量表示，其中所述词向量作为所述文本的词粒度的编码，计算所述词向量ei(t)的具体公式为：其中，|V|表示总词表大小，d表示词向量的维度，A表示映射矩阵，xi,t表示t时刻的文本，表示实数构成的矩阵；使用编码模型将所述词向量拼接为句子向量，所述句子向量表示所述文本的语义信息，计算所述句子向量st的具体公式为：st＝concat(e1(t),e2(t),...en(t))，其中，concat表示字符串连接函数。3.根据权利要求2所述的基于变量绑定和关系激活的推理方法，其特征在于，所述编码模型为循环神经网络模型。4.根据权利要求3所述的基于变量绑定和关系激活的推理方法，其特征在于，所述“对所述实体进行映射和跟踪”，其方法为：使用命名空间为所述实体分配固定编号；当所述文本中出现相同的实体时，所述命名空间为所述相同的实体映射相同的编号。5.根据权利要求4所述的基于变量绑定和关系激活的推理方法，其特征在于，所述“通过第一动作网络理解所述语义信息和问句”之前，该方法还包括：使用全连接的感知机将所述句子向量进一步编码为隐层表示，其中，计算隐层语义ht的具体公式为：ht＝σ(Whidst)，其中，Whid表示神经网络权重，其中，dim(s)表示句子向量的维度，d表示词向量的维度，表示实数构成的矩阵，σ表示sigmoid激活函数，st表示句子向量。6.根据权利要求5所述的基于变量绑定和关系激活的推理方法，其特征在于，所述“确定所述实体在逻辑规则中的位置”，其方法为：使用全连接的感知机理解所述隐层语义，根据变量绑定的动作决策输出...

【专利技术属性】
技术研发人员：许家铭，姚轶群，石晶，徐波，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11