基于结构化注意力机制的答案选择系统及方法技术方案

本发明专利技术提出一种基于结构化注意力机制的答案选择系统及方法，系统包括：处理模块，处理模块用于根据tree LSTM处理输入的句子，以生成句子的语义表示；第一计算模块，计算模块用于根据句子的语义表示，计算问题和答案之间的注意力权重；第二计算模块，第二计算模块用于根据注意力权重计算出答案的最终表示。本发明专利技术能够更好地解决答案选择问题，在WikiQA数据集上取得了很好的效果。

Answer selection system and method based on structured attention mechanism

The invention provides a system including structured attention mechanism answer selection system and method based on processing module, processing module based on tree LSTM for processing the input sentence, the sentence semantic representation; the first computing module, calculation module for the sentence according to the semantic representation, calculation of attention weights between the question and answer; second calculation module, second calculation module is used to calculate the final weights according to the attention that the answer. The invention can better solve the problem of answer selection, and achieves good effect on the WikiQA data set.

【技术实现步骤摘要】

本专利技术涉及计算机程序基于组件对象的软件工程
，特别涉及一种基于结构化注意力机制的答案选择系统及方法。
技术介绍
答案选择(Answerselection)是问答系统中非常重要的一个子问题。在过去几年中，answerselection被广泛关注。其中，用深度学习的解决answerselection工作取得了很好的效果。其中端到端的注意力机制，在该问题上取得了最好的结果。端到端的attention计算了答案和问题之间的词语权重。然而，端到端的注意力机制，把整个语句看作一个有序的字符串，依次处理来生成句子的表示，这种表示方式没有考虑到句子之间的句法信息，以及句子之间的更复杂的联系。
技术实现思路
本专利技术旨在至少解决上述技术问题之一。为此，本专利技术的一个目的在于提出一种基于结构化注意力机制的答案选择系统，该系统能够更好地解决答案选择问题，在WikiQA数据集上取得了很好的效果。本专利技术的第二个目的在于提出一种基于结构化注意力机制的答案选择方法。为了实现上述目的，本专利技术第一方面的实施例提出了一种基于结构化注意力机制的答案选择系统，包括：处理模块，所述处理模块用于根据treeLSTM处理输入的句子，以生成所述句子的语义表示；第一计算模块，所述第一计算模块用于根据所述句子的语义表示，计算问题和答案之间的注意力权重；第二计算模块，所述第二计算模块用于根据所述注意力权重计算出所述答案的最终表示。另外，根据本专利技术上述实施例的基于结构化注意力机制的答案选择系统还可以具有如下附加的技术特征：在一些示例中，所述treeLSTM的计算过程如下式：在一些示例中，所述第二计算模块用于：利用averagepooling计算出问题的表示Oq：其中，Oq,i表示Oq的第i个元素，hqt,表示，hqt的第i个元素；在得到问题的表示之后，根据注意力机制计算答案的最终表示如下：Maq(t)＝Wamha(t)+WqmOq，在一些示例中，所述第二计算模块还用于：根据余弦相似度计算Oq和Oa之间的得分：S(Oq,Oa)＝Oq.Oa。在一些示例中，所述第二计算模块还用于：将hingeloss作为神经网络的目标函数，定义如下：其中，N表示所有负例答案的集合，M表示边界，s表示计算得分的函数，q表示问题，a+表示正例答案，a-表示负例答案。根据本专利技术实施例的基于结构化注意力机制的答案选择系统，利用treeLSTM来生成的句子的表示，然后在treeLSTM所计算出的词语表示上来计算attention，能够更好地解决答案选择问题，在WikiQA数据集上取得了很好的效果。为了实现上述目的，本专利技术第二方面的实施例提出了一种基于结构化注意力机制的答案选择方法，包括以下步骤：根据treeLSTM处理输入的句子，以生成所述句子的语义表示；根据所述句子的语义表示，计算问题和答案之间的注意力权重；根据所述注意力权重计算出所述答案的最终表示。另外，根据本专利技术上述实施例的基于结构化注意力机制的答案选择方法还可以具有如下附加的技术特征：在一些示例中，所述treeLSTM的计算过程如下式：在一些示例中，所述计算出所述答案的最终表示，进一步包括：利用averagepooling计算出问题的表示Oq：其中，Oq,i表示Oq的第i个元素，hqt,i表示，hqt的第i个元素；在得到问题的表示之后，根据注意力机制计算答案的最终表示如下：Maq(t)＝Wamha(t)+WqmOq，在一些示例中，还包括：根据余弦相似度计算Oq和Oa之间的得分：S(Oq,Oa)＝Oq.Oa。在一些示例中，还包括：将hingeloss作为神经网络的目标函数，定义如下：其中，N表示所有负例答案的集合，M表示边界，s表示计算得分的函数，q表示问题，a+表示正例答案，a-表示负例答案。根据本专利技术实施例的基于结构化注意力机制的答案选择方法，利用treeLSTM来生成的句子的表示，然后在treeLSTM所计算出的词语表示上来计算attention，能够更好地解决答案选择问题，在WikiQA数据集上取得了很好的效果。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是根据本专利技术实施例的基于结构化注意力机制的答案选择系统的结构框图；图2是根据本专利技术一个实施例的循环神经网络RNN的结构示意图；图3是根据本专利技术一个实施例的双向LSTM的结构示意图；图4是根据本专利技术一个实施例的treeLSTM的计算过程示意图；图5是根据本专利技术一个具体实施例的基于结构化注意力机制的答案选择系统的网络结构示意图；图6是根据本专利技术实施例的基于结构化注意力机制的答案选择方法的流程图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。以下结合附图描述根据本专利技术实施例的基于结构化注意力机制的答案选择系统及方法。图1是根据本专利技术一个实施例的基于结构化注意力机制的答案选择系统的结构框图。图5是根据本专利技术一个实施例的基于结构化注意力机制的答案选择系统的网络结构示意图。如图5所示，该系统的网络结构主要包括：embeddinglayer，treelstmlayer,poolinglayer,attentionlayer,scorelayer以及hingeloss。如图1所示，该系统100包括：处理模块110、第一计算模块120和第二计算模块130。其中，处理模块110用于根据treeLSTM处理输入的句子，以生成句子的语义表示。具体地说，循环神经网络(RecurrentNeuralNetworks，RNN)是一种常见的人工神经网络，网络中结点间的连接线形成有向环，RNN在许多自然语言处理任务中都有重要的应用。区别于前向反馈神经网络(Feed-forwardNeuralNetworks，FNN)中输入输出是相互独立的关系，RNN能够有效利用到上一时刻的输出结果。因此，RNN用来处理序列数据比较合适。理论上讲，RNN可以处理任意长的序列，但在实际中是做不到的。RNN在本文档来自技高网...

【技术保护点】
一种基于结构化注意力机制的答案选择系统，其特征在于，包括：处理模块，所述处理模块用于根据tree LSTM处理输入的句子，以生成所述句子的语义表示；第一计算模块，所述第一计算模块用于根据所述句子的语义表示，计算问题和答案之间的注意力权重；第二计算模块，所述第二计算模块用于根据所述注意力权重计算出所述答案的最终表示。

【技术特征摘要】
1.一种基于结构化注意力机制的答案选择系统，其特征在于，包括：处理模块，所述处理模块用于根据treeLSTM处理输入的句子，以生成所述句子的语义表示；第一计算模块，所述第一计算模块用于根据所述句子的语义表示，计算问题和答案之间的注意力权重；第二计算模块，所述第二计算模块用于根据所述注意力权重计算出所述答案的最终表示。2.根据权利要求1所述的基于结构化注意力机制的答案选择系统，其特征在于，所述treeLSTM的计算过程如下式：fjt＝σ(W(f)xj+U(f)hk+b(f))，hj＝oj⊙tanh(cj)。3.根据权利要求1所述的基于结构化注意力机制的答案选择系统，其特征在于，所述第二计算模块用于：利用averagepooling计算出问题的表示Oq：其中，Oq，i表示Oq的第i个元素，hqt，i表示，hqt的第i个元素；在得到问题的表示之后，根据注意力机制计算答案的最终表示如下：Maq(t)＝Wamha(r)+WqmOq，4.根据权利要求3所述的基于结构化注意力机制的答案选择系统，其特征在于，所述第二计算模块还用于：根据余弦相似度计算Oq和Oa之间的得分：S(Oq，Oa)＝Oq.Oa。5.根据权利要求4所述的基于结构化注意力机制的答案选择系统，其特征在于，所述第二计算模块还用于：将hingeloss作为神经网络的目标函数，定义如下：其中，N表示所有负例答案的集合，M表示边界，s表示计算得分的函数，...

【专利技术属性】
技术研发人员：徐华，贺星伟，邓俊辉，孙晓民，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11