【技术实现步骤摘要】
一种基于自适应融合多注意力网络的问题和答案匹配方法
本专利技术涉及自然语言处理
，更具体的，涉及一种基于自适应融合多注意力网络的问题和答案匹配方法。
技术介绍
深度学习具有很强的函数拟合能力，利用深度学习进行答案选择任务，具有运行速度快便于计算，优于传统效果等优点。通过精心设计网络结构，模拟人在进行答案选择时的思维过程，预期应该可以得到很好的效果。从前人的研究中，我们得知问题表征的学习在答案选择中有着非常重要的作用。一个好的答案选择模型，应该要能生成高质量的问题向量和答案向量，并且全面的捕捉问题与答案中的交互关系。实际上很难让一个简单的自注意力网络能够对所有问题都收集到有用的信息，因为一个双层前向网络的拟合能力有限。另外由于其时序特性，训练起来也比一般的全连接网络更困难。显然难以具备对所有问题都适用的收集信息的能力。一个方法是使用多个自注意力网络，然后强迫每个自注意力网络各自关注句子中的不同部分。它在训练时引入一个惩罚项，使得不同的自注意力网络产生的权值越相似，这个额外的惩罚损失就越大，从而达到强迫关注不同部分的目的。...
【技术保护点】
1.一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，包括以下步骤：/nS1：分别将问题和答案里的每个单词都转化为词向量，并对问题和答案中的词向量进行编码，得到问题和答案的词向量序列；/nS2：根据词向量序列使用多个自注意网络提取一个问题中不同方面的信息，并分别编码为不同的问题向量；/nS3：使用序列注意力网络为每个问题向量生成对应的答案向量；/nS4：计算出每个问题向量及其对应的答案向量的匹配度得分，并通过评估出一个问题中每个问题向量的权重以自适应地融合多个方面信息的匹配度得分，根据融合后的匹配度得分进行问题和答案的匹配。/n
【技术特征摘要】
1.一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，包括以下步骤：
S1：分别将问题和答案里的每个单词都转化为词向量，并对问题和答案中的词向量进行编码，得到问题和答案的词向量序列；
S2：根据词向量序列使用多个自注意网络提取一个问题中不同方面的信息，并分别编码为不同的问题向量；
S3：使用序列注意力网络为每个问题向量生成对应的答案向量；
S4：计算出每个问题向量及其对应的答案向量的匹配度得分，并通过评估出一个问题中每个问题向量的权重以自适应地融合多个方面信息的匹配度得分，根据融合后的匹配度得分进行问题和答案的匹配。
2.根据权利要求1所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，在步骤S1中，采用双向LSTM分别对问题和答案中的词向量进行编码。
3.根据权利要求2所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，给定包含l个单词的句子S＝(w1,w2,...,wl)，利用双向LSTM编码词向量，获取对应的隐藏层：
当给定的句子S为问题时，则得到问题中每个词向量的隐藏层向量序列Hq＝{hq(1),...,hq(l)}，将Hq＝{hq(1),...,hq(l)}作为问题的词向量序列；
当给定的句子S为答案时，则得到答案中每个词向量的隐藏层向量序列Ha＝{ha(1),...,ha(l)}，将Ha＝{ha(1),...,ha(l)}作为答案的词向量序列；
其中，w1,w2,...,wl分别为句子S中的l个单词，为前向LSTM的在t时刻的隐层状态，表示前向LSTM的编码过程，为前向LSTM的在t-1时刻的隐层状态，wt是t时刻输入LSTM进行编码的的单词向量，为后向LSTM的在t时刻的隐层状态，表示后向LSTM编码的编码过程，为后向LSTM的在t-1时刻的状态，ht是双向LSTM的最终编码结果，hq(1),...,hq(l)分别为问题中的l个词向量，ha(1),...,ha(l)分别为答案中的l个词向量。
4.根据权利要求3所述的一种基于自适应融合多注意力网络的问题和答案匹配方法，其特征在于，在步骤S2中，第k个自注意力网络通过以下公式计算得到问题向量且每个...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。