一种面向答案选择的多角度注意力特征匹配方法及系统技术方案

本发明专利技术涉及一种面向答案选择的多角度注意力特征匹配方法及系统，使用混合编码层，通过使用混合编码层丰富文本特征，结合双向LSTM提取序列化信息，以及TextCNN的不同高度卷积核，获取更为广泛的短文本信息，进而达到互补效果；同时使用多层次相似度计算，通过注意力机制，提取两个句子之间的局部交互信息和整体相似度特征，然后将提取的特征进行组合，兼顾句子局部与整体进行相似度评分，整个技术方案，由候选答案中，能够高效、准确的实现目标答案的自动获得。

【技术实现步骤摘要】
一种面向答案选择的多角度注意力特征匹配方法及系统
本专利技术涉及一种面向答案选择的多角度注意力特征匹配方法及系统，属于自然语言处理

技术介绍
在问答系统中，经过信息检索后，问答系统内容需要对候选答案进行排序，从而选择最佳答案。在社区问答、智能客服等场景中，相对于生成需要答案，在已有的候选答案中选择合适的答案更加便捷高效。答案选择是自然语言处理中十分重要的任务，也是问答系统不可缺少的重要组件。答案选择任务可以看做是一个答案匹配任务。答案选择任务也被认为是文本匹配的一种应用。但是检索式问答系统同时也面临着以下的问题：(1)问句信息匮乏。用户提问一般不会非常详细，通常由短文本构成，其中蕴含的信息量本就不多，在去除无意义的词语后就更加稀少；(2)问题和答案的长度不匹配。通常问题内容较短，一般有5-15字短文本内容构成。而答案常常20-50字构成。答案中与问题不是十分相关的冗余特征，会对答案的表示造成影响，进而影响最后的排序；(3)候选答案相似度高。候选答案通常由相似领域的不同答案构成，这对基于关键词匹配或词袋模型的方法很难解决这类问题。目前已经有很多学者研究问答系统中的答案选择，主要可以基于特征扩展的方法和基于深度学习的方法。前者通常基于词语匹配或者语法特征。后者通过对答案抽象总结，转化为对称的特征编码，减少冗余信息影响。答案选择任务实质上就是一种文本匹配任务，深度学习在答案选择中的应用通常由几个类别，首先是基于表示的文本匹配模型，这类模型通常使用孪生网络。通常是对问句和答案分别进行编码，然后根据二者的向量表示，设定相似度计算函数或结构，最终获得两句的相似度评分。另一种是基于交互的匹配模型，这类模型通常结合注意力机制构建。一般通过注意力结构对问题和答案进行不同粒度的交互，然后将交互结果组合起来，形成最终的匹配关系表示。这类模型通常由复杂的结构组成，注重提取句子特征和句子交互关系方面的内容。目前的答案选择技术主要存在以下问题：(1)基于特征工程的方法需要人为的进行特征工程，这类方法往往有着复杂的特征工程，并且模型只能适应特定数据集，并不具有普遍性。而且，模型的效果依赖特征工程的设计，人的作用过于重要。(2)基于深度学习的方法中，基于表示的方法通常对两个句子进行相对独立的特征提取，即使加入交互信息，也是单一层级的交互，交互信息利用不充分；基于交互的方法通常难以考虑全面的交互信息，不能通篇考虑局部和全局相似度并加以有效结合。
技术实现思路
本专利技术所要解决的技术问题是提供一种面向答案选择的多角度注意力特征匹配方法，采用全新设计逻辑，能够由高效、准确的实现目标答案的自动获得。本专利技术为了解决上述技术问题采用以下技术方案：本专利技术设计了一种面向答案选择的多角度注意力特征匹配方法，执行如下步骤i至步骤viii，获得问题答案分类模型，以及应用问题答案分类模型，执行步骤A至步骤C，获得目标问题基于其各候选答案中所对应的目标答案；步骤i.基于预设数量的各样本问题、各样本问题分别所对应的各样本候选答案，以及各样本问题分别基于其各样本候选答案中所对应的目标样本答案，构建样本数据集，然后进入步骤ii；步骤ii.针对各样本问题，获得各样本问题分别所对应彼此相同长度的各向量集合，进而获得各样本问题分别所对应的向量集合；以及针对各样本候选答案，获得各样本候选答案分别所对应彼此相同长度的各向量集合，进而获得各样本候选答案分别所对应的向量集合；然后以样本问题所对应向量集合分别与其各样本候选答案所对应向量集合，构建该样本问题所对应的各样本处理对象组，进而获得各样本问题分别所对应的各样本处理对象组，并进入步骤iii；步骤iii.基于预设第一网络、预设第二网络，以处理对象组为输入，处理对象组中问题与候选答案分别所对应彼此维度相同的特征编码矩阵为处理对象组的更新输出，分别构建彼此输出维度相同的第一特征提取网络、第二特征提取网络，第一特征提取网络、第二特征提取网络用于同时接收相同处理对象组，并分别执行处理，然后进入步骤iv；步骤iv.构建拼接模块，拼接模块的输入端同时对接第一特征提取网络的输出端、第二特征提取网络的输出端，拼接模块用于实现第一特征提取网络与第二特征提取网络所输出相同处理对象组的拼接，执行该处理对象组中问题分别对应第一特征提取网络、第二特征提取网络输出的特征编码矩阵之间的拼接，获得该处理对象组中问题对应的拼接特征编码矩阵，以及执行该处理对象组中候选答案分别对应第一特征提取网络、第二特征提取网络输出的特征编码矩阵之间的拼接，获得该处理对象组中候选答案对应的拼接特征编码矩阵；进而构成拼接处理对象组；然后进入步骤v；步骤v.构建局部特征提取模块，局部特征提取模块的输入端对接拼接模块的输出端，用于接收来自拼接模块的拼接处理对象组，并基于拼接处理对象组中问题与候选答案分别对应拼接特征编码矩阵之间的相似度，获得拼接处理对象组中问题与候选答案分别对应的局部特征矩阵，构成局部特征处理对象组；同时，构建相似矩阵模块，相似矩阵模块的输入端对接拼接模块的输出端，用于接收来自拼接模块的拼接处理对象组，应用拼接处理对象组中问题与候选答案分别对应拼接特征编码矩阵之间的余弦距离值，加上与拼接特征编码矩阵维度相同的权重矩阵，构成拼接处理对象组所对应的相似度；然后进入步骤vi；步骤vi.构建矩阵组合模块，矩阵组合模块的输入端同时对接局部特征提取模块的输出端、相似矩阵模块的输出端，矩阵组合模块用于针对局部特征提取模块输出拼接处理对象组所对应的局部特征处理对象组，结合相似矩阵模块输出对应拼接处理对象组的相似度，获得该拼接处理对象组所对应的综合处理对象组，然后进入步骤vii；步骤vii.构建矩阵组合模块的输出端对接全连接层，即基于第一特征提取网络、第二特征提取网络、拼接模块、局部特征提取模块、相似矩阵模块、矩阵组合模块、全连接层的连接，构建问题答案分类初始模型，然后进入步骤viii；步骤viii.以各样本处理对象组为输入，各样本处理对象组中样本问题对应样本候选答案的概率为输出，结合各样本问题分别基于其各样本候选答案中所对应的目标样本答案，以及相似矩阵模块中权重矩阵的调整，针对问题答案分类初始模型进行训练，获得问题答案分类模型；步骤A.针对目标问题、以及其所对应的各个候选答案，按步骤ii的方法，获得目标问题分别所对应的各处理对象组，然后进入步骤B；步骤B.针对目标问题分别所对应的各处理对象组，应用问题答案分类模型进行处理，获得各处理对象组中目标问题对应候选答案的概率，即获得目标问题分别对应其各候选答案的概率，然后进入步骤C；步骤C.基于目标问题分别对应其各候选答案的概率，选择最高概率所对应的候选答案，即为目标问题所对应的目标答案。作为本专利技术的一种优选技术方案：所述步骤ii包括如下步骤ii-1至步骤ii-3；步骤ii-1.针对各样本问题，获得各样本问题分别所对应彼此相同数量的各分词，进而获得各样本问题分别所对应的分词集合；以及针对各样本候选答案，获得各本文档来自技高网...

【技术保护点】
1.一种面向答案选择的多角度注意力特征匹配方法，其特征在于：执行如下步骤i至步骤viii，获得问题答案分类模型，以及应用问题答案分类模型，执行步骤A至步骤C，获得目标问题基于其各候选答案中所对应的目标答案；/n步骤i.基于预设数量的各样本问题、各样本问题分别所对应的各样本候选答案，以及各样本问题分别基于其各样本候选答案中所对应的目标样本答案，构建样本数据集，然后进入步骤ii；/n步骤ii.针对各样本问题，获得各样本问题分别所对应彼此相同长度的各向量集合，进而获得各样本问题分别所对应的向量集合；以及针对各样本候选答案，获得各样本候选答案分别所对应彼此相同长度的各向量集合，进而获得各样本候选答案分别所对应的向量集合；然后以样本问题所对应向量集合分别与其各样本候选答案所对应向量集合，构建该样本问题所对应的各样本处理对象组，进而获得各样本问题分别所对应的各样本处理对象组，并进入步骤iii；/n步骤iii.基于预设第一网络、预设第二网络，以处理对象组为输入，处理对象组中问题与候选答案分别所对应彼此维度相同的特征编码矩阵为处理对象组的更新输出，分别构建彼此输出维度相同的第一特征提取网络、第二特征提取网络，第一特征提取网络、第二特征提取网络用于同时接收相同处理对象组，并分别执行处理，然后进入步骤iv；/n步骤iv.构建拼接模块，拼接模块的输入端同时对接第一特征提取网络的输出端、第二特征提取网络的输出端，拼接模块用于实现第一特征提取网络与第二特征提取网络所输出相同处理对象组的拼接，执行该处理对象组中问题分别对应第一特征提取网络、第二特征提取网络输出的特征编码矩阵之间的拼接，获得该处理对象组中问题对应的拼接特征编码矩阵，以及执行该处理对象组中候选答案分别对应第一特征提取网络、第二特征提取网络输出的特征编码矩阵之间的拼接，获得该处理对象组中候选答案对应的拼接特征编码矩阵；进而构成拼接处理对象组；然后进入步骤v；/n步骤v.构建局部特征提取模块，局部特征提取模块的输入端对接拼接模块的输出端，用于接收来自拼接模块的拼接处理对象组，并基于拼接处理对象组中问题与候选答案分别对应拼接特征编码矩阵之间的相似度，获得拼接处理对象组中问题与候选答案分别对应的局部特征矩阵，构成局部特征处理对象组；/n同时，构建相似矩阵模块，相似矩阵模块的输入端对接拼接模块的输出端，用于接收来自拼接模块的拼接处理对象组，应用拼接处理对象组中问题与候选答案分别对应拼接特征编码矩阵之间的余弦距离值，加上与拼接特征编码矩阵维度相同的权重矩阵，构成拼接处理对象组所对应的相似度；/n然后进入步骤vi；/n步骤vi.构建矩阵组合模块，矩阵组合模块的输入端同时对接局部特征提取模块的输出端、相似矩阵模块的输出端，矩阵组合模块用于针对局部特征提取模块输出拼接处理对象组所对应的局部特征处理对象组，结合相似矩阵模块输出对应拼接处理对象组的相似度，获得该拼接处理对象组所对应的综合处理对象组，然后进入步骤vii；/n步骤vii.构建矩阵组合模块的输出端对接全连接层，即基于第一特征提取网络、第二特征提取网络、拼接模块、局部特征提取模块、相似矩阵模块、矩阵组合模块、全连接层的连接，构建问题答案分类初始模型，然后进入步骤viii；/n步骤viii.以各样本处理对象组为输入，各样本处理对象组中样本问题对应样本候选答案的概率为输出，结合各样本问题分别基于其各样本候选答案中所对应的目标样本答案，以及相似矩阵模块中权重矩阵的调整，针对问题答案分类初始模型进行训练，获得问题答案分类模型；/n步骤A.针对目标问题、以及其所对应的各个候选答案，按步骤ii的方法，获得目标问题分别所对应的各处理对象组，然后进入步骤B；/n步骤B.针对目标问题分别所对应的各处理对象组，应用问题答案分类模型进行处理，获得各处理对象组中目标问题对应候选答案的概率，即获得目标问题分别对应其各候选答案的概率，然后进入步骤C；/n步骤C.基于目标问题分别对应其各候选答案的概率，选择最高概率所对应的候选答案，即为目标问题所对应的目标答案。/n...

【技术特征摘要】
1.一种面向答案选择的多角度注意力特征匹配方法，其特征在于：执行如下步骤i至步骤viii，获得问题答案分类模型，以及应用问题答案分类模型，执行步骤A至步骤C，获得目标问题基于其各候选答案中所对应的目标答案；
步骤i.基于预设数量的各样本问题、各样本问题分别所对应的各样本候选答案，以及各样本问题分别基于其各样本候选答案中所对应的目标样本答案，构建样本数据集，然后进入步骤ii；
步骤ii.针对各样本问题，获得各样本问题分别所对应彼此相同长度的各向量集合，进而获得各样本问题分别所对应的向量集合；以及针对各样本候选答案，获得各样本候选答案分别所对应彼此相同长度的各向量集合，进而获得各样本候选答案分别所对应的向量集合；然后以样本问题所对应向量集合分别与其各样本候选答案所对应向量集合，构建该样本问题所对应的各样本处理对象组，进而获得各样本问题分别所对应的各样本处理对象组，并进入步骤iii；
步骤iii.基于预设第一网络、预设第二网络，以处理对象组为输入，处理对象组中问题与候选答案分别所对应彼此维度相同的特征编码矩阵为处理对象组的更新输出，分别构建彼此输出维度相同的第一特征提取网络、第二特征提取网络，第一特征提取网络、第二特征提取网络用于同时接收相同处理对象组，并分别执行处理，然后进入步骤iv；
步骤iv.构建拼接模块，拼接模块的输入端同时对接第一特征提取网络的输出端、第二特征提取网络的输出端，拼接模块用于实现第一特征提取网络与第二特征提取网络所输出相同处理对象组的拼接，执行该处理对象组中问题分别对应第一特征提取网络、第二特征提取网络输出的特征编码矩阵之间的拼接，获得该处理对象组中问题对应的拼接特征编码矩阵，以及执行该处理对象组中候选答案分别对应第一特征提取网络、第二特征提取网络输出的特征编码矩阵之间的拼接，获得该处理对象组中候选答案对应的拼接特征编码矩阵；进而构成拼接处理对象组；然后进入步骤v；
步骤v.构建局部特征提取模块，局部特征提取模块的输入端对接拼接模块的输出端，用于接收来自拼接模块的拼接处理对象组，并基于拼接处理对象组中问题与候选答案分别对应拼接特征编码矩阵之间的相似度，获得拼接处理对象组中问题与候选答案分别对应的局部特征矩阵，构成局部特征处理对象组；
同时，构建相似矩阵模块，相似矩阵模块的输入端对接拼接模块的输出端，用于接收来自拼接模块的拼接处理对象组，应用拼接处理对象组中问题与候选答案分别对应拼接特征编码矩阵之间的余弦距离值，加上与拼接特征编码矩阵维度相同的权重矩阵，构成拼接处理对象组所对应的相似度；
然后进入步骤vi；
步骤vi.构建矩阵组合模块，矩阵组合模块的输入端同时对接局部特征提取模块的输出端、相似矩阵模块的输出端，矩阵组合模块用于针对局部特征提取模块输出拼接处理对象组所对应的局部特征处理对象组，结合相似矩阵模块输出对应拼接处理对象组的相似度，获得该拼接处理对象组所对应的综合处理对象组，然后进入步骤vii；
步骤vii.构建矩阵组合模块的输出端对接全连接层，即基于第一特征提取网络、第二特征提取网络、拼接模块、局部特征提取模块、相似矩阵模块、矩阵组合模块、全连接层的连接，构建问题答案分类初始模型，然后进入步骤viii；
步骤viii.以各样本处理对象组为输入，各样本处理对象组中样本问题对应样本候选答案的概率为输出，结合各样本问题分别基于其各样本候选答案中所对应的目标样本答案，以及相似矩阵模块中权重矩阵的调整，针对问题答案分类初始模型进行训练，获得问题答案分类模型；
步骤A.针对目标问题、以及其所对应的各个候选答案，按步骤ii的方法，获得目标问题分别所对应的各处理对象组，然后进入步骤B；
步骤B.针对目标问题分别所对应的各处理对象组，应用问题答案分类模型进行处理，获得各处理对象组中目标问题对应候选答案的概率，即获得目标问题分别对应其各候选答案的概率，然后进入步骤C；
步骤C.基于目标问题分别对应其各候选答案...

【专利技术属性】
技术研发人员：徐小龙，刘聪，肖甫，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32