一种融合CNN与双向LSTM的智能问答方法及系统技术方案

本发明专利技术涉及一种融合CNN与双向LSTM的智能问答方法及系统，包括以下步骤：采集智能问答系统中的问题以及回答记录，构建问答对训练集QA；采集智能问答系统中每个用户的问题回答记录，构建用户的历史回答训练集UA；步骤C：使用问答对训练集QA以及用户的历史回复训练集UA，训练融合CNN与双向LSTM的深度学习网络模型M；步骤D：智能问答系统接受用户的提问，将提问输入到训练好的深度学习网络模型M中，输出匹配的答案。本发明专利技术融合CNN与双向LSTM，能够全面准确地提取影响智能问答精度的各项特征。

An Intelligent Question Answering Method and System Based on CNN and Bidirectional LSTM

【技术实现步骤摘要】
一种融合CNN与双向LSTM的智能问答方法及系统
本专利技术涉及自然语言处理与智能问答应用领域，具体涉及一种融合CNN与双向LSTM的智能问答方法。
技术介绍
问答(QuestionAnswering，QA)系统起源于图灵测试，随着时间的发展，问答系统领域也发生了重大变革。按照处理的数据格式不同，问答系统分别经历了结构化知识库阶段、无结构文本阶段、基于问题.答案数据阶段。随着互联网的普及，网上出现了大量的文本和各种大型论坛，这为社区智能问答系统的兴起奠定了基础。2005年以来，互联网相继涌现了大量的问答社区，基于社区的问答系统逐渐成了问答系统的一个重要研究分支。Yu等人提出了一种基于LSA(LatentSemanncAnalysxs，LSA)一j的问题一答案匹配度计算方法，该方法统计分析大量问答句子，构建潜在语义空问，计算句子间的语义空间相似度，有效地解决了词的同义和多义问题。Carmel提出了一种改进的单词权重计算模型，加入了词语的词性和依赖关系等语法特性，这些特征被用来训练排序模型，验证了该方法的有效性。Bian等人提出一种针对事实类问题的答案获取框架GBrank，能够较好的从大本文档来自技高网...

【技术保护点】
1.一种融合CNN与双向LSTM的智能问答方法,其特征在于，包括以下步骤：步骤A：采集智能问答系统中的问题以及对应的回答记录，构建问答对训练集QA；步骤B：采集智能问答系统中每个用户的问题回答记录，构建用户的历史回答训练集UA；步骤C：根据问答对训练集QA和用户的历史回复训练集UA，训练融合CNN与双向LSTM的深度学习网络模型M；步骤D：智能问答系统接受用户的提问，将提问输入到训练好的深度学习网络模型M中，输出匹配的答案。

【技术特征摘要】
1.一种融合CNN与双向LSTM的智能问答方法,其特征在于，包括以下步骤：步骤A：采集智能问答系统中的问题以及对应的回答记录，构建问答对训练集QA；步骤B：采集智能问答系统中每个用户的问题回答记录，构建用户的历史回答训练集UA；步骤C：根据问答对训练集QA和用户的历史回复训练集UA，训练融合CNN与双向LSTM的深度学习网络模型M；步骤D：智能问答系统接受用户的提问，将提问输入到训练好的深度学习网络模型M中，输出匹配的答案。2.根据权利要求1所述的一种融合CNN与双向LSTM的智能问答方法,其特征在于，包括以下步骤：所述步骤C具体包括以下步骤：步骤C1：将问答对训练集中QA的每个问答对输入到卷积神经网络中，得到每个问答对的联合表征向量；步骤C2：将得到的每个问答对的联合表征向量输入到双向LSTM网络中，得到每个问答对的上下文表征向量；步骤C3：基于用户的历史回答训练集UA，采用多注意力机制进行学习，对用户进行建模，得到用户的表征向量；步骤C4：根据用户置信水平分数与用户专业水平分数，得到用户问答信誉度，作为非文本表征向量；步骤C5：将分别从步骤C2、C3、C4学习得到的上下文表征向量、用户的表征向量、非文本表征向量连接，并输入到全连接层，实现特征融合，得到最终表征向量；步骤C6：将最终表征向量输入到深度学习网络模型M的全连接层，根据目标损失函数loss，利用反向传播方法计算深度网络中各参数的梯度，并利用随机梯度下降方法更新参数；步骤C7：当深度学习网络模型M产生的损失值迭代变化小于设定阈值不再降低或者达到最大迭代次数，则终止神经网络模型的训练。3.根据权利要求2所述的一种融合CNN与双向LSTM的智能问答方法,其特征在于，包括以下步骤：所述步骤C1具体包括以下步骤：步骤C11：遍历问答对训练集QA，对QA中的每个问答序列qa＝[q,a1,...,at,...,al]，其中q表示问题，{at|t＝1,2,...,l}为问题q的答案集合，l为问题q对应的答案数量，由问题q和答案集合中的每个答案at构成一个问答对(q,at)；步骤C12：分别对问答对(q,at)中的问题q和答案at进行分词处理，去除停用词，转成词向量形式，作为卷积神经网络的输入；其中智能问答系统中的每个问题q由问题描述qs和问题主体qB组成，qs是智能问答系统中用户输入的问题q的标题部分S＝[s1,s2,...,sn]，qB是用户输入的问题q的详细描述部分B＝[b1,b2,...,bm]，问题q由S和B连接表示，输入答案句其中si，i＝1,2,...,n为qS中第i个单词所对应的词向量，bi，i＝1,2,...,m为qB中第i个单词所对应的词向量，aj，j＝1,2,...,n为at中第j个单词所对应的词向量，m为qB经过分词以及去除停用词后剩余的词语数量，n为at经过分词以及去除停用词后剩余的词语数量；bi、aj通过在预训练的词向量矩阵E∈Rd×|D|中查找词语对应的分布式表征向量得到；其中d表示词向量的维度，|D|是词典D的大小；步骤C13：将向量化后的问题q和答案at分别输入到并行的两个带有注意力机制的卷积神经网络中，通过卷积层与池化层后分别得到问题的表征融合向量xq和答案的表征向量xat，将xq和xat用一个连接向量xt表示，输入到全连接的隐藏层来得到问答对的表示向量vt：xt＝[xq,xat]vt＝σ(Whxt+bh)其中分别是两个卷积神经网络的参数，Wh,bh是全连接掩藏层的参数，σ是激活函数，输出vt是输入问答对(q,at)的表征向量；步骤C14：对问题q和答案集合{at|t＝1,2,...,l}中的每个答案构成的问答对(q,at)，重复步骤C12；迭代结束后得到问答序列qa＝[q,a1,...,at,...,al]对应的问答对向量序列PR＝[v1,...,vt,...,vl]。4.根据权利要求2所述的一种融合CNN与双向LSTM的智能问答方法及系统，其特征在于，所述步骤C2具体为：对于长短期记忆网络的正向，依次输入v1,...,vt,...,vl，对于长短期记忆网络的反向，则依次输入vl,...,vt,...,v1，其中，vt表示问答对(q,at)的联合表示；计算每个问答对在正向和反向的隐层状态值，得到每个问答对的隐层向量，得到问答对序列的表征向量H：H＝[h1,...,ht,...,hl]其中，vt为文本中第t个...

【专利技术属性】
技术研发人员：陈羽中，张衍坤，郭昆，张毓东，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35