一种改进的基于顺序匹配网络的多轮对话模型制造技术

聊天机器人、智能客服所涉及的多轮对话是现在研究的一个热点。基于检索方法的多轮对话中，顺序匹配(SMN)模型比较有代表性，该模型在对话回复匹配部分中使用单层的GRU网络，但是单层GRU网络提取深层次特征的能力有限，得到的编码信息会包含一些噪声。且该模型的对话匹配部分使用CNN卷积神经网络，而CNN网络主要关注局部信息，对自然语言序列整体的语义信息提取能力有限，会导致信息经过CNN网络后得到的信息不全。本发明专利技术涉及一种用于多轮对话模型顺序匹配网络的最优匹配算法。包括：(1)将单层GRU网络改为多层深度网络。(2)将特征矩阵M1和M2的聚合操作提前。(3)将CNN卷积网络替换成GRU网络。(4)改进后的SMN网络精确度提高了大约2个百分点。

【技术实现步骤摘要】
一种改进的基于顺序匹配网络的多轮对话模型
本专利技术涉及自然语言处理领域，即一种用于多轮对话系统中答案选择模型，选择最优回复的算法。
技术介绍
近年来，随着人工智能的火热，聊天机器人、智能客服也被广泛应用，其中如何获得准确的答案是研究的一个热点，聊天机器人、智能客服在进行对话时是一个多轮对话的过程，多轮对话不仅要考虑问题信息，还需要关注对话时的上下文语境(context)，因为上下文语境可以提供许多有用的信息，并且对于构建连贯的对话有重要的作用。在多轮对话中基于检索的方法比较有代表性的模型是顺序匹配(SMN)模型。该模型包含三个部分：对话回复匹配(UtteranceResponseMatching)、匹配累积(MatchingAccumulation)和匹配预测(MatchigPrediction)。整体思路是：将候选回复response与上下文中的每句话utterance组成response-utterance对，然后在字层面和句子层面两个维度上进行匹配，把每对utterance-response匹配后形成的两个匹配向量堆叠在一起输入进一个卷本文档来自技高网...

【技术保护点】
1.一种改进的基于顺序匹配网络的多轮对话模型其特征在于，包括如下步骤：/nS1.一轮多轮对话中的所有上下文u和候选答案r输入到词嵌入部分，得到词向量，然后把所有词的词向量表示组合在一起形成词嵌入矩阵。/nS2.将词嵌入矩阵U输入到一个深度循环神经网络(Deep GRU)中对其进行编码得到M

【技术特征摘要】
1.一种改进的基于顺序匹配网络的多轮对话模型其特征在于，包括如下步骤：
S1.一轮多轮对话中的所有上下文u和候选答案r输入到词嵌入部分，得到词向量，然后把所有词的词向量表示组合在一起形成词嵌入矩阵。
S2.将词嵌入矩阵U输入到一个深度循环神经网络(DeepGRU)中对其进行编码得到M1，将词嵌入矩阵R输入到一个带有注意力机制的深度循环神经网络(DeepGRU-GATE)中对其进行编码得到M2。改进之后的网络首先对M1和M2进行聚合操作，然后再通过神经网络提取更深层次匹配信息。
DeepGRU网络的输出用公式表示为：

【专利技术属性】
技术研发人员：王慧，戴宪华，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44