【技术实现步骤摘要】
一种基于双向GRU网络的多轮对话方法及系统
本专利技术涉及自然语言处理领域，具体涉及一种基于双向GRU网络的多轮对话方法及系统。
技术介绍
近年来，随着深度学习与神经网络的迅猛发展，人工智能领域迎来了新变革。作为人工智能领域的核心技术之一，多轮对话已成为一个研究热点，未来它可以广泛应用于人机交互、智能家居、智能客服、智能家教和社交机器人等不同行业，具有重大的研究意义、学术价值和应用价值，因而得到了学术界的持续关注与工业界的高度重视。Lowe等人将对话上下文字面相连接，形成连接后的上下文矩阵和回答进行匹配，进一步的考虑了对话上下文的整体语意。Yan等人将上下文语句与输入消息连接起来，作为新的查询查询，并执行深度神经网络体系结构的匹配。Zhou等人改进多角度响应选择，使用包含话语视图和单词视图的多视图模型。Zhou等人提出了一种基于注意力机制的对话上下文和回答的匹配算法。该方法使用基于scale-attention的自注意力机制和交互注意力机制构造了两种匹配矩阵，验证了该方法的有效性。Wu等人将候选的回答和每一个上下文的...
【技术保护点】
1.一种基于双向GRU网络的多轮对话方法，其特征在于，包括以下步骤：/n步骤A：采集对话上下文和回答数据，构建对话训练集TS；/n步骤B：使用对话训练集TS，训练融合双向GRU网络的深度学习网络模型；/n步骤C：与用户进行对话，将用户提问输入到训练好的深度学习网络模型中，输出匹配的答案。/n
【技术特征摘要】
1.一种基于双向GRU网络的多轮对话方法，其特征在于，包括以下步骤：
步骤A：采集对话上下文和回答数据，构建对话训练集TS；
步骤B：使用对话训练集TS，训练融合双向GRU网络的深度学习网络模型；
步骤C：与用户进行对话，将用户提问输入到训练好的深度学习网络模型中，输出匹配的答案。
2.根据权利要求1所述的一种基于双向GRU网络的多轮对话方法，其特征在于，所述步骤B具体包括以下步骤：
步骤B1：遍历对话训练集TS，对每一个训练样本的对话上下文和回答进行编码，得到初始表征向量；
步骤B2：将对话上下文和回答的初始表征向量输入到多头注意力机制模块，得到对话和回答的语义表征向量，计算对话与回答的词语相似度矩阵；
步骤B3：将步骤B1得到的对话上下文和回答的初始表征向量输入到双向GRU网络中，计算对话和回答的双向隐状态，然后计算对话与回答的正向语义表征矩阵与反向语义表征矩阵；
步骤B4：将对话与回答的词语相似度矩阵、正向语义表征矩阵、反向语义表征矩阵合并为张量输入到二维卷积神经网络中，然后进行特征降维，得到融合对话与回答的语义信息的表征向量序列；
步骤B5：将步骤B4得到的表征向量序列输入到双向GRU网络中，得到融合对话与回答的上下文依赖关系以及语义信息的表征向量
步骤B6：重复步骤B2-B5，计算对话训练集中所有训练样本的融合对话与回答的上下文依赖关系以及语义信息的表征向量
步骤B7：将所有样本的表征向量输入到深度学习网络模型的全连接层，根据目标损失函数loss，利用反向传播方法计算深度网络中各参数的梯度，并利用随机梯度下降方法更新参数；
步骤B8：当深度学习网络模型产生的损失值小于设定阈值或者达到最大迭代次数时，终止深度学习网络模型的训练。
3.根据权利要求2所述的一种基于双向GRU网络的多轮对话方法，其特征在于，所述步骤B1中，对话训练集表示为其中N表示训练样本数，(U,a)表示对话训练集TS中由对话上下文U与回答a构成的一个训练样本，对话上下文U由对话过程中的多个语句组成，分别对对话上下文U中的每句话以及回答a编码得到其初始表征向量；若ut表示对话上下文U中的第t句话，其初始表征向量表示为：
回答a的初始表征向量表示为：
其中，Lt和La分别表示ut和a经过分词以及去除停用词后的剩余词数，和分别为和中第i个词的词向量，通过在预训练的词向量矩阵中查找得到，d1表示词向量的维度，|D|表示词典中的词数。
4.根据权利要求3所述的一种基于双向GRU网络的多轮对话方法，其特征在于，所述步骤B2具体包括以下步骤：
步骤B21：选择能够整除d1的整数s，对对话上下文中的每句话，将其初始表征向量与回答的初始表征向量在最后一个维度上平均切分成s个子向量，分别得到子向量序列和其中是ut的第h个子向量，是的第h个子向量；
步骤B22：将的每个子向量和中对应的子向量构成一个子向量对，即输入到注意力机制模块中，计算得到的语义表征向量以及的语义表征向量
其中的计算公式如下：
的计算公式如下：
其中，T表示矩阵转置操作；
计算的加权连接，得到ut的语义表征向量表示如下：
计算的加权连接，得到a的语义表征向量表示如下：
其中W1,W2为多头注意力机制的训练参数；
步骤B23：计算对话上下文中的每句话与回答的词语相似度矩阵；u...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。