基于HRED和内外记忆网络单元的情感对话生成方法技术

本发明专利技术提供一种基于HRED和内外记忆网络单元的情感对话生成方法，该方法通过构建特殊的情感聊天对话语料和提出一种基于层次循环神经网络和内外记忆单元的情感对话生成模型来解决情感因素在大规模多轮对话中的嵌入和应用。内部记忆网络的提出提高了情感表达和语法表达之间的自动均衡，外部记忆网络的提出增加了情感的显式表达，使得模型生成的回答更具情感信息。

Emotional dialogue generation method based on HRED and internal and external memory network unit

The invention provides an emotional dialogue generation method based on HRED and internal and external memory network units, which solves the embedding and response of emotional factors in large-scale multi-round conversations by constructing special emotional chat conversation corpus and proposing an emotional dialogue generation model based on hierarchical cyclic neural network and internal and external memory units. Use. The proposed internal memory network improves the automatic balance between emotional expression and grammatical expression. The proposed external memory network increases the explicit expression of emotion, making the response generated by the model more emotional information.

【技术实现步骤摘要】
基于HRED和内外记忆网络单元的情感对话生成方法
本专利技术涉及自动对话生成领域，更具体地，涉及一种基于HRED和内外记忆网络单元的情感对话生成方法。
技术介绍
encoder-decoder模型：又叫做编码-解码模型，这是一种应用于seq2seq问题的模型。而seq2seq简单的说，就是根据一个输入序列x，来生成另一个输出序列y。seq2seq有很多的应用，例如翻译，文档摘取，问答系统等等。在翻译中，输入序列是待翻译的文本，输出序列是翻译后的文本；在问答系统中，输入序列是提出的问题，而输出序列是答案。为了解决seq2seq问题，有人提出了encoder-decoder模型，也就是编码-解码模型。所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。层次循环编码解码模型（HRED）：HierarchicalRecurrentEncoder-DecoderModel，这是一个两层的Seq2Seq模型。在HRED当中，包含了三个RNN，即一个EncoderRNN，一个ContextRNN和一个DecoderRNN。对于一个输入，首先通过EncoderRNN计算得到一个real-valuedVector，然后将这个Vector作为ContextRNN的输入，做一些归纳的工作得到summary，最后再把这个summary作为DecoderRNN的输入，最终生成回答。而传统的Seq2Seq（EncoderDecoder）则只包含一个EncoderRNN和一个DecoderRNN，这里的ContextRNN每一个Dialogue当中只更新一次，并且每次更新都使用相同的参数。情感智能是人工智能一个很重要的组成部分，让机器拥有感知和理解人类情绪和情感是人工智能的一个长期目标。对话系统的初衷是让机器能够如同人一样进行对话，要想对话系统的对话水平达到人类的水准，感知和理解人类情感是一个很重要的因素。但是到目前为止，情感因素在大规模对话生成中并没有得到解决。目前对话系统/聊天机器人主要分为检索式对话系统和生成式聊天对话系统。对于基于检索技术的模型，由于使用了知识库且数据为预先定义好的，因此进行回复的内容语法上较为通顺，较少出现语法错误；但是基于检索技术的模型中没有会话概念，不能结合上下文给出更加智能的回复。而生成式模型则更加智能一些，它能够更加有效地利用上下文信息从而知道你在讨论的东西是什么；然而生成式模型比较难以训练，并且输出的内容经常存在一些语法错误（尤其对于长句子而言），以及模型训练需要大规模的数据。基于检索的对话系统无法利用附加信息，所以很难解决情感因素在对话系统中的嵌入问题。就目前所知，已经有人采用基于神经网络的生成模型来生成对话系统中的回答，但是暂时还没有人将情感因素嵌入到网络模型中以解决对话系统中的情感嵌入的问题。在多轮对话系统中解决情感嵌入的问题更是亟待解决。
技术实现思路
本专利技术提供一种基于层次循环神经网络和内外记忆单元的情感智能客服对话生成系统生成方法，该方法可以解决情感因素在对话系统中的嵌入问题。为了达到上述技术效果，本专利技术的技术方案如下：一种基于HRED和内外记忆网络单元的情感对话生成方法，包括以下步骤：S1：准备情感对话系统数据；S2：对于S1得到的数据集若是单轮对话，利用该单轮对话数据集对编码-解码模型进行训练，其中在解码模块中添加预先训练的情感类别的词向量以及内外记忆单元，模型训练完毕后进行测试；S3：对于S1中得到的数据集若是多轮对话，利用该多轮对话数据集采用层次循环神经网络模型进行训练，将每轮对话的中间上下文向量与该轮对话的情感向量拼接作为输入另构建一层循环神经网络，模型训练完毕后进行测试，给定一句话和接下来两句话的情感标签，可以生成接下来两轮对话的语句。进一步地，所述步骤S1中训练文本情感分类器的模型对比基于词汇的情感分析，选择Bi-LSTM模型，该模型在测试集上的准确率为0.623。进一步地，所述步骤S2中情感类别的词向量是经过单独训练的，解码阶段是原始输入与情感向量和上下文向量进行拼接作为新的输入，如果情感向量是静态不变的那么在语句生成的过程中为了考虑情感的影响会导致输出产生比较严重的语法错误，采用一个内部记忆网络模块来捕获情感的动态变化，情感状态将会随着语句的生成逐渐减弱，当语句生成完成时情感状态的值将会衰减到0，依靠内部记忆模块无法显示情感状态与当前步所选词汇之间的关系，通过构建了一个外部记忆模块，通过训练出不同的情感词和非情感词的生成概率分布来显式的表达情感。进一步地，所述步骤S3中多轮对话与单轮对话的区别在于对于人类对话而言，不只考虑当前对话的问题还考虑前几轮对话对当前对话的影响，而每轮对话编码完之后会生成一个上下文向量，将每轮对话的上下文向量作为一个新的上下文循环神经网络的输入，使得后面的对话会考虑到前面几轮对话的信息，将情感向量与上下文向量进行拼接将前几轮对话的情感状态信息传递给后面的对话。进一步地，所述步骤S1中，使用NLPCC数据集训练一个文本情感分类器，并使用训练出来的分类器对STC数据集进行自动标注构建所需要的多轮情感对话数据集。与现有技术相比，本专利技术技术方案的有益效果是：本专利技术通过构建特殊的情感聊天对话语料和提出一种基于层次循环神经网络和内外记忆单元的情感对话生成模型来解决情感因素在大规模多轮对话中的嵌入和应用。内部记忆网络的提出提高了情感表达和语法表达之间的自动均衡，外部记忆网络的提出增加了情感的显式表达，使得模型生成的回答更具情感信息。附图说明图1为本专利技术基于层次循环神经网络和内外记忆单元的情感对话生成法的流程图。具体实施方式附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。如图1所示，一种基于HRED和内外记忆网络单元的情感对话生成方法，包括以下步骤：S1：准备情感对话系统数据；S2：对于S1得到的数据集若是单轮对话，利用该单轮对话数据集对编码-解码模型进行训练，其中在解码模块中添加预先训练的情感类别的词向量以及内外记忆单元，模型训练完毕后进行测试；S3：对于S1中得到的数据集若是多轮对话，利用该多轮对话数据集采用层次循环神经网络模型进行训练，将每轮对话的中间上下文向量与该轮对话的情感向量拼接作为输入另构建一层循环神经网络，模型训练完毕后进行测试，给定一句话和接下来两句话的情感标签，可以生成接下来两轮对话的语句。步骤S1中训练文本情感分类器的模型对比基于词汇的情感分析，选择Bi-LSTM模型，该模型在测试集上的准确率为0.623。步骤S2中情感类别的词向量是经过单独训练的，解码阶段是原始输入与情感向量和上下文向量进行拼接作为新的输入，如果情感向量是静态不变的那么在语句生成的过程中为了考虑情感的影响会导致输出产生比较严重的语法错误，采用一个内部记忆网络模块来捕获情感的动态变化，情感状态将会随着语句的生成逐渐减弱，当语句生成完成时情感状态的值将会衰减到0，依靠内部记忆模块无法显示情感状态与当前步所选词汇之间的关本文档来自技高网...

【技术保护点】
1.一种基于HRED和内外记忆网络单元的情感对话生成方法，其特征在于，包括以下步骤：S1：准备情感对话系统数据；S2：对于S1得到的数据集若是单轮对话，利用该单轮对话数据集对编码‑解码模型进行训练，其中在解码模块中添加预先训练的情感类别的词向量以及内外记忆单元，模型训练完毕后进行测试；S3：对于S1中得到的数据集若是多轮对话，利用该多轮对话数据集采用层次循环神经网络模型进行训练，将每轮对话的中间上下文向量与该轮对话的情感向量拼接作为输入另构建一层循环神经网络，模型训练完毕后进行测试，给定一句话和接下来两句话的情感标签，可以生成接下来两轮对话的语句。

【技术特征摘要】
1.一种基于HRED和内外记忆网络单元的情感对话生成方法，其特征在于，包括以下步骤：S1：准备情感对话系统数据；S2：对于S1得到的数据集若是单轮对话，利用该单轮对话数据集对编码-解码模型进行训练，其中在解码模块中添加预先训练的情感类别的词向量以及内外记忆单元，模型训练完毕后进行测试；S3：对于S1中得到的数据集若是多轮对话，利用该多轮对话数据集采用层次循环神经网络模型进行训练，将每轮对话的中间上下文向量与该轮对话的情感向量拼接作为输入另构建一层循环神经网络，模型训练完毕后进行测试，给定一句话和接下来两句话的情感标签，可以生成接下来两轮对话的语句。2.根据权利要求1所述的基于HRED和内外记忆网络单元的情感对话生成方法，其特征在于，所述步骤S1中训练文本情感分类器的模型对比基于词汇的情感分析，选择Bi-LSTM模型，该模型在测试集上的准确率为0.623。3.根据权利要求2所述的基于HRED和内外记忆网络单元的情感对话生成方法，其特征在于，所述步骤S2中情感类别的词向量是经过单独训练的，解码阶段是原始输入与情感向量和上下文向量进行拼接作为新的输入，如果情感向量是静态不变的那么在语...

【专利技术属性】
技术研发人员：卓汉逵，纪登林，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44