一种多情绪指导的共情对话生成方法技术

本发明专利技术涉及人工智能领域。本发明专利技术提供一种多情绪指导的共情对话生成方法，该方法将输入的文本进行上下文编码，并为文本中的每个词汇计算情绪强度值，根据情绪强度值构造多级情绪关系图来描述输入的文本和情绪的关系，并基于多级情绪关系图构造多级情绪关系图网络，迭代更新多级情绪关系图网络中的情绪边特征和节点特征，通过情绪边特征与全局上下文特征预测情绪概率的分布，通过改变初始情绪边权重和改变情绪节点的集合对多级情绪关系图网络进行改造更新，并生成答复语句。本发明专利技术通过对情感共现关系的分析和预测，实现了富含多种情绪的对话中的共情表达，提高了对话的情感交流效果和共情价值，指导对话的发展和转移，提高了对话的质量和效果。话的质量和效果。话的质量和效果。

【技术实现步骤摘要】
一种多情绪指导的共情对话生成方法


[0001]本专利技术涉及人工智能领域，具体涉及一种多情绪指导的共情对话生成方法。

技术介绍

[0002]开放域对话生成模型近年来受到了广泛的研究与发展，其中结合个性和情绪特征可以使对话系统生成更人类化的回复。为此，早期的方法将指定的情绪标签作为输入，以生成情绪化的对话响应。然而，真实的对话场景中，往往并不提供直接的情绪指导，而是要求听者根据对话内容，以推断说话者的情绪，进而产生富含同理心的共情响应。此类任务被称之为共情对话生成。
[0003]目前的共情对话生成方法多遵循多任务学习的范式，通过联合训练一个情绪预测任务与对话生成任务，以实现具有共情约束的生成。这些方法大多从两个方面改善共情响应的生成，一类方法聚焦于提升情绪的预测准确性，通过引入外部知识，挖掘情绪原因，以及更细粒度的情绪信息建模等；另一类方法则重在改进生成策略，基于强化学习，混合专家模型，模拟说话者情绪等手段。
[0004]然而，这些方法均基于预测单个情绪标签，将获得的情绪信息注入现有的对话生成模型以生成共情响应，这样的方法在简单的对话场景中，尚有较为良好的表现，但在更加复杂的长对话语境下，则缺乏有效的共情理解。原因在于复杂的长对话中，往往伴随着多种情绪的组合与转移，存在一定的情绪共现关系，这种单情绪的信息预测与指导，将抑制对话中存在的其他情绪的共情价值，而不利于富含多种情绪的对话中的共情表达。

技术实现思路

[0005]为解决上述问题，本专利技术提供一种多情绪指导的共情对话生成方法。r/>[0006]该方法在推理阶段，将文本输入完成训练的对话生成模型，得到与文本情绪一致的答复语句；对话生成模型在推理阶段不使用情绪标签；所述对话生成模型的训练包括以下步骤：步骤一，准备训练样本，每个训练样本包含m个句子和q种情绪标签；步骤二，上下文编码：用编码器将训练样本的m个句子串成词汇序列，并在首端插入特殊字符串[CLS]，得到上下文序列X，将q种情绪标签及上下文序列X分别转换为情绪嵌入向量x
e
及上下文嵌入向量x，将上下文嵌入向量x输入到Transformer进行全局编码处理，得到全局上下文特征；步骤三，多级情绪关系图网络：对上下文序列X中每个词汇，计算情绪强度值；基于情绪强度值构建多级情绪关系图，用多级情绪关系图描述训练样本中句子和情绪标签的关系，多级情绪关系图的节点包括情绪词节点V
w
与情绪节点V
e
；构建多级情绪关系图网络，将情绪嵌入向量x
e
作为情绪节点V
e
的初始特征，将上下文嵌入向量x作为情绪词节点V
w
的初始特征，迭代更新多级情绪关系图网络中的情绪边特征和节点特征，得到情绪边特征及
节点特征；步骤四，情绪预测任务：通过情绪边特征与全局上下文特征预测情绪的概率分布，得到全局上下文特征的中间量；情绪预测任务的损失函数为；步骤五，门控处理：通过改变初始情绪边权重和改变情绪节点V
e
的集合对多级情绪关系图网络进行改造，获得经过门控处理的情绪边特征及节点特征；步骤六，响应生成任务：通过全局上下文特征的中间量与节点特征生成答复语句，响应生成任务的损失函数为；步骤七，定义对话生成模型的总体损失函数，根据总体损失函数L训练对话生成模型。
[0007]进一步的，步骤三中，所述计算情绪强度值的过程，具体包括：对上下文序列X中每个词汇，使用知识模型SKEP输出一个[0,1]区间的词汇积极程度分值，每个词汇的情绪强度值为：；定义为上下文序列X的情绪强度值集合，其中所述特殊字符[CLS]的情绪强度值设置为1，p
‑
1为上下文序列X中的词汇总数。
[0008]进一步的，步骤三中，所述基于情绪强度值构建多级情绪关系图，用多级情绪关系图描述训练样本中句子和情绪标签的关系，具体包括：将每个情绪词节点V
w
指向所有排序在前的情绪词所对应的情绪词节点的连接边，所述排序指按在上下文序列X中次序排序；将每个情绪词节点V
w
指向所有情绪节点V
e
的连接边；将特殊字符[CLS]的节点指向所有情绪词节点V
w
和所有情绪节点V
e
的连接边，将得到的图定义为全局情绪图G；将情绪强度值的集合分为K个不同的情绪强度阈值范围，将全局情绪图G分为K个局部情绪图G
k
，k=1,2,
…
,K，每个局部情绪图中的情绪词节点V
w
的情绪强度均在对应的情绪强度阈值范围内。
[0009]进一步的，步骤三中，基于所述情绪强度值构造多级情绪关系图网络，并迭代更新多级情绪关系图网络中的情绪边特征和节点特征，得到情绪边特征及节点特征的过程，具体包括：初始化节点到邻域节点的边的初始边权重为：，其中，max
‑
abs表示最大绝对值归一化运算，代表邻域节点的情绪强度值；局部情绪图G
k
中第层的节点特征和边特征更新运算为：
；；；；其中，均为可学习的参数矩阵，表示元素点乘操作，是一个2层的线性映射网络，表示对K个局部情绪图中的节点特征的串联操作，表示节点的邻域节点的下标的集合，代表节点关于邻域节点特征的权重向量，是进一步使用Softmax函数归一化的结果，表示Softmax函数，表示转置；以最后一层的的集合作为节点特征，以最后一层的的集合作为情绪边特征。
[0010]进一步的，步骤四具体包括：计算情绪的概率分布：；；；其中，代表初步情绪特征，全局上下文特征的中间量由全局上下文特征经过一个平均池化层处理得到，||代表特征串联操作，代表结合和的情绪感知信号，、都是线性映射的权重，表示基于所述上下文序列X来预测情绪ε的概率分布，表示Softmax函数，表示第k个局部情绪图中节点和节点的每个邻域节点之间的情绪边的情绪边特征；情绪预测任务损失函数，代表对话情绪标签。
[0011]优选的，步骤五具体包括：计算情绪注意特征表示：；其中，为权重参数，为sigmoid函数，表示元素点乘操作；更新多级情绪关系图网络中情绪节点的初始边权重：；
其中，表示节点的邻域节点的集合，表示针对节点，对节点的邻域节点集合中的每个邻域节点的情绪特征使用函数处理；将情绪节点划分为有关情绪节点及无关情绪节点：；其中，代表节点的有关情绪节点集合，代表节点的无关情绪节点集合，是计算过程中的节点的有关情绪节点的中间变量的集合，、、分别为、和中所有节点的节点特征平均值，C代表求补集操作，|V|代表对集合取模操作，代表对括号内的表达式关于求最大值；从多级情绪关系图网络中移除无关情绪节点集合中所有节点；迭代更新多级情绪关系图网络的情绪边特征和节点特征，以最后一层的节点特征集合作为经过门控处理的节点特征，以最后一层的边特征集合作为经过门控处理的情绪边特征。
[0012]进一步的，步骤六具体包括：计算transformer得到的解码特征：；；；其中，代表先前响应输入与全局上下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多情绪指导的共情对话生成方法，其特征在于，在推理阶段，将文本输入完成训练的对话生成模型，得到与文本情绪一致的答复语句；对话生成模型在推理阶段不使用情绪标签；所述对话生成模型的训练包括以下步骤：步骤一，准备训练样本，每个训练样本包含m个句子和q种情绪标签；步骤二，上下文编码：用编码器将训练样本的m个句子串成词汇序列，并在首端插入特殊字符串[CLS]，得到上下文序列X，将q种情绪标签及上下文序列X分别转换为情绪嵌入向量x
e
及上下文嵌入向量x，将上下文嵌入向量x输入到Transformer进行全局编码处理，得到全局上下文特征；步骤三，多级情绪关系图网络：对上下文序列X中每个词汇，计算情绪强度值；基于情绪强度值构建多级情绪关系图，用多级情绪关系图描述训练样本中句子和情绪标签的关系，多级情绪关系图的节点包括情绪词节点V
w
与情绪节点V
e
；构建多级情绪关系图网络，将情绪嵌入向量x
e
作为情绪节点V
e
的初始特征，将上下文嵌入向量x作为情绪词节点V
w
的初始特征，迭代更新多级情绪关系图网络中的情绪边特征和节点特征，得到情绪边特征及节点特征；步骤四，情绪预测任务：通过情绪边特征与全局上下文特征预测情绪的概率分布，得到全局上下文特征的中间量；情绪预测任务的损失函数为；步骤五，门控处理：通过改变初始情绪边权重和改变情绪节点V
e
的集合对多级情绪关系图网络进行改造，获得经过门控处理的情绪边特征及节点特征；步骤六，响应生成任务：通过全局上下文特征的中间量与节点特征生成答复语句，响应生成任务的损失函数为；步骤七，定义对话生成模型的总体损失函数，根据总体损失函数L训练对话生成模型。2.根据权利要求1所述多情绪指导的共情对话生成方法，其特征在于，步骤三中，所述计算情绪强度值的过程，具体包括：对上下文序列X中每个词汇，使用知识模型SKEP输出一个[0,1]区间的词汇积极程度分值，每个词汇的情绪强度值为：；定义为上下文序列X的情绪强度值集合，其中所述特殊字符[CLS]的情绪强度值设置为1，p
‑
1为上下文序列X中的词汇总数。3.根据权利要求1所述多情绪指导的共情对话生成方法，其特征在于，步骤三中，所述基于情绪强度值构建多级情绪关系图，用多级情绪关系图描述训练样本中句子和情绪标签的关系，具体包括：将每个情绪词节点V
w
指向所有排序在前的情绪词所对应的情绪词节点的连接边，所述排序指按在上下文序列X中次序排序；将每个情绪词节点V
w
指向所有情绪节点V
e
的连接边；
将特殊字符[CLS]的节点指向所有情绪词节点V
w
和所有情绪节点V
e
的连接边，将得到的图定义为全局情绪图G；将情绪强度值的集合分为K个不同的情绪强度阈值范围，将全局情绪图G分为K个局部情绪图G
k
，k=1,2,
…
,K...

【专利技术属性】
技术研发人员：张勇东，毛震东，王朋喆，张驰，符凤仪，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：