基于有监督对比学习与回复生成辅助的对话情感识别方法技术

本发明专利技术提供一种基于有监督对比学习与回复生成辅助的对话情感识别方法，首先，由于构建的预训练模型CoG

【技术实现步骤摘要】
基于有监督对比学习与回复生成辅助的对话情感识别方法


[0001]本专利技术属于深度学习与自然语言处理领域，具体涉及一种基于有监督对比学习与回复生成辅助的对话情感识别方法。

技术介绍

[0002]随着个人智能终端技术和社交网络的发展与普及，构建可理解用户情感、意图并进行有效对话交互的对话系统的重要性显著提升。对话系统中尤为关键的模块便是对用户情感进行分析的自然语言理解模块。对具有上下文关系的用户情感进行分析不仅是简单情感分类任务的进阶，并且在现实世界中更符合使用场景且更具有研究价值。对话情感识别的任务便是对具有上下文关系的一端历史对话中的所有话语进行情感分类，同时每段历史对话中包含多个不同的会话者之间的交互。
[0003]对话情感识别任务中主要存在三个挑战：(1)对话进程中的每个话语的情感都会收到上下文信息的影响。比如，特定情感会依赖于上下文中的特定话语。同时，具有相同表达的话语在不同的语境下可能存在着截然不同的情感标签。因此，高效地建模上下文依赖以及说话者之间的依赖问题是该任务相较于传统情感识别任务的主要区别。(2)每个说话者的情感都会受到对话过程中其他说话者话语的影响，所以在会话过程中存在说话者情绪突变的情况。(3)存在部分语义相似的情感，如“沮丧”和“伤心”，“快乐”和“兴奋”等。区别这类相似情感存在一定的困难性。
[0004]目前的部分工作通过使用各类图神经网络来处理上下文依赖和说话者依赖问题。然而，随着图网络层数的加深，开始逐渐出现过平滑现象，使得相似情感的表示趋向于更难区分。
专利技术内容
[0005]为解决上述问题，提供一种更好地建模上下文依赖关系和说话者依赖关系的对话情感识别方法，本专利技术采用了如下技术方案：
[0006]本专利技术提供了一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于，包括以下步骤：步骤S1，基于编码器
‑
解码器构建预训练模型CoG
‑
BART，预训练模型CoG
‑
BART具有对话级Transformer模块以及共享嵌入层；步骤S2，采用预训练模型CoG
‑
BART对训练用对话进行话语编码获取训练用对话所包含的话语的隐状态；步骤S3，预训练模型CoG
‑
BART基于话语的隐状态和上下文文本对进行辅助性回复生成任务并计算生成损失，同时将隐状态输入至对话级Transformer模块进行话语的上下文建模得到新的话语隐状态；步骤S4，基于新的话语隐状态计算有监督对比学习损失和交叉熵损失；步骤S5，基于生成损失、有监督对比学习损失以及交叉熵损失计算总体训练损失，并对预训练模型CoG
‑
BART进行训练，直至获得训练好的预训练模型CoG
‑
BART并将其作为对话情感识别模型；步骤S6，将包含若干句子的待测对话输入至对话情感识别模型进行情感识别并输出待测对话中若干句子对应的情感标签，其中，上下文文本对基于训练用对话生成。
[0007]本专利技术提供的基于有监督对比学习与回复生成辅助的对话情感识别方法，还可以具有这样的技术特征，其中，步骤S2包括以下子步骤：步骤S2
‑
1，将训练用对话中的一个话语与对应的说话者进行拼接得到拼接后的话语：
[0008][0009]式中，u
t
为训练用对话中的某个话语，p(u
t
)为话语u
t
的说话者；步骤S2
‑
2，对拼接后的话语进行词块化得到词块化的话语：
[0010][0011]式中，w
t，i
表示词块化后的词块，|n
t
|表示第t轮话语进行词块后的序列长度，＜s＞和＜/s＞分别表示句子开始和结束的特殊词块；步骤S2
‑
3，将词块化的话语依次输入至共享嵌入层以及编码器获取与词块化的话语对应句子表示即话语的隐状态：
[0012][0013][0014]式中，H
t
表示嵌入后的句子表示，为经过编码的句子表示，为经过编码的句子表示，其中，s，d分别表示序列长度和隐状态维度。
[0015]本专利技术提供的基于有监督对比学习与回复生成辅助的对话情感识别方法，还可以具有这样的技术特征，其中，在步骤S3中，上下文建模包括以下子步骤：步骤S3
‑
1，将经过编码的句子表示通过最大池化获取每个话语的聚合表示
[0016][0017]式中，M表示对填补上的位置进行掩码操作；步骤S3
‑
2，针对一个上下文中的所有对话，基于多头注意力机制计算每两个不同话语之间的多头注意力，并对每个话语的不同特征进行聚合获取最终的隐状态表示，每两个不同话语的隐状态的多头注意力的计算公式为：
[0018][0019][0020]MultiHead(Q，K，V)＝[head1；
…
；head
n
]W
O
[0021]式中，Q、K、V分别表示将两个不同话语的隐状态与三个可训练参数矩阵W
iQ
、W
iK
、W
iV
相乘得到的查询向量、键向量以及值向量，M表示掩码向量，W
O
表示将各个注意力头headi中的信息进行聚合的参数向量；步骤S3
‑
3，基于对话级Transformer模块进行上下文依赖关系的建模获取新的话语隐状态：
[0022][0023][0024]式中，表示窗口中的某个对话，表示一段对话中窗口大小bs内的对话，表示进行上下文建模后的新的话语隐状态。
[0025]本专利技术提供的基于有监督对比学习与回复生成辅助的对话情感识别方法，还可以具有这样的技术特征，其中，在步骤S3中，辅助性回复生成任务为：预训练模型CoG
‑
BART基于上文u
t
生成对应的下文u
t+1
，下文u
t+1
中的每一个词块的隐状态由解码器序列输出：
[0026][0027][0028][0029]式中，BART
‑
Encoder和BART
‑
Decoder分别表示预训练模型CoG
‑
BART的编码器和解码器，编码器对话语隐状态H
t
进行编码后生成编码后的隐状态由解码器生成下一个词块的隐状态并通过Softmax函数得到词块u
t+1，j
。
[0030]本专利技术提供的基于有监督对比学习与回复生成辅助的对话情感识别方法，还可以具有这样的技术特征，其中，有监督对比学习为：对于一个具有N个训练样例的批量，对批量中的每个训练样例通过预定增强方法获取增强后的2N个训练样例，预定增强方法为将一个话语的隐状态复制一份并删除其梯度，得到
[0031][0032]本专利技术提供的基于有监督对比学习与回复生成辅助的对话情感识别方法，还可以具有这样的技术特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于，包括以下步骤：步骤S1，基于编码器
‑
解码器构建预训练模型CoG
‑
BART，所述预训练模型CoG
‑
BART具有对话级Transformer模块以及共享嵌入层；步骤S2，采用所述预训练模型CoG
‑
BART对训练用对话进行话语编码获取所述训练用对话所包含的话语的隐状态；步骤S3，所述预训练模型CoG
‑
BART基于所述话语的隐状态和上下文文本对进行辅助性回复生成任务并计算生成损失，同时将所述隐状态输入至所述对话级Transformer模块进行话语的上下文建模得到新的话语隐状态；步骤S4，基于所述新的话语隐状态计算有监督对比学习损失和交叉熵损失；步骤S5，基于所述生成损失、有监督对比学习损失以及交叉熵损失计算总体训练损失，并对所述预训练模型CoG
‑
BART进行训练，直至获得训练好的预训练模型CoG
‑
BART并将其作为对话情感识别模型；步骤S6，将包含若干句子的待测对话输入至对话情感识别模型进行情感识别并输出待测对话中若干句子对应的情感标签，其中，所述上下文文本对基于所述训练用对话生成。2.根据权利要求1所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于：其中，所述步骤S2包括以下子步骤：步骤S2
‑
1，将所述训练用对话中的一个话语与对应的说话者进行拼接得到拼接后的话语：式中，u
t
为所述训练用对话中的某个话语，p(u
t
)为话语u
t
的说话者；步骤S2
‑
2，对所述拼接后的话语进行词块化得到词块化的话语：式中，w
t,i
表示词块化后的词块，|n
t
|表示第t轮话语进行词块后的序列长度，<s>和</s>分别表示句子开始和结束的特殊词块；步骤S2
‑
3，将所述词块化的话语依次输入至所述共享嵌入层以及编码器获取与所述词块化的话语对应句子表示即所述话语的隐状态：块化的话语对应句子表示即所述话语的隐状态：式中，H
t
表示嵌入后的句子表示，为经过编码的句子表示，其中，s,d分别表示序列长度和隐状态维度。3.根据权利要求2所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于：其中，在所述步骤S3中，所述上下文建模包括以下子步骤：步骤S3
‑
1，将经过编码的句子表示通过最大池化获取每个话语的聚合表示
式中，M表示对填补上的位置进行掩码操作；步骤S3
‑
2，针对一个上下文中的所有对话，基于多头注意力机制计算每两个不同话语之间的多头注意力，并对所述每个话语的不同特征进行聚合获取最终的隐状态表示，所述每两个不同话语的隐状态每两个不同话语的隐状态的多头注意力的计算公式为：的多头...

【专利技术属性】
技术研发人员：邱锡鹏，李世民，周雅倩，
申请(专利权)人：复旦大学，
类型：发明
国别省市：