基于有监督对比学习与回复生成辅助的对话情感识别方法技术

本发明专利技术提供一种基于有监督对比学习与回复生成辅助的对话情感识别方法，首先，由于构建的预训练模型CoG

【技术实现步骤摘要】
基于有监督对比学习与回复生成辅助的对话情感识别方法


[0001]本专利技术属于深度学习与自然语言处理领域，具体涉及一种基于有监督对比学习与回复生成辅助的对话情感识别方法。

技术介绍

[0002]随着个人智能终端技术和社交网络的发展与普及，构建可理解用户情感、意图并进行有效对话交互的对话系统的重要性显著提升。对话系统中尤为关键的模块便是对用户情感进行分析的自然语言理解模块。对具有上下文关系的用户情感进行分析不仅是简单情感分类任务的进阶，并且在现实世界中更符合使用场景且更具有研究价值。对话情感识别的任务便是对具有上下文关系的一端历史对话中的所有话语进行情感分类，同时每段历史对话中包含多个不同的会话者之间的交互。
[0003]对话情感识别任务中主要存在三个挑战：(1)对话进程中的每个话语的情感都会收到上下文信息的影响。比如，特定情感会依赖于上下文中的特定话语。同时，具有相同表达的话语在不同的语境下可能存在着截然不同的情感标签。因此，高效地建模上下文依赖以及说话者之间的依赖问题是该任务相较于传统情感识别任务的主要区别。(2)每个说话者的情感都会本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于，包括以下步骤：步骤S1，基于编码器
‑
解码器构建预训练模型CoG
‑
BART，所述预训练模型CoG
‑
BART具有对话级Transformer模块以及共享嵌入层；步骤S2，采用所述预训练模型CoG
‑
BART对训练用对话进行话语编码获取所述训练用对话所包含的话语的隐状态；步骤S3，所述预训练模型CoG
‑
BART基于所述话语的隐状态和上下文文本对进行辅助性回复生成任务并计算生成损失，同时将所述隐状态输入至所述对话级Transformer模块进行话语的上下文建模得到新的话语隐状态；步骤S4，基于所述新的话语隐状态计算有监督对比学习损失和交叉熵损失；步骤S5，基于所述生成损失、有监督对比学习损失以及交叉熵损失计算总体训练损失，并对所述预训练模型CoG
‑
BART进行训练，直至获得训练好的预训练模型CoG
‑
BART并将其作为对话情感识别模型；步骤S6，将包含若干句子的待测对话输入至对话情感识别模型进行情感识别并输出待测对话中若干句子对应的情感标签，其中，所述上下文文本对基于所述训练用对话生成。2.根据权利要求1所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于：其中，所述步骤S2包括以下子步骤：步骤S2
‑
1，将所述训练用对话中的一个话语与对应的说话者进行拼接得到拼接后的话语：式中，u
t
为所述训练用对话中的某个话语，p(u
t
)为话语u
t
的说话者；步骤S2
‑
2，对所述拼接后的话语进行词块化得到词块化的话语：式中，w
t,i
表示词块化后的词块，|n
t
|表示第t轮话语进行词块后的序列长度，<s>和</s>分别表示句子开始和结束的特殊词块；步骤S2
‑
3，将所述词块化的话语依次输入至所述共享嵌入层以及编码器获取与所述词块化的话语对应句子表示即所述话语的隐状态：块化的话语对应句子表示即所述话语的隐状态：式中，H
t
表示嵌入后的句子表示，为经过编码的句子表示，其中，s,d分别表示序列长度和隐状态维度。3.根据权利要求2所述的一种基于有监督对比学习与回复生成辅助的对话情感识别方法，其特征在于：其中，在所述步骤S3中，所述上下文建模包括以下子步骤：步骤S3
‑
1，将经过编码的句子表示通过最大池化获取每个话语的聚合表示
式中，M表示对填补上的位置进行掩码操作；步骤S3
‑
2，针对一个上下文中的所有对话，基于多头注意力机制计算每两个不同话语之间的多头注意力，并对所述每个话语的不同特征进行聚合获取最终的隐状态表示，所述每两个不同话语的隐状态每两个不同话语的隐状态的多头注意力的计算公式为：的多头...

【专利技术属性】
技术研发人员：邱锡鹏，李世民，周雅倩，
申请(专利权)人：复旦大学，
类型：发明
国别省市：