协作会话情感识别方法、装置、电子设备及存储介质制造方法及图纸

技术编号:43102691 阅读:25 留言:0更新日期:2024-10-26 09:46
本发明专利技术涉及协作会话情感识别方法、装置、电子设备及存储介质,该方法包括:获取在线协作学习中的多通道会话行为数据,基于多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集。通过不同的预训练模型分别抽取清洗后的多模态协作会话数据中的单模态特征,以将单模态特征映射至相同的特征维度空间。构建具有动态上下文窗口的情感交互图,并在文本模态图对应的节点进行特征初始化处理,以引入外部知识增强。将多个情感交互图学习到的节点特征进行拼接,得到融合特征,并将融合特征作为会话情感预测层的输入,以会话节点的情感标签为输出,构建会话情感识别模型。调用会话情感识别模型识别出当前多通道会话行为数据中对应的情感标签。

【技术实现步骤摘要】

本专利技术涉及人工智能与教育,特别是涉及一种协作会话情感识别方法、装置、电子设备及存储介质


技术介绍

1、在线协作学习由于在培养和发展学习者的协作沟通、问题解决、高阶思维等方面能力具有极大优势,已成为当前的一种重要学习范式。在线协作学习常基于视频会议的方式开展会话讨论,以达成问题解决方案或学习目标。然而,由于时空隔离等因素,协作学习过程中学习者易产生困惑、消极等学习情感,会影响协作学习的有效推进和协作学习效果。因此,及时准确地识别协作学习过程中学习者的情感状态十分重要,它能为教师及时制定个性化的情感支持服务提供决策依据。

2、在线方式的优势之一是可将协作学习过程中的交互会话数据记录下来,为教师和管理者深入了解协作学习过程及协作学习效果提供数据基础。但是在传统的在线协作学习开展中,大都是在协作学习结束后通过问卷或人工编码视频的等方法了解学习者的情感状态,进而提出下次协作学习开展的优化策略。显然,传统的协作会话情感分析方法难以及时准确地识别学习情感状态,难以及时给予情感支持。

3、目前开展的在线协作学习活动多依赖于事后的问卷报告或基于本文档来自技高网...

【技术保护点】

1.一种协作会话情感识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的协作会话情感识别方法,其特征在于,所述获取在线协作学习中的多通道会话行为数据,并基于所述多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集,包括:

3.根据权利要求2所述的协作会话情感识别方法,其特征在于,所述获取在线协作学习中的多通道会话行为数据,并基于所述多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集,还包括:

4.根据权利要求3所述的协作会话情感识别方法,其特征在于,所述对所述多模态协作会话数据进行清洗,并通过不同的预训练模型分别抽取清洗后的...

【技术特征摘要】

1.一种协作会话情感识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的协作会话情感识别方法,其特征在于,所述获取在线协作学习中的多通道会话行为数据,并基于所述多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集,包括:

3.根据权利要求2所述的协作会话情感识别方法,其特征在于,所述获取在线协作学习中的多通道会话行为数据,并基于所述多通道会话行为数据构建包含多模态协作会话数据的协作会话数据集,还包括:

4.根据权利要求3所述的协作会话情感识别方法,其特征在于,所述对所述多模态协作会话数据进行清洗,并通过不同的预训练模型分别抽取清洗后的所述多模态协作会话数据中的单模态特征,以将所述单模态特征映射至相同的特征维度空间,包括:

5.根据权利要求1所述的协作会话情感识别方法,其特征在于,所述构建具有动态上下文窗口且包括两个跨模态情感交互图和一个文本模态图的情感交...

【专利技术属性】
技术研发人员:杨娟黄奥
申请(专利权)人:武汉科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1