一种面向在线教育的多模态情感分析方法技术

技术编号:46035276 阅读:14 留言:0更新日期:2025-08-05 19:38
本发明专利技术涉及一种面向在线教育的多模态情感分析方法,该方法包括得到待分析数据中的文本综合模态表示、语音综合模态表示和视觉综合模态表示,并进行多模态融合,通过多模态方式进行分析,利用不同模态之间的互补性,提升情感识别的全面性和准确性;根据融合结果确定最优小波基函数和最优分解层数,对融合结果进行离散小波变换,得到高频特征和低频特征,对局部频率特性进行精细分离;根据高频特征和低频特征,确定多频图注意力权重,根据多频图注意力权重对高频特征和低频特征进行特征融合,得到多模态情感分析结果,在不同频率层次上捕捉模态间的协同作用,有效融合异构数据,更全面地理解复杂的情感表达,提高了多模态情感识别的准确性。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其涉及一种面向在线教育的多模态情感分析方法


技术介绍

1、随着在线教育的普及,学生的学习过程逐渐从传统的面对面教学转向虚拟化、数字化的环境。然而,在线教育面临的一个重要挑战是教师难以实时感知学生的情感状态,如专注度、兴趣度、困惑或焦虑等。这些情感状态直接影响学生的学习效果和体验。情感识别作为人工智能领域的重要研究方向,旨在通过分析语音、文本、图像等多模态数据来识别人类的情感状态。尽管已有多种方法尝试解决在线教育中的情感分析问题,但这些方法在高低频信号分离和多模态特征交互方面仍存在明显不足。

2、现有方法在高低频信号的处理上存在以下问题:高低频信号分离不充分:传统方法(如傅里叶变换)在处理高频信号时,难以根据信号的局部频率特性进行精细分离,导致高低频信息的丢失或混淆。多模态特征交互不足:在线教育场景中的情感数据(如文本、语音和视觉)具有不同的频率特性和时间尺度,现有方法难以有效融合这些异构数据。现有方法通常直接对原始特征进行融合,缺乏对多模态特征在频率层次上的协同建模,导致模型对复杂情感表达的理解能力有限。

...

【技术保护点】

1.一种面向在线教育的多模态情感分析方法,其特征在于,包括:

2.根据权利要求1所述的面向在线教育的多模态情感分析方法,其特征在于,所述对所述文本综合模态表示、所述语音综合模态表示和所述视觉综合模态表示进行多模态融合,得到融合结果,包括:

3.根据权利要求1所述的面向在线教育的多模态情感分析方法,其特征在于,在所述根据所述融合结果确定最优小波基函数和最优分解层数,并根据所述最优小波基函数和所述最优分解层数对所述融合结果进行离散小波变换,得到高频特征和低频特征之前,还包括:

4.根据权利要求3所述的面向在线教育的多模态情感分析方法,其特征在于,所述根据所...

【技术特征摘要】

1.一种面向在线教育的多模态情感分析方法,其特征在于,包括:

2.根据权利要求1所述的面向在线教育的多模态情感分析方法,其特征在于,所述对所述文本综合模态表示、所述语音综合模态表示和所述视觉综合模态表示进行多模态融合,得到融合结果,包括:

3.根据权利要求1所述的面向在线教育的多模态情感分析方法,其特征在于,在所述根据所述融合结果确定最优小波基函数和最优分解层数,并根据所述最优小波基函数和所述最优分解层数对所述融合结果进行离散小波变换,得到高频特征和低频特征之前,还包括:

4.根据权利要求3所述的面向在线教育的多模态情感分析方法,其特征在于,所述根据所述融合结果确定最优小波基函数和最优分解层数,并根据所述最优小波基函数和所述最优分解层数对所述融合结果进行离散小波变换,得到高频特征和低频特征,包括:

5.根据权利要求4所述的面向在线教育的多模态情感分析方法,其特征在于,所述根据预设小波基函...

【专利技术属性】
技术研发人员:李玉强马依依胡潇
申请(专利权)人:武汉理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1