基于因果图神经网络的学习者情感演化分析方法与系统技术方案

本申请公开了本申请实施例提供的基于因果图神经网络的学习者情感演化分析方法与系统的有益效果为：本申请设计基于“学习者

【技术实现步骤摘要】
基于因果图神经网络的学习者情感演化分析方法与系统


[0001]本申请涉及图神经网络领域，尤其是基于因果图神经网络的学习者情感演化分析方法与系统。

技术介绍

[0002]学习者作为课堂的主体，其情感是在开展学习认知活动时产生的内心体验和相应的外部表现，是教育教学提质增效的关键所在，也是育人质量提升的重要依据。人工智能技术是高质量课堂教学创新的重要驱动引擎，对课堂教学三维目标之一“情感态度价值观”达成和全面素质人才培养作用重大。然而，课堂学习者情感呈现人际交互网络复杂化下情感的难感知、人机高度协同过程下情感的动态易变、课堂活动群智化下情感的多源关联等特性，皆导致以课堂全过程为线索的情感难以获得并理解，严重阻碍课堂教与学效率效果提升、学习者全面发展。因此，以课堂为支撑环境，在新一代人工智能支持下提出及时感知课堂全过程的学习者情感状态及演化趋势的方法，理解情感多维要素动态性复杂时空因果关系，实现课堂学习者情感变化及其溯源规律的深层次揭示，有助于促进课堂的提质增效。
[0003]学习者情感分析是模拟人类智慧，有更新和优化数据能力，并可结合具体情境识别、理解、表达和适应学习者的情感的能力，以接近人的最佳决策不断自我升级。已有情感分析相关技术主要包括：基于学生的表情数据，利用Haar
‑
like特征的AdaBoost标记学生人脸，构建卷积神经网络模型将学生学习情感识别为积极情感和消极情感并反馈给教师；或者，通过抽取学习者情感状态最相关的眼动、心率等信号融合深层和浅层特征，提出长短时记忆网络等机器学习方法，识别感兴趣，困惑，无聊，高兴四种情感。相关技术的缺点主要包括：(1)采集人脸、眼动与生理层面等多模态同质信息进行情感分析，未考虑课堂教学全过程中涉及学习者差异性(性别、爱好、认知水平等)、情感多维度(极性、强度等)等情感相关的多类型异质信息，无法全面感知课堂学习者的细粒度情感状态；(2)仅对学习者静态情感状态进行分类，忽略了复杂教与学场景中的时序情感演化，无法实现深层次学习者情感分析与归因；(3)采集人脸面部动态变化数据识别仅对不同时刻学习者情感识别，并未对时序动态情感演化趋势分析；(4)未分析引发学习者情感变化的因果关系，无法做出精准溯源并予以针对性干预，甚至产生负面效果。
[0004]因此，相关技术存在的上述技术问题亟待解决。

技术实现思路

[0005]本申请旨在解决相关技术中的技术问题之一。为此，本申请实施例提供一种准确率与鲁棒性高的基于因果图神经网络的学习者情感演化分析方法与系统，从学习者情感呈现人际交互网络复杂化下情感及其变化角度出发，利用学习者情感关联的多模态数据，学习学习者动态性情感的复杂时空因果关系，分析学习者情感演化趋势，助力课堂精准施教。
[0006]根据本申请实施例一方面，提供基于因果图神经网络的学习者情感演化分析方法，所述方法包括：
[0007]设计基于“学习者
‑
活动
‑
情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据；
[0008]基于Z
‑
Transformer的跨模态时序融合方式，融合所述多模态时序数据；
[0009]根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型；
[0010]根据所述情感结构因果模型，利用干预变分图自编码器建立情感异质因果图；
[0011]根据所述情感异质因果图，构建因果图神经网络分析学习者情感演化。
[0012]在其中一个实施例中，所述设计基于“学习者
‑
活动
‑
情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据，包括：
[0013]构建描述学习者层：学习者与教师是课堂学习的主体与主导，该层涉及“学习者
‑
教师
‑
学习内容”等交互关系要素。其中，学习者方面包括学习者课堂情感、学习者年龄、性别、作业完成度等个体因素，对上述因素形式化定义，构建学习者实例集合S＝{s1,
…
,s
n
}；教师方面。其相关年龄、性别、职称等因素同样会对学习者情感产生影响，构建教师因素实例集合D＝{d1,
…
,d
n
}；另外，课程相关学科、难度等学习内容因素作为连接学习者与教师的桥梁同样影响学习者情感，构建课程因素实例集合C＝{c1,
…
,c
n
}；
[0014]构建描述活动层：基于学习者层面已有因素，课堂教与学活动等活动中包括课堂听讲、课程阅读、同伴交流、课堂讨论、回答问题等学习者参与活动，和教师课程阅读、课堂提问等教师参于活动，收集课堂活动因素数据量化，构建课堂活动实例集合A＝{a1,
…
,a
n
}；
[0015]构建描述情感层：基于学习者层面与活动层面基础上，感知时序课堂教与学过程，学习者情感状态受以上两层面集合数据影响，将学习者情感状态定义为学习者情感演化趋势定义为学习者i情感类型状态表示为三元组其中，h
t
表示在t时刻的学习者情感状态，h
p
为学习者的情感极性，h
q
为学习者的情感强度。课堂教与学活动全过程的交互激发学习者认知过程的情感变化，这些情感的演化趋势从两方面进行表征，则学习者情感有负面上升、负面下降、正面上升、正面下降四种演化趋势，为此将学习者情感演化定义为三元组其中表示学习者i在t时刻情感演化趋势，y
p
为学习者情感演化极性包括正面1与负面
‑
1两种状态，y
q
为学习者情感强度变化包括上升1与下降
‑
1两种变化。
[0016]在其中一个实施例中，所述基于Z
‑
Transformer的跨模态时序融合方式，融合所述多模态时序数据，包括：
[0017]根据已语义化学习者情感关联实例集合及其相应的图像、音频与文字等多模态时序数据，构建跨模态注意力融合模型，将所述多模态数据输入所述跨模态注意力融合模型，将融合后的数据时序对齐输入到跨模态多头交叉自注意力堆叠的循环网络函数；
[0018]其中，图像、音频与文字等模态时序数据融合模型的输入集为Z∈M，跨模态时序数据融合过程为：
[0019][0020][0021]式中，Z为多模态数据融合定义模型输入集，M为数据模态类型集合，等为不同模态下情感关联实例集合，Transformer为自注意力机制，θ为参数，LN为归一化处理，Z
′
为融合后的时序情感关联实例集合数据，η
t
表示t时刻的扩散因子，σ为激活函数，U
z∈M
为遍历符号，[]为特征拼接。
[0022]在其中一个实施例中，所述根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型，包括：
[0023]针对学习者情感多维要素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述方法包括：设计基于“学习者
‑
活动
‑
情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据；基于Z
‑
Transformer的跨模态时序融合方式，融合所述多模态时序数据；根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型；根据所述情感结构因果模型，利用干预变分图自编码器建立情感异质因果图；根据所述情感异质因果图，构建因果图神经网络分析学习者情感演化。2.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述设计基于“学习者
‑
活动
‑
情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据，具体为：构建描述学习者层：学习者与教师是课堂学习的主体与主导，该层涉及“学习者
‑
教师
‑
学习内容”等交互关系要素。其中，学习者方面包括学习者课堂情感、学习者年龄、性别、作业完成度等个体因素，对上述因素形式化定义，构建学习者实例集合S＝{s1,
…
,s
n
}；教师方面。其相关年龄、性别、职称等因素同样会对学习者情感产生影响，构建教师因素实例集合N＝{d1,
…
,d
n
}；另外，课程相关学科、难度等学习内容因素作为连接学习者与教师的桥梁同样影响学习者情感，构建课程因素实例集合C＝{c1,
…
,c
n
}；构建描述活动层：基于学习者层面已有因素，课堂教与学活动等活动中包括课堂听讲、课程阅读、同伴交流、课堂讨论、回答问题等学习者参与活动，和教师课程阅读、课堂提问等教师参于活动，收集课堂活动因素数据量化，构建课堂活动实例集合A＝{a1,
…
,a
n
}；构建描述情感层：基于学习者层面与活动层面基础上，感知时序课堂教与学过程，学习者情感状态受以上两层面集合数据影响，将学习者情感状态定义为学习者情感演化趋势定义为学习者i情感类型状态表示为三元组其中，h
t
表示在t时刻的学习者情感状态，h
p
为学习者的情感极性，h
q
为学习者的情感强度。课堂教与学活动全过程的交互激发学习者认知过程的情感变化，这些情感的演化趋势从两方面进行表征，则学习者情感有负面上升、负面下降、正面上升、正面下降四种演化趋势，为此将学习者情感演化定义为三元组其中表示学习者i在t时刻情感演化趋势，y
p
为学习者情感演化极性包括正面1与负面
‑
1两种状态，y
q
为学习者情感强度变化包括上升1与下降
‑
1两种变化。3.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述基于Z
‑
Transformer的跨模态时序融合方式，融合所述多模态时序数据，包括：根据已语义化学习者情感关联实例集合及其相应的图像、音频与文字等多模态时序数据，构建跨模态注意力融合模型，将所述多模态数据输入所述跨模态注意力融合模型，将融合后的数据时序对齐输入到跨模态多头交叉自注意力堆叠的循环网络函数；其中，图像、音频与文字等模态时序数据融合模型的输入集为Z∈M，跨模态时序数据融合过程为：
式中，Z为多模态数据融合定义模型输入集，M为数据模态类型集合，等为不同模态下情感关联实例集合，Transformer为自注意力机制，θ为参数，LN为归一化处理，Z
′
为融合后的时序情感关联实例集合数据，η
t
表示t时刻的扩散因子，σ为激活函数，U
z∈M
为遍历符号，[]为特征拼接。4.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型，包括：针对学习者情感多维要素动态性复杂时空因果特性，通过融合后的学习者时序数据集，所述情感结构因果模型SSCM定义为四元组<U,V,f,P(U)>构成，包括外生变量U、内生变量集合V、一组函数方程f、定义在U定义域上的概率函...

【专利技术属性】
技术研发人员：韩中美，韩守港，黄昌勤，黄琼浩，吴雪梅，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：