本发明专利技术公开了一种基于跨时空图表征的学习者情感分析方法及装置，方法包括：将输入的若干学习者表情视频帧划分为若干个同等大小且不重叠的子分块，并将子分块进行图结点特征嵌入处理，得到图结点的初始特征；构建每个子分块的跨时空最近邻图结构；将学习者情感跨时空图表征模块的输出情感时空图特征进行分类，预测输入的学习者表情视频帧的情感类别；本发明专利技术能够在不使用额外辅助信息的情形下对学习者表情视频帧进行局部区域划分，使得跨时空图卷积网络能够直接处理学习者表情视频帧数据，另外，本发明专利技术通过跨时空图构建和具有关联感知的图卷积算子来获取学习者表情不同区域、不同视频帧之间的时空关联图表征，可广泛应用于计算机技术领域。算机技术领域。算机技术领域。
【技术实现步骤摘要】
一种基于跨时空图表征的学习者情感分析方法及装置
[0001]本专利技术涉及计算机
，尤其是一种基于跨时空图表征的学习者情感分析方法及装置。
技术介绍
[0002]学习者的情感状态是在学习认知活动过程中所产生的内心真实体验和对应的外部表现，是人机协同下教育教学提质增效的关键因素之一。在人
‑
机
‑
物深度融合的现代教育场景下对学习者的情感进行精准分析，能够为教师及时获取学习者的学习状态提供准确数据，进而促进教师课堂教学策略的改进，驱动高质量课堂教学创新。
[0003]目前针对学习者表情的情感分析技术主要包括基于卷积神经网络(CNN)和基于Transformer的两种深度神经网络模型。其中基于CNN的方法是当前情感分析应用最广泛的框架，典型代表性方法有DLP
‑
CNN、RAN、FAN和MA
‑
Net等，然而这些基于CNN的情感分析方法由于卷积算子内在的感受野范围有限等缺陷，因而导致分析模型无法获取面部表情各局部区域之间的结构化关联关系，进而影响对学习者情绪的预测准确性。针对基于CNN的情感分析方法所存在的问题，基于Transformer的情感分析方法则通过自注意力机制获取学习者面部不同区域的关系特征，典型代表性方法有FER
‑
VT、Former
‑
DFER等。然而，基于Transformer的情感分析方法是需要计算所有局部区域之间的关系权重，因此模型会获得冗余或噪声关系特征，此外还会导致算法的计算量会随着局部区域数目的增长而呈指数级上升。总体而言，现有无论是基于CNN还是Transformer的学习者情感分析技术都受限于其内在机制，难以面向学习者情感建模细粒度的跨时空结构化表征，进而难以适应实际的线上或线下教学场景，相关技术问题亟待解决。
技术实现思路
[0004]有鉴于此，本专利技术实施例提供一种基于跨时空图表征的学习者情感分析方法及装置，能够有效提升学习者情感分析的预测准确率。
[0005]本专利技术实施例的一方面提供了一种基于跨时空图表征的学习者情感分析方法，包括：
[0006]将输入的学习者表情视频帧划分为若干个同等大小且不重叠的子分块，并将所述子分块进行图结点特征嵌入处理，得到图结点的初始特征；
[0007]根据所述图结点的初始特征，构建每个子分块的时空最近邻图；
[0008]根据所述跨时空最近邻图，将所述学习者情感跨时空图表征的输出学习者表情图表征进行分类，预测输入的学习者表情视频帧的情感类别。
[0009]可选地，所述方法还包括：
[0010]通过终端摄像机等视觉感知设备获取学生的学习情境视频；
[0011]使用人脸目标检测器对含有学习者面部表情的原始视频帧进行人脸检测并执行人脸对齐操作；
[0012]将人脸对齐操作后的表情视频帧的分辨率进行缩放并统一设置宽高，得到学习者表情视频帧；
[0013]将所述学习者表情视频帧作为模型的输入数据。
[0014]可选地，所述将输入的学习者表情视频帧划分为若干个同等大小且不重叠的子分块，包括：
[0015]利用深度残差网络的第一个特征提取块对原始输入的学习者表情视频帧进行初步处理得到宽高分别为原始图像一半的第一特征图；
[0016]使用深度残差网络的第二个特征提取块提取第二阶段的第二特征图；
[0017]使用深度残差网络的第三个特征提取块提取第三阶段的第三特征图；
[0018]使用深度残差网络的第四个特征提取块提取第三阶段的第四特征图；
[0019]使用深度残差网络的第五个特征提取块提取第三阶段的第五特征图；
[0020]根据所述第一特征图、所述第二特征图、所述第三特征图、所述第四特征图、所述第五特征图确定图结点的初始特征。
[0021]可选地，所述将所述子分块进行特征嵌入处理，得到图结点的初始特征，包括：
[0022]将所述第二特征图、所述第三特征图和所述第四特征图进行特征映射，统一变换到目标维度特征空间，并对所述第五特征图进行维度不变性特征线性变换；
[0023]将变换后的第二特征图、第三特征图、第四特征图和第五特征图进行拼接操作；
[0024]将拼接操作得到特征图输入到特征融合函数中，获取包含多尺度学习者表情特征信息的图结点的初始特征。
[0025]可选地，所述根据所述图结点的初始特征，构建每个子分块的跨时空最近邻图，包括：
[0026]在每一次为图结点构建跨时空最近邻图之前，对图结点的初始特征进行一次变换；
[0027]在执行关联感知图卷积操作之后再对所有图结点进行一次特征变换，得到特征向量集合作为图结点集合；
[0028]对于所述图结点集合中任意一层的图结点构建膨胀k近邻图；
[0029]将每个图结点作为一个局部最近邻图的中心点，对于任意一个局部最近邻图的中心结点，对该局部图进行图卷积运算；
[0030]通过跨时空关联感知图结点聚合函数，获取不同结点之间的跨时空关联关系特征；
[0031]将跨时空关联感知图结点聚合函数的输出作为图更新函数的输入，获取更新后的结点特征；执行时空关联感知图卷积和图结点特征变换操作之后，采用多层感知机对更新后的所有图结点特征作特征映射处理，得到图结点特征集合，完成每个子分块的跨时空最近邻图的构建。
[0032]可选地，所述将所述学习者情感跨时空图表征的输出学习者表情跨时空图特征进行分类这一步骤中，分类表达式为：
[0033][0034]其中，是分类器预测的学习者面部表情类别标签；表示第i个学
习者表情视频帧的时空图表征；AvgPool为平均池化算子；池化后的学习者表情全局特征作为分类器的输入；Φ(
·
；Θ
Φ
)为含可学习参数Θ
Φ
的前馈神经网络；LogSoftmax为激活函数。
[0035]可选地，所述方法还包括：
[0036]采用带标签分布平滑正则项的交叉熵损失函数作为学习者情感分析模型的训练目标函数；
[0037]通过基于梯度下降的方法对所述目标函数进行优化，完成对学习者情感分析模型的训练。
[0038]本专利技术实施例的另一方面还提供了一种基于跨时空图表征的学习者情感分析装置，包括：
[0039]第一模块，用于将输入的学习者视频帧划分为若干个同等大小且不重叠的子分块，并将所述子分块进行图结点特征嵌入处理，得到图结点的初始特征；
[0040]第二模块，用于根据所述图结点的初始特征，构建每个子分块的跨时空最近邻图；
[0041]第三模块，用于根据所述跨时空最近邻图，将所述学习者情感跨时空图表征的输出表情跨时空图特征进行分类，预测输入的学习者视频帧的情感类别。
[0042]本专利技术实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；
[0043]所述存储器用于存储程序；
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于跨时空图表征的学习者情感分析方法，其特征在于，包括：将输入的学习者表情视频帧划分为若干个同等大小且不重叠的子分块，并将所述子分块进行图结点特征嵌入处理，得到图结点的初始特征；根据所述图结点的初始特征，构建每个子分块的跨时空最近邻图；根据所述跨时空最近邻图，将所述学习者情感跨时空图表征的输出学习者表情图表征进行分类，预测输入的学习者表情视频帧的情感类别。2.根据权利要求1所述的一种基于跨时空图表征的学习者情感分析方法，其特征在于，所述方法还包括：通过视觉感知设备获取学生的学习情境视频；使用人脸目标检测器对含有学习者面部表情的学习情境视频进行人脸检测并执行人脸对齐操作；将人脸对齐操作后的表情视频帧的分辨率进行缩放并统一设置宽高，得到学习者表情视频帧；将所述学习者表情视频帧作为模型的输入数据。3.根据权利要求1所述的一种基于跨时空图表征的学习者情感分析方法，其特征在于，所述将输入的学习者表情视频帧划分为若干个同等大小且不重叠的子分块，包括：利用深度残差网络的第一个特征提取块对原始输入的学习者表情视频帧进行初步处理得到宽高分别为原始图像一半的第一特征图；使用深度残差网络的第二个特征提取块提取第二阶段的第二特征图；使用深度残差网络的第三个特征提取块提取第三阶段的第三特征图；使用深度残差网络的第四个特征提取块提取第三阶段的第四特征图；使用深度残差网络的第五个特征提取块提取第三阶段的第五特征图；根据所述第一特征图、所述第二特征图、所述第三特征图、所述第四特征图、所述第五特征图确定图结点的初始特征。4.根据权利要求3所述的一种基于跨时空图表征的学习者情感分析方法，其特征在于，所述将所述子分块进行图结点特征嵌入处理，得到图结点的初始特征，包括：将所述第二特征图、所述第三特征图和所述第四特征图进行特征映射，统一变换到目标维度特征空间，并对所述第五特征图进行维度不变性特征线性变换；将变换后的第二特征图、第三特征图、第四特征图和第五特征图进行拼接操作；将拼接操作得到特征图输入到特征融合函数中，获取包含多尺度学习者表情特征信息的图结点的初始特征。5.根据权利要求1所述的一种基于跨时空图表征的学习者情感分析方法，其特征在于，所述根据所述图结点的初始特征，构建每个子分块的跨时空最近邻图，包括：在每一次为图结点构建跨时空最近邻图之前，对图结点的初始特征进行一次变换；在执行关...
【专利技术属性】
技术研发人员：黄昌勤，蒋凡，王士进，黄琼浩，王希哲，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。