基于双流滑动注意力网络的学生注意力评价方法技术

技术编号:39643212 阅读:8 留言:0更新日期:2023-12-09 11:10
本申请实施例公开了一种基于双流滑动注意力网络的学生注意力评价方法,涉及智能教学技术领域,所述方法包括:获取授课时段内目标学生的图像信息和生理信号,将预处理后的数据输入训练好的模型识别得到头部姿态和生理指标;判断头部姿态类型,计算第一注意力评价指标;若第一注意力评价指标低于阈值,进一步基于头部姿态类型对应时间段内的生理指标,计算第二注意力评价指标;进一步计算注意力评价结果

【技术实现步骤摘要】
基于双流滑动注意力网络的学生注意力评价方法


[0001]本申请涉及智能教学
,尤其涉及一种基于双流滑动注意力网络的学生注意力评价方法


技术介绍

[0002]传统的教学方式中,教师与学生之间的交互主要依赖于语言和书面表达,但这种方式存在交流效率低

理解受限等问题,这种情况下,授课教师往往不能及时感受到学生的上课情绪和具体的专注度情况并调整授课状态和内容

[0003]目前,随着互联网技术的发展,在线教育在教育产业中占据的份额也越来越大,以视频方式进行的网络教学的呈现出爆发性的增长

学生注意力集中是保证课堂质量的前提之一,与传统课堂不同,网课场景中,老师只能通过视频的方式与学生沟通,在同一时间,老师能注意到的学生视频数目较少,很难掌握学生在上课时的注意力情况

尤其无法具体到单个学生的学习状态,因此实时识别学生的学习状态,避免课堂情绪处于消极状态是提升教学质量不可或缺的重要环节,这对于提高教学效果

优化教学内容

以及个性化学习支持都具有重要意义


技术实现思路

[0004]本申请实施例提供一种基于双流滑动注意力网络的学生注意力评价方法,用以解决相关技术中不能准确判断目标学生在教学过程中的注意力的缺陷,所述技术方案如下:
[0005]第一方面,本申请实施例提供一种基于双流滑动注意力网络的学生注意力评价方法,包括:
[0006]获取授课时段内目标学生的图像信息,并采集授课时段内目标学生的生理信号,所述生理信号包括脑电信号和眼电信号;对所述图像信息和所述生理信号进行预处理;
[0007]将预处理后的所述图像信息输入训练好的头部姿态识别模型识别得到各个图像帧的头部姿态;将预处理后的所述生理信号输入训练好的生理信号识别模型识别得到各个时刻的学生的生理指标;
[0008]根据所述各个图像帧的头部姿态判断得到目标学生在不同时间段内的头部姿态类型,根据头部姿态类型和对应的持续时间输出第一注意力评价指标;
[0009]若所述第一注意力评价指标低于第一注意力评价指标阈值,进一步基于头部姿态类型对应时间段内的生理指标,输出第二注意力评价指标;
[0010]基于所述授课时段内所述目标学生的所述第一注意力评价指标与和
/
或所述第二注意力评价指标输出所述目标学生在所述授课时段内的注意力评价结果

[0011]在第一方面的一种可选方案中,包括:
[0012]所述头部姿态包括头部的偏航角

俯仰角和翻滚角,基于所述偏航角

所述俯仰角和所述翻滚角判断各个时间段内目标学生的头部姿态类型;
[0013]其中,所述头部姿态类型包括正对屏幕姿态和其他头部姿态类型

[0014]在第一方面的一种可选方案中,所述根据头部姿态类型和对应的持续时间输出第一注意力评价指标,包括:
[0015]获取每个时间段内对应的头部姿态类型的持续时间,基于所述头部姿态类型和对应的持续时间加权计算得到所述第一注意力评价指标;
[0016]若所述头部姿态类型为所述正对屏幕姿态,则判断对应时间段内的所述第一注意力评价指标不小于所述第一注意力评价指标阈值;
[0017]若所述头部姿态类型为所述其他头部姿态类型,则判断所述其他头部姿态类型的持续时间是否大于姿态时间阈值,若大于所述姿态时间阈值,则判断对应时间段内的所述第一注意力评价指标小于所述第一注意力评价指标阈值

[0018]在第一方面的一种可选方案中,所述判断对应时间段内的所述第一注意力评价指标小于所述第一注意力评价指标阈值后,还包括:
[0019]基于历史数据获取目标学生的基准生理指标,计算所述目标学生处于所述其他头部姿态类型的时间段内的生理指标与所述基准生理指标的差值,并计算处于所述其他头部姿态类型的时间段内的生理指标的平均变化率,所述平均变化率包括脑电信号变化率和眼球位移变化率;
[0020]基于所述平均变化率和所述差值加权计算得到所述第二注意力评价指标;
[0021]若所述脑电信号变化率

所述眼球位移变化率以及所述差值均大于对应的生理指标阈值时,判断所述第二注意力评价指标小于第二注意力评价指标阈值

[0022]在第一方面的一种可选方案中,所述基于所述授课时段内所述目标学生的所述第一注意力评价指标与和
/
或所述第二注意力评价指标输出所述目标学生在所述授课时段内的注意力评价结果,包括:
[0023]获取所述目标学生的所述第一注意力评价指标低于所述第一注意力评价指标的次数和对应的时长和
/
或所述第二注意力评价指标低于第二注意力评价指标的次数和对应的时长;
[0024]基于所述次数和所述时长加权计算得到所述目标学生在所述授课时段内的注意力评价结果

[0025]在第一方面的一种可选方案中,所述将预处理后的所述图像信息输入训练好的头部姿态识别模型识别得到各个图像帧的头部姿态,包括:
[0026]获取预处理后的所述目标学生的
RGB
视频的每个图像帧,将每个视频帧输入训练好的头部姿态识别模型的两个数据流中进行特征融合后输入所述头部姿态识别模型的全连接层,输出得到旋转矩阵;
[0027]基于所述旋转矩阵计算得到所述图像帧的欧拉角

[0028]第二方面,本申请实施例还提供一种基于双流滑动注意力网络的学生注意力评价装置,包括:
[0029]信息采集模块,用于获取授课时段内目标学生的图像信息,并采集授课时段内目标学生的生理信号,所述生理信号包括脑电信号和眼电信号;对所述图像信息和所述生理信号进行预处理;
[0030]识别模块,用于将预处理后的所述图像信息输入训练好的头部姿态识别模型识别得到各个图像帧的头部姿态;将预处理后的所述生理信号输入训练好的生理信号识别模型
识别得到各个时刻的学生的生理指标;
[0031]第一评价模块,用于根据所述各个图像帧的头部姿态判断得到目标学生在不同时间段内的头部姿态类型,根据头部姿态类型和对应的持续时间输出第一注意力评价指标;
[0032]第二评价模块,用于在所述第一注意力评价指标低于第一注意力评价指标阈值时,进一步基于头部姿态类型对应时间段内的生理指标,输出第二注意力评价指标;
[0033]注意力评价模块,用于基于所述授课时段内所述目标学生的所述第一注意力评价指标与和
/
或所述第二注意力评价指标输出所述目标学生在所述授课时段内的注意力评价结果

[0034]在第一方面的一种可选方案中,所述注意力评价模块用于基于所述授课时段内所述目标学生的所述第一注意力评价指标与和
/
或所述第二注意力评价指标输出所述目标学生在所述授课时本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.
一种基于双流滑动注意力网络的学生注意力评价方法,其特征在于,包括:获取授课时段内目标学生的图像信息,并采集授课时段内目标学生的生理信号,所述生理信号包括脑电信号和眼电信号;对所述图像信息和所述生理信号进行预处理;将预处理后的所述图像信息输入训练好的头部姿态识别模型识别得到各个图像帧的头部姿态;将预处理后的所述生理信号输入训练好的生理信号识别模型识别得到各个时刻的学生的生理指标;根据所述各个图像帧的头部姿态判断得到目标学生在不同时间段内的头部姿态类型,根据头部姿态类型和对应的持续时间输出第一注意力评价指标;若所述第一注意力评价指标低于第一注意力评价指标阈值,进一步基于头部姿态类型对应时间段内的生理指标,输出第二注意力评价指标;基于所述授课时段内所述目标学生的所述第一注意力评价指标与和
/
或所述第二注意力评价指标输出所述目标学生在所述授课时段内的注意力评价结果
。2.
根据权利要求1所述的方法,其特征在于,所述头部姿态包括头部的偏航角

俯仰角和翻滚角,基于所述偏航角

所述俯仰角和所述翻滚角判断各个时间段内目标学生的头部姿态类型;其中,所述头部姿态类型包括正对屏幕姿态和其他头部姿态类型
。3.
根据权利要求2所述的方法,其特征在于,所述根据头部姿态类型和对应的持续时间输出第一注意力评价指标,包括:获取每个时间段内对应的头部姿态类型的持续时间,基于所述头部姿态类型和对应的持续时间加权计算得到所述第一注意力评价指标;若所述头部姿态类型为所述正对屏幕姿态,则判断对应时间段内的所述第一注意力评价指标不小于所述第一注意力评价指标阈值;若所述头部姿态类型为所述其他头部姿态类型,则判断所述其他头部姿态类型的持续时间是否大于姿态时间阈值,若大于所述姿态时间阈值,则判断对应时间段内的所述第一注意力评价指标小于所述第一注意力评价指标阈值
。4.
根据权利要求3所述的方法,其特征在于,所述判断对应时间段内的所述第一注意力评价指标小于所述第一注意力评价指标阈值后,还包括:基于历史数据获取目标学生的基准生理指标,计算所述目标学生处于所述其他头部姿态类型的时间段内的生理指标与所述基准生理指标的差值,并计算处于所述其他头部姿态类型的时间段内的生理指标的平均变化率,所述平均变化率包括脑电信号变化率和眼球位移变化率;基于所述平均变化率和所述差值加权计算得到所述第二注意力评价指标;若所述脑电信号变化率

所述眼球位移变化率以及所述差值均大于对应的生理指标阈值时,判断所述第二注意力评价指标小于第二注意力评价指标阈值
。5.
根据权利要求1‑4任一项所述的方法,其特征在于,所述基于所述授课时段内所述目标学生的所述第一注意力评价指标与和
/
或所述第二注意力评价指标输出所述目标学生在所述授课时段内的注意力评价结果,包括:获取所述目标学生的所述第一注意力评价指标低于...

【专利技术属性】
技术研发人员:刘海张昭理刘新邢师珍郑媛黄小吉刘攀刘婷婷李友福
申请(专利权)人:华中师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1