【技术实现步骤摘要】
一种线上学习者专注度监视方法、系统及可读存储介质
[0001]本申请涉及智能人机交互
，具体而言，涉及一种线上学习者专注度监视方法、系统及可读存储介质。
技术介绍
[0002]随着教育技术的发展，考虑到线上授课的方式能够解决地理位置、时间等环境因素的影响，授课方式由之前的传统线下授课逐步发展成了线上授课的方式。受疫情的影响线上授课一时间蓬勃发展，但传统的线上依靠授课人员实施授课的同时，还需要关注学习者的专注度，在场地条件受限制的情况下，这已然无法满足线上授课的要求。
[0003]目前，高校使用的线上授课平台都推出了专注度判别模式，比如利用智能设备上摄像头的抓拍，然后在后台人工检测学习者专注度。另外，一些较为重要的课程则采用双机位操作的方式，在电脑屏幕开启摄像头的同时，学生要在后方架起另一台智能设备，利用智能设备的摄像头同时进行拍摄，虽然检测学习者专注度对学习者专注度下降进行了各种设置，但线上学习者专注度检测无论是准确性还是可操性能都难以获得理想的结果。
技术实现思路
[0004]本申请实施例的目...
【技术保护点】
【技术特征摘要】
1.一种线上学习者专注度监视方法，其特征在于，包括以下步骤：S1、获取不同时刻学习者的人脸监测图像，以及脑部EEG信号；S2、基于所述人脸监测图像进行视线估计处理，确定不同时刻学习者的视线角度变化情况；S3、基于所述脑部EEG信号进行信号变化分析处理，确定不同时刻学习者的脑部EEG信号的脑电信号变化情况；S4、综合所述视线角度变化情况以及脑电信号变化情况，判断学习者专注度。2.根据权利要求1所述的方法，其特征在于，步骤S2中，所述基于所述人脸监测图像进行视线估计，确定不同时刻学习者的视线角度变化情况，包括：S21、基于所述人脸监测图像，结合预设的HRNETV2特征提取模型进行人眼特征提取处理，得到人眼特征提取图；S22、将所述人眼特征图输入到随机森林视线估计模型中进行视线估计处理，得到初始视线角度变化情况，其中，处理过程中，一方面还将对隐变量集进行期望计算，使得已观测数据最大化，另一方面还将加入L2正则化项避免过拟合问题；S23、采用基于差分卷积的DNet网络进行准确视线估计，估计过程中，将结合预测测试图像I与参考图像F之间的差异d
p
(I,J)、与真实的注视值g
gt
(F)来预测最终的视线方向。3.根据权利要求2所述的方法，其特征在于，步骤S21中，在进行人眼特征提取处理之前，所述方法还包括：S211、对所述人脸监测图像进行灰度化处理，得到灰度化图像；S222、对所述灰度化图像进行多尺度变换，得到人脸图像金字塔；S223、结合下述的双三次插值表达式，对所述人脸图像金字塔进行插值处理，得到相应的插值图像：f(i+u，j+v)＝ABC；f(i+u，j+v)＝ABC；f(i+u，j+v)＝ABC；其中，f(i，j)为图像的像素灰度值，u为i的小数部分，v为j的小数部分，S(*)为预设的基插值函数；
S224、将所述插值图像输入到依次连接的P
‑
Net网络、O
‑
Net网络中，经非极大值抑制处理之后，得到用于定位到人脸图像的目标人脸检测框。4.根据权利要求2所述的方法，其特征在于，步骤S22中，通过下述步骤对隐变集进行期望计算，使得已观测数据最大化，包括：S221、设定已观测变量集、隐变量集、模型参数分别为M、N、Φ，进入迭代优化进程；S222、在迭代到第t步时，此时的模型参数转变为Φ
t
，此时隐变量集N的概率分布为p(N|M，Φ
t
)；S223、令优化函数为Q，其中，优化函数Q的表达式设为：X为集合，Z为隐变量；S224、基于公式Φ
t+1
＝arg
N
maxQ(Φ|Φ
t
)寻找参数最大化期望似然，其中，Φ
t+1
为参数的估计值。5.根据权利要求2所述的方法，其特征在于，步骤S23中，所述采用基于差分卷积的DNet网络进行准确视线估计，包括：S231、选择RELU函数作为卷积层和全连接层的激活函数，公式表示为：f(x)＝max(0，x)，其中，x为输入数据，f(x)为经过RELU函数处理之后的输出；S232、用d
p
(I，J)表示差分网络预测的凝视差异，则损失函数L
d
为：其中，D
k
为训练集D的子集，只包...
【专利技术属性】
技术研发人员：鞠剑平，刘海，唐剑隐，刘婷婷，林明玉，肖振华，王何慧，万飞，王源，
申请(专利权)人：湖北商贸学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。