一种基于多源信息融合的网络学习注意力监测方法及系统技术方案

本发明专利技术涉及一种基于多源信息融合的网络学习注意力监测方法及系统，所述方法包括：S1：采集学习视频数据和脑电波数据；S2：对所述学习视频数据和所述脑电波数据进行预处理；根据预处理后的学习视频数据进行人眼视线估计，得到人眼视线定位信息；根据预处理后的脑电波数据提取脑电特征；S3：将所述人眼视线定位信息和所述脑电特征输入时序预测模型，进行学习注意力监测。本发明专利技术解决了以往技术仅根据头部姿态信息粗略判断学习者是否盯着屏幕进而推断学习者是否集中注意力的问题，能够精确判断学习者的网络学习注意力。习者的网络学习注意力。习者的网络学习注意力。

【技术实现步骤摘要】
一种基于多源信息融合的网络学习注意力监测方法及系统


[0001]本专利技术属于监测
，尤其涉及一种基于多源信息融合的网络学 习注意力监测方法及系统。

技术介绍

[0002]随着教育信息化工作的深入推进，网络学习由于不受物理时空限制而 逐渐成为主流学习范式之一，但在网络学习过程中，学习者易受外界因素 干扰导致难以集中注意力，同时由于网络教学师生比、空间隔离等因素也 导致教师难以及时发现学习者的注意力失焦问题，导致网络学习效率较 低、学习效果较差。
[0003]现有的网络教学注意力识别主要基于学习者的视频数据分析其头部姿 态等，判断学习者是否注视学习屏幕，并进一步判断学习者是否专注于网 络学习内容，但这些方法难以准确识别学习者是否盯着屏幕但实际已走神 的情况。

技术实现思路

[0004]本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于多 源信息融合的网络学习注意力监测方法及系统，首先基于学习图像数据获 得学习者在每一个采样时刻下的人眼特征与头部姿态信息，进而得到学习 者的人眼视线定位信息，同时基于脑电数据获取该采样时刻的脑部活动特 征；再经过学习注意力时序预测模型，综合利用脑电特征和人眼视线定位 信息精确判断学习者的网络学习注意力，并根据一定时间周期内学习注意 力时序预测结果给予学习终端反馈提示，以解决现有网络教学场景中无法 精准识别学习者注意力的问题。
[0005]根据本专利技术的一个方面，本专利技术提供了一种基于多源信息融合的网络 学习注意力监测方法，所述方法包括以下步骤：
[0006]S1：采集学习视频数据和脑电波数据；
[0007]S2：对所述学习视频数据和所述脑电波数据进行预处理；根据预处理 后的学习视频数据进行人眼视线估计，得到人眼视线定位信息；根据预处 理后的脑电波数据提取脑电特征；
[0008]S3：将所述人眼视线定位信息和所述脑电特征输入时序预测模型，进 行学习注意力监测。
[0009]优选地，所述对学习视频数据和脑电波数据进行预处理，包括：
[0010]按照采样周期T对所述学习视频数据进行采样，获得学习序列图片； 按照采样周期T对脑电波数据的波形数据进行分段。
[0011]优选地，所述根据预处理后的学习视频数据进行人眼视线估计，得到 人眼视线定位信息，包括：
[0012]对学习序列图片进行人脸识别和矫正，对矫正后的图像进行深度 CNN网络H1的多次卷积操作得到学习者人眼特征；对矫正后的图像经过 深度CNN网络H2的多次卷积操作得
到学习者头部姿态定位特征，再将所 述头部姿态定位特征送到分类回归网络，得到头部姿态信息；
[0013]利用特征拼接的方式融合所述人眼特征和所述头部姿态信息，得到人 眼视线定位信息。
[0014]优选地，所述时序预测模型为基于视线
‑
脑电模态门控的LSTM预测 模型；所述进行学习注意力监测，包括：
[0015]对每个时刻输入的脑电特征和人眼视线定位信息进行模态门操作，给 不同模态的特征赋予不同的动态权重，实现脑电特征与人眼视线定位信息 的动态融合，将动态融合结果输入到LSTM预测模型中；
[0016]所述LSTM预测模型根据网络学习注意力监测的应用场景输出相应的 预测结果，所述应用场景包括回归和分类，相应的预测结果包括学习注意 力数值和学习注意力的类别。
[0017]优选地，根据所述时序预测模型的预测结果和预设的阈值，确定是否 通过学习终端进行学习注意力阶段性反馈。
[0018]根据本专利技术的另一个方面，本专利技术还提供了一种基于多源信息融合的 网络学习注意力监测系统，所述系统包括：
[0019]采集模块，用于采集学习视频数据和脑电波数据；
[0020]处理模块，用于对所述学习视频数据和所述脑电波数据进行预处理； 根据预处理后的学习视频数据进行人眼视线估计，得到人眼视线定位信 息；根据预处理后的脑电波数据提取脑电特征；
[0021]监测模块，用于将所述人眼视线定位信息和所述脑电特征输入时序预 测模型，进行学习注意力监测。
[0022]优选地，所述对学习视频数据和脑电波数据进行预处理，包括：
[0023]按照采样周期T对所述学习视频数据进行采样，获得学习序列图片； 按照采样周期T对脑电波数据的波形数据进行分段。
[0024]优选地，所述根据预处理后的学习视频数据进行人眼视线估计，得到 人眼视线定位信息，包括：
[0025]对学习序列图片进行人脸识别和矫正，对矫正后的图像进行深度 CNN网络H1的多次卷积操作得到学习者人眼特征；对矫正后的图像经过 深度CNN网络H2的多次卷积操作得到学习者头部姿态定位特征，再将所 述头部姿态定位特征送到分类回归网络，得到头部姿态信息；
[0026]利用特征拼接的方式融合所述人眼特征和所述头部姿态信息，得到人 眼视线定位信息。
[0027]优选地，所述时序预测模型为基于视线
‑
脑电模态门控的LSTM预测 模型；所述进行学习注意力监测，包括：
[0028]对每个时刻输入的脑电特征和人眼视线定位信息进行模态门操作，给 不同模态的特征赋予不同的动态权重，实现脑电特征与人眼视线定位信息 的动态融合，将动态融合结果输入到LSTM预测模型中；
[0029]所述LSTM预测模型根据网络学习注意力监测的应用场景输出相应的 预测结果，
所述应用场景包括回归和分类，相应的预测结果包括学习注意 力数值和学习注意力的类别。
[0030]优选地，所述系统还包括反馈模块，用于根据所述时序预测模型的预 测结果和预设的阈值，确定是否通过学习终端进行学习注意力阶段性反 馈。
[0031]有益效果：本专利技术可以解决现有学习注意力监测技术中仅根据头部姿 态信息无法精确判断学习者的视线是否在屏幕上，以及无法判断学习者盯 着屏幕但已走神等情况，提高了学习注意力监测的准确度。
[0032]通过参照以下附图及对本专利技术的具体实施方式的详细描述，本专利技术的 特征及优点将会变得清楚。
附图说明
[0033]图1是基于多源信息融合的网络学习注意力监测方法流程图；
[0034]图2是另一基于多源信息融合的网络学习注意力监测方法流程图；
[0035]图3是基于注意力机制的人眼特征抽取方法示意图；
[0036]图4是基于分类回归网络的头部姿态定位方法示意图；
[0037]图5是基于脑电
‑
视线模态门控的学习注意力预测模型示意图；
[0038]图6是基于多源信息融合的网络学习注意力监测系统示意图。
具体实施方式
[0039]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例， 而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没 有做出创造性劳动前提下所获得的所有其他实施例，都属于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源信息融合的网络学习注意力监测方法，其特征在于，所述方法包括以下步骤：S1：采集学习视频数据和脑电波数据；S2：对所述学习视频数据和所述脑电波数据进行预处理；根据预处理后的学习视频数据进行人眼视线估计，得到人眼视线定位信息；根据预处理后的脑电波数据提取脑电特征；S3：将所述人眼视线定位信息和所述脑电特征输入时序预测模型，进行学习注意力监测。2.根据权利要求1所述的方法，其特征在于，所述对学习视频数据和脑电波数据进行预处理，包括：按照采样周期T对所述学习视频数据进行采样，获得学习序列图片；按照采样周期T对脑电波数据的波形数据进行分段。3.根据权利要求2所述的方法，其特征在于，所述根据预处理后的学习视频数据进行人眼视线估计，得到人眼视线定位信息，包括：对学习序列图片进行人脸识别和矫正，对矫正后的图像进行深度CNN网络H1的多次卷积操作得到学习者人眼特征；对矫正后的图像经过深度CNN网络H2的多次卷积操作得到学习者头部姿态定位特征，再将所述头部姿态定位特征送到分类回归网络，得到头部姿态信息；利用特征拼接的方式融合所述人眼特征和所述头部姿态信息，得到人眼视线定位信息。4.根据权利要求1所述的方法，其特征在于，所述时序预测模型为基于视线
‑
脑电模态门控的LSTM预测模型；所述进行学习注意力监测，包括：对每个时刻输入的脑电特征和人眼视线定位信息进行模态门操作，给不同模态的特征赋予不同的动态权重，实现脑电特征与人眼视线定位信息的动态融合，将动态融合结果输入到LSTM预测模型中；所述LSTM预测模型根据网络学习注意力监测的应用场景输出相应的预测结果，所述应用场景包括回归和分类，相应的预测结果包括学习注意力数值和学习注意力的类别。5.根据权利要求1所述的方法，其特征在于，根据所述时序预测模型的预测结果和预设的阈值，确定是否通过学习终端进行学习注意力阶段性反馈。6.一种基于多源信息融合的网络学习注...

【专利技术属性】
技术研发人员：杨娟，黄奥，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：