基于机器视觉的在线学习专注度监测方法、系统及介质技术方案

本发明专利技术公开的一种基于机器视觉的在线学习专注度监测方法、系统及介质，包括，获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理；通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征，基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征进行特征融合输入专注度监测模型获取实时专注度，根据实时专注度进行相应提醒；将目标对象的实时专注度结合时间信息生成专注度时序序列，并根据所述专注度时序序列对目标对象的在线学习情况进行评估。本发明专利技术通过获取目标对象在线学习过程中的专注度，检测学习过程中的异常状态，能够提高用户的学习效率，保证在线学习的有效性。在线学习的有效性。在线学习的有效性。

【技术实现步骤摘要】
基于机器视觉的在线学习专注度监测方法、系统及介质


[0001]本专利技术涉及专注度监测
，更具体的，涉及一种基于机器视觉的在线学习专注度监测方法、系统及介质。

技术介绍

[0002]“互联网+教育”背景下教育与信息技术的不断融合，为在线教育的迅速发展奠定了基础。线上教学及在线学习已经成为教学、学习的重要组成部分，在线教育因其跨越时间、空间的优势受到越来越多人的关注，但与传统教育相比，在线教育的教师无法实时监督学生的学习状态，师生之间缺少必要的交互与情感交流，导致学习效果无法得到保证。因此，开展在线学习状态识别研究对于完善在线教学系统的监督手段、提高教学质量具有积极的社会价值。
[0003]目前，在线上教学过程中，教师只能通过屏幕等单一方式对学生的学习状态进行判断，但是单一的判断方式不足以准确的反映学生的真实学习状态，从而无法了解学习者的课堂专注度，造成了在线学习的有效性大大降低。因此为了握学生的学习状态，采取针对性的教学方法，提高学生的个性化培养水平，如何利用机器视觉技术实现对目标对象专注度进行有效的监测是亟不可待的需要解决的问题之一。

技术实现思路

[0004]为了解决上述至少一个技术问题，本专利技术提出了一种基于机器视觉的在线学习专注度监测方法、系统和介质。
[0005]本专利技术第一方面提供了一种基于机器视觉的在线学习专注度监测方法，包括：获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征；基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度；根据实时专注度进行相应提醒，将目标对象的实时专注度结合时间信息生成专注度时序序列；根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，根据所述专注度时序序列对目标对象的在线学习情况进行评估。
[0006]本方案中，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征，具体为：通过预处理后的帧图像数据获取目标对象的面部感兴趣区域，根据所述面部感兴趣区域的面部特征，基于3D
‑
CNN根据所述面部特征获取目标对象的面部表情信息，同时，根据所述面部特征进行目标对象的身份核验；通过面部特征获取目标对象的面部关键点，根据OpenFace算法获取目标对象头部姿态的实时检测，生成姿态信息；
根据面部关键点获取目标对象的眼部图像数据，根据所述眼部图像数据构建目标对象眼球模型并设置视线参考坐标系，基于深度学习构建视线检测网络，通过相关数据集进行初始化训练，将目标对象的眼部图像数据输入视线检测网络；根据眼球和瞳孔中心点的坐标计算目标对象的视线向量，并根据目标对象头部姿态对实现向量进行验证，根据验证后的视线向量生成视线信息；根据目标对象的表情信息、姿态信息及视线信息生成相关的表情特征、姿态特征及视线特征。
[0007]本方案中，基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度，具体为：将表情特征、姿态特征及视线特征进行归一化操作，基于机器学习算法构建构建专注度监测模型，预设不同情绪类别、姿态类别及视线类别的识别概率转换为专注度概率；根据所述专注度概率分析表情特征、姿态特征及视线特征对专注度的关联性，通过关联性预设各个特征的权重信息，根据所述权重信息进行特征融合，生成多模态融合特征；预设不同等级的专注度标签信息，通过专注度监测模型的分类器根据多模态融合特征判断目标对象所属的专注度标签；根据所述专注度标签获取目标对象的实时专注度。
[0008]本方案中，还包括，根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，具体为：获取目标对象的在线学习阶段性考评结果，预设考评阈值，将考评结果大于所述考评阈值的学习内容作为已掌握内容；根据目标对象在线学习的预设时间内的阶段性考评情况将本次在线学习的目标学习内容进行划分；判断本次在线学习的目标学习内容中是否存在已掌握内容，将所述已掌握内容划分为选择学习部分，将剩余内容划分为规定学习部分；对所述选择学习部分及规定学习部分分别设置不同的专注度阈值，其中规定学习部分的专注度阈值大于选择学习部分的专注度阈值。
[0009]本方案中，根据所述专注度时序序列对目标对象的在线学习情况进行评估,具体为：获取目标对象在线学习过程中的专注度时序序列，根据时间戳从所述专注度时序序列中提取规定学习部分及可选学习部分对应序列；根据规定学习部分及可选学习部分对应序列中各预设时刻专注度分别确定规定学习部分及可选学习部分的专注度；根据目标对象在线学习的时长设置专注度的动态影响权重，根据各个规定学习部分及各个可选学习部分在总时长中的相对位置获取对应的动态影响权重；将各个学习部分的动态影响权重对其预设的专注度阈值进行更新，根据更新后的阈值判断目标对象在各个学习部分的专注度是否满足预设标准；构建目标对象在线学习情况评价体系，根据各个学习部分对应的评分标准及目标
对象专注度获取各学习部分的评估得分，根据评估得分生成目标对象的在线学习评估结果。
[0010]本方案中，还包括，对目标对象的不专注时间段进行验证，具体为：将目标对象在线学习过程中的不专注时间段进行汇总，获取各不专注时间段对应的学习内容，并根据学习内容章节进行标记生成标记学习内容；在线学习结束时根据本次在线学习的学习内容制定考评方案，若目标对象不专注时间段的汇总时间大于预设时间阈值，并在考评方案中增加各个标记学习内容的占比；获取目标对象的考评方案的正确率数据，根据所述正确率获取目标对象对标记学习内容的掌握情况；当目标对象的考评方案中标记学习内容部分的正确率大于预设正确率阈值，则将该标记学习内容对应的不专注时间段进行取消操作；根据验证后的不专注时间段进行目标对象本次在线学习的评估，通过预设时间内每次在线学习的评估结果获取目标对象的平时分，并根据每次在线学习的考评方案的考评结果生成目标对象的学习重点。
[0011]本专利技术第二方面还提供了一种基于机器视觉的在线学习专注度监测系统，该系统包括：存储器、处理器，所述存储器中包括一种基于机器视觉的在线学习专注度监测方法程序，所述一种基于机器视觉的在线学习专注度监测方法程序被所述处理器执行时实现如下步骤：获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征；基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度；根据实时专注度进行相应提醒，将目标对象的实时专注度结合时间信息生成专注度时序序列；根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，根据所述专注度时序序列对目标对象的在线学习情况进行评估。
[0012]本专利技术第三方面还本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的在线学习专注度监测方法，其特征在于，包括以下步骤：获取目标对象在线学习过程中的视频流，根据视频流获取帧图像数据，并进行预处理，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征；基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度；根据实时专注度进行相应提醒，将目标对象的实时专注度结合时间信息生成专注度时序序列；根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，根据所述专注度时序序列对目标对象的在线学习情况进行评估。2.根据权利要求1所述的一种基于机器视觉的在线学习专注度监测方法，其特征在于，通过预处理后的帧图像数据获取目标对象的面部表情特征、姿态特征及视线特征，具体为：通过预处理后的帧图像数据获取目标对象的面部感兴趣区域，根据所述面部感兴趣区域的面部特征，基于3D
‑
CNN根据所述面部特征获取目标对象的面部表情信息，同时，根据所述面部特征进行目标对象的身份核验；通过面部特征获取目标对象的面部关键点，根据OpenFace算法获取目标对象头部姿态的实时检测，生成姿态信息；根据面部关键点获取目标对象的眼部图像数据，根据所述眼部图像数据构建目标对象眼球模型并设置视线参考坐标系，基于深度学习构建视线检测网络，通过相关数据集进行初始化训练，将目标对象的眼部图像数据输入视线检测网络；根据眼球和瞳孔中心点的坐标计算目标对象的视线向量，并根据目标对象头部姿态对实现向量进行验证，根据验证后的视线向量生成视线信息；根据目标对象的表情信息、姿态信息及视线信息生成相关的表情特征、姿态特征及视线特征。3.根据权利要求1所述的一种基于机器视觉的在线学习专注度监测方法，其特征在于，基于机器学习算法构建专注度监测模型，将所述面部表情特征、姿态特征及视线特征输入专注度监测模型进行特征融合，根据目标对象的多模态特征获取实时专注度，具体为：将表情特征、姿态特征及视线特征进行归一化操作，基于机器学习算法构建专注度监测模型，预设不同情绪类别、姿态类别及视线类别的识别概率转换为专注度概率；根据所述专注度概率分析表情特征、姿态特征及视线特征对专注度的关联性，通过关联性预设各个特征的权重信息，根据所述权重信息进行特征融合，生成多模态融合特征；预设不同等级的专注度标签信息，通过专注度监测模型的分类器根据多模态融合特征判断目标对象所属的专注度标签；根据所述专注度标签获取目标对象的实时专注度。4.根据权利要求1所述的一种基于机器视觉的在线学习专注度监测方法，其特征在于，还包括，根据目标对象对学习内容的掌握情况提前将目标学习内容进行划分，具体为：获取目标对象的在线学习阶段性考评结果，预设考评阈值，将考评结果大于所述考评阈值的学习内容作为已掌握内容；根据目标对象在线学习的预设时间内的阶段性考评情况将本次在线学习的目标学习内容进行划分；
判断本次在线学习的目标学习内容中是否存在已掌握内容，将所述已掌握内容划分为选择学习部分，将剩余内容划分为规定学习部分；对所述选择学习部分及规定学习部分分别设置不同的专注度阈值，其中规定学习部分的专注度阈值大于选择学习部分的专注度阈值。5.根据权利要求1所述的一种基于机器视觉的在线学习专注度监测方法，其特征在于，根据所述专注度时序序列对目标对象的在线学习情况进行评估,具体为：获取目标对象在线学习过程中的专注度时序序列，根据时间戳从所述专注度时序序列中提取规定学习部分及可选学习部分对应序列；根据规定学习部分及可选学习部分对应序列中各预设时刻专注度分别确定规定学习部分及可选学习部分的专注度；根据目标对象在线学习的时长设置专注度的动态影响权重，根据各个规定学习部分及各个可选学习部分在总时长中的相对位置获取对应的动态影响权重；将各个学习部分的动态影响权重对其预设的专注度阈值进行更新，根据更新后的阈值判断目标对象在各个学习部分的专注度是否满足预设标准；构建目标对象在线...

【专利技术属性】
技术研发人员：张志发，夏德虎，司岩，
申请(专利权)人：深圳市企鹅网络科技有限公司，
类型：发明
国别省市：