一种线上学习识别方法及设备技术

本申请公开了一种线上学习识别方法及设备，属于识别技术领域，用于解决线上学习识别正确率低的问题，方法包括：根据预设时间间隔，获取用户在观看线上课程时的连续多帧人脸图像；确定人脸图像对应的人眼关键点，提取人脸图像中用户人眼的人眼位置；从用户在本次观看线上课程时，所生成的历史人脸图像队列中，获取预设分析周期内的历史人脸图像；根据历史人脸图像，生成用户的历史人眼运动轨迹；根据人眼位置与历史人眼运动轨迹，确定用户的人眼运动轨迹；根据人眼运动轨迹，判断用户是否为虚拟用户；若否，则根据人眼运动轨迹，确定用户观看线上课程过程中的线上学习行为等级，对用户的线上学习行为进行识别。提高线上学习识别的正确率。正确率。正确率。

【技术实现步骤摘要】
一种线上学习识别方法及设备


[0001]本申请涉及识别
，尤其涉及一种线上学习识别方法及设备。

技术介绍

[0002]在线教育即e
‑
Learning，或称远程教育、在线学习，现行概念中一般指的是一种基于网络的学习行为，与网络培训概念相似，通过应用信息科技和互联网技术进行内容传播和快速学习的方法。
[0003]目前，在线上学习过程中，教师在线上教学的过程中由于是远程视频操作，导致无法实时识别学生在线下的学习行为情况，同时也导致了在完成线上课程的学习任务过程中，让其他用户代替进行刷课，甚至学生全程或者中途采用虚拟用户（比如，用户图像、录制的用户观看行为视频）代替进行刷课等现象。
[0004]但是，在线课程平台系统也还未能对学生线上学习行为（即，学生线下的观看行为）进行全方位识别，只是通过简单的拍照，或者有限次数的发送测试题，确认学生是否正在观看播放的线上课程，从而导致线上学习识别正确率低。

技术实现思路

[0005]本申请实施例提供一种线上学习识别方法及设备，用于解决线上学习识别正确率低的问题。
[0006]本申请实施例采用下述技术方案：一方面，本申请实施例提供了一种线上学习识别方法，该方法包括：确定用户将要学习的待播放的线上课程，并判断预设图标是否从播放设备的初始位置移动到指定位置；若是，则在所述播放设备上播放所述线上课程；根据预设时间间隔，获取用户在观看所述线上课程时的连续多帧人脸图像；对每帧所述人脸图像进行目标检测，确定所述人脸图像对应的人眼关键点，并根据所述人眼关键点的坐标，提取所述人脸图像中用户人眼的人眼位置；根据所述用户的身份标识，从所述用户在本次观看所述线上课程时，所生成的历史人脸图像队列中，获取预设分析周期内的历史人脸图像；根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹；其中，所述历史人眼运动轨迹中包括所述用户在所述历史人脸图像中的人眼位置；根据所述人眼位置与所述历史人眼运动轨迹，确定所述用户的人眼运动轨迹；根据所述人眼运动轨迹，判断所述用户是否为虚拟用户；所述虚拟用户是指与所述用户相关的图像或者视频；若否，则根据所述人眼运动轨迹，确定所述用户观看所述线上课程过程中的线上学习行为等级；根据所述线上学习行为等级，对所述用户的线上学习行为进行识别。
[0007]一个示例中，所述根据所述人眼运动轨迹，判断所述用户是否为虚拟用户，具体包括：根据所述人眼运动轨迹，确定所述用户在固定时长内的的人眼位置偏移量序列；所述人眼位置偏移量序列中包括所述用户人眼的多个人眼位置偏移量；通过预先训练的神经网络模型，将所述人眼位置偏移量序列作为输入，输出得到所述用户在固定的时长内，针对不同
时间段内的偏移偏好；所述偏移偏好用于表示所述用户在每个时间段内观看所述线上课程时，多个人眼位移偏移量之间符合预先设定的规律性规则；确定所述线上课程在所述每个时间段内对应的指定课程内容；根据所述偏移偏好与所述指定课程内容，确定所述用户在每个时间段内与所述指定课程内容之间的关注度等级；通过将所述关注度等级与预设关注等级进行对比，判断所述用户是否为虚拟用户。
[0008]一个示例中，所述则根据所述人眼运动轨迹，确定所述用户的线上学习行为等级，具体包括：根据预设目标时长，依次将所述人眼位置偏移量序列划分为多组人眼位置偏移量数据；对每组人眼位置偏移量数据进行识别，将识别结果属于晃动反应的每组位置偏移量数据，标记为晃动组；按照生成各组位置偏移量数据的时间顺序，依次对各组位置偏移量数据进行组合，得到多个组合；其中，每个组合中的组数量相差小于预设差值阈值；分别确定所述多个组合中晃动组的比例，并根据所述比例确定各组合的晃动率；根据预先构建的决策树与所述各组合的晃动率，生成所述用户的晃动状态；其中，通过将各组合的晃动率作为节点，将各节点之间的关联作为边，构建决策树，所述晃动状态包括所述用户的晃动频率与晃动幅度中的至少一种；根据预先构建的线上学习行为等级表对所述晃动状态进行匹配，确定所述用户的线上学习行为等级。
[0009]一个示例中，所述根据所述线上学习行为等级，对所述用户的线上学习行为进行识别，具体包括：若所述线上学习行为等级高于预设行为等级，则通过对每帧所述人脸图像进行目标检测，提取所述用户的头部倾斜角度；若所述头部倾斜角度大于预设角度阈值，则对所述用户发出姿态提醒；若所述线上学习行为等级低于所述预设行为等级，则向所述用户发出晃动提醒。
[0010]一个示例中，所述人眼关键点包括上眼皮最高点，下眼皮最低点，左眼角关键点、右眼角关键点；所述则对每帧所述人脸图像进行目标检测，提取所述用户的头部倾斜角度之后，所述方法还包括：若所述头部倾斜角度小于或等于所述预设角度阈值，则确定所述左眼角关键点与右眼角关键点之间的水平差值以及所述上眼皮最高点与所述下眼皮最低点之间的高度差值；计算所述水平差值与所述高度差值之间的比值，并通过将所述比值与预设开合阈值进行对比，确定所述用户的人眼开合状态；根据所述人眼开合状态，对所述用户的线上学习行为进行识别。
[0011]一个示例中，所述通过将所述比值与预设开合阈值进行对比，确定所述用户的人眼开合状态，具体包括：判断所述比值是否大于预设开合阈值；若所述比值小于所述预设开合阈值，则确定所述用户为闭眼状态；若所述比值大于或等于所述预设开合阈值，则确定所述用户为睁眼状态；所述根据所述人眼开合状态，对所述用户的线上学习行为进行识别，具体包括：若所述用户为闭眼状态，则向所述用户发出走神提醒；若所述用户为睁眼状态，则确定所述用户的睁眼时长，并在所述睁眼时长大于指定时长时，向所述用户发出走神提醒。
[0012]一个示例中，所述通过预先训练的神经网络模型，将所述人眼位置偏移量序列作为输入，输出得到所述用户在固定的时长内，针对不同时间段内的偏移偏好之前，所述方法还包括：获取样本用户的样本人眼运动轨迹，根据所述样本人眼运动轨迹，确定样本用户在固定时长内的样本人眼位置偏移量序列；以所述样本人眼位置偏移量序列作为输入样本，以所述样本用户在固定的时长内，针对不同时间段内的偏移偏好作为样本标签，对所述神经网络模型进行监督训练。
[0013]一个示例中，所述根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹之后，所述方法还包括：根据所述人眼位置与所述历史人眼运动轨迹，生成所述用户在预设未来时长内的人眼预测位置；判断所述人眼预测位置是否在所述播放设备的预设拍摄范围内；若否，则确定所述线上课程是否为录播课程；若所述线上课程为录播课程，则将播放所述线上课程的时间点，确定为第一时间点，将所述人眼预测位置的时间点，确定为第二时间点；根据所述第一时间点与所述线上课程的指定学习时长，确定结束所述线上课程的时间点，并将所述结束所述线上课程的时间点，作为第三时间点；若所述第二时间点小于所述第三时间点，则确定所述第二时间点与所述第三时间点之间的时间差；获取所述线上课程在所述时间差内的课程内容，确定所述课程内容的学习价值等级；若所述课程内容的学习价值等级高于预设价值等级，则暂停所述线上课程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种线上学习识别方法，其特征在于，所述方法包括：确定用户将要学习的待播放的线上课程，并判断预设图标是否从播放设备的初始位置移动到指定位置；若是，则在所述播放设备上播放所述线上课程；根据预设时间间隔，获取用户在观看所述线上课程时的连续多帧人脸图像；对每帧所述人脸图像进行目标检测，确定所述人脸图像对应的人眼关键点，并根据所述人眼关键点的坐标，提取所述人脸图像中用户人眼的人眼位置；根据所述用户的身份标识，从所述用户在本次观看所述线上课程时，所生成的历史人脸图像队列中，获取预设分析周期内的历史人脸图像；根据所述历史人脸图像，生成所述用户的历史人眼运动轨迹；其中，所述历史人眼运动轨迹中包括所述用户在所述历史人脸图像中的人眼位置；根据所述人眼位置与所述历史人眼运动轨迹，确定所述用户的人眼运动轨迹；根据所述人眼运动轨迹，判断所述用户是否为虚拟用户；所述虚拟用户是指与所述用户相关的图像或者视频；若否，则根据所述人眼运动轨迹，确定所述用户观看所述线上课程过程中的线上学习行为等级；根据所述线上学习行为等级，对所述用户的线上学习行为进行识别。2.根据权利要求1所述的方法，其特征在于，所述根据所述人眼运动轨迹，判断所述用户是否为虚拟用户，具体包括：根据所述人眼运动轨迹，确定所述用户在固定时长内的人眼位置偏移量序列；所述人眼位置偏移量序列中包括所述用户人眼的多个人眼位置偏移量；通过预先训练的神经网络模型，将所述人眼位置偏移量序列作为输入，输出得到所述用户在固定的时长内，针对不同时间段内的偏移偏好；所述偏移偏好用于表示所述用户在每个时间段内观看所述线上课程时，多个人眼位移偏移量之间符合预先设定的规律性规则；确定所述线上课程在所述每个时间段内对应的指定课程内容；根据所述偏移偏好与所述指定课程内容，确定所述用户在所述每个时间段内与所述指定课程内容之间的关注度等级；通过将所述关注度等级与预设关注等级进行对比，判断所述用户是否为虚拟用户。3.根据权利要求2所述的方法，其特征在于，所述则根据所述人眼运动轨迹，确定所述用户的线上学习行为等级，具体包括：根据预设目标时长，依次将所述人眼位置偏移量序列划分为多组人眼位置偏移量数据；对每组人眼位置偏移量数据进行识别，将识别结果属于晃动反应的每组位置偏移量数据，标记为晃动组；按照生成各组位置偏移量数据的时间顺序，依次对各组位置偏移量数据进行组合，得到多个组合；其中，每个组合中的组数量相差小于预设差值阈值；分别确定多个组合中晃动组的比例，并根据所述比例确定各组合的晃动率；根据预先构建的决策树与所述各组合的晃动率，生成所述用户的晃动状态；其中，通过
将各组合的晃动率作为节点，将各节点之间的关联作为边，构建决策树，所述晃动状态包括所述用户的晃动频率与晃动幅度中的至少一种；根据预先构建的线上学习行为等级表对所述晃动状态进行匹配，确定所述用户的线上学习行为等级。4.根据权利要求1所述的方法，其特征在于，所述根据所述线上学习行为等级，对所述用户的线上学习行为进行识别，具体包括：若所述线上学习行为等级高于预设行为等级，则通过对每帧所述人脸图像进行目标检测，提取所述用户的头部倾斜角度；其中，所述头部倾斜角度是指所述用户的头部偏离竖直方向的角度；若所述头部倾斜角度大于预设角度阈值，则对所述用户发出姿态提醒；若所述线上学习行为等级低于所述预设行为等级，则向所述用户发出晃动提醒。5.根据权利要求4所述的方法，其特征在于，所述人眼关键点包括上眼皮最高点，下眼皮最低点，左眼角关键点、右眼角关键点；所述则对每帧所述人脸图像进行目标检测，提取所述用户的头部倾斜角度之后，所述方法还包括：若所述头部倾斜角度小于或等于所述预设角度阈值，则确定所述左眼角关键点与所述右眼角关键点之间的水平差值以及所述上眼皮最高点与所述下眼皮最低点之间的高度差值；计算所述水平差值与所述高度差值之间的比值，通过将所述比值与预设开合阈值进行对比，确定所述用户的人眼开合状态；根据所述人眼开合状态，对所述用户的线上学习行为进行识别。6.根据权利要求5所述的方法，其...

【专利技术属性】
技术研发人员：付希松，卓长立，高玉芝，高朝，
申请(专利权)人：济南丽阳神州智能科技有限公司，
类型：发明
国别省市：