一种基于计算机视觉的线上学习智能辅助方法和系统技术方案

本发明专利技术涉及一种基于计算机视觉的线上学习智能辅助方法和系统，方法包括：步骤S1:获取用户线上学习的实时图像；步骤S2:从所述实时图像中提取用户的身体位置特征和眼球特征，根据用户的身体位置特征判断用户是否存在违规动作；同时根据用户的眼球特征判断用户是否存在违规动作；若用户的身体位置特征或眼球特征中的任意一个存在违规动作，则提醒用户；若用户的身体位置特征和眼球特征均不存在违规动作，则返回至步骤S1，直到用户结束线上学习。本发明专利技术能够克服现有技术中线上学习软件的提醒功能、监督功能较弱，导致学生注意力不集中的问题，同时解决现有学习软件存在过度提醒的问题。题。题。

【技术实现步骤摘要】
一种基于计算机视觉的线上学习智能辅助方法和系统


[0001]本专利技术涉及线上学习辅助
，尤其是指一种基于计算机视觉的线上学习智能辅助方法和系统。

技术介绍

[0002]自2020年以来，基于网络技术的线上教学应用是疫情下学校信息化建设的核心。随着疫情常态化现象以及高校信息化基础设施建设的推进和完善，开展基于网络的教学应用成为当前授课建设的首要内容。与此同时，提高高校学生在线上学习效率已成为当前高校提高教学质量的重大需求。
[0003]番茄ToDo是一款以番茄工作法为使用基础的时间管理软件，所谓番茄工作法是选择一个待完成的任务，将番茄时间设为25分钟，开启专注工作模式，中途不允许做任何与该任务无关的事，直到番茄时钟响起，可以进行短暂休息(5分钟即可)，然后再开始下一个番茄，以此轮流。其大致的操作流程如下：番茄ToDo软件主要功能即是番茄工作法的实现，不过用户可以按照自己的实际情况设置工作时间和休息时长。
[0004]其目标用户是那些想要通过番茄工作法来提升学习/工作效率，克服注意力不集中、避免沉迷手机的群体。软件采用简约高效番茄钟+待办列表+学霸模式，将ToDoList和番茄工作法结合达到简单高效管理用户习惯和目标的效果。用户可以随时随地打开APP，选择待办(事件名称)点击开始键记录，点击结束键终止。用户的待办的每次使用时长都会记录在软件中，以此可达到时间管理效果。
[0005]但番茄ToDo的自我监督功能，提醒反馈功能，智能评价建议功能还有所欠缺。虽然目前也有一些线上学习软件通过收集用户的图像对用户的状态进行分析，但是存在过度分析的问题，导致原本认真听课的学生被系统频繁提醒从而降低学习效率。
[0006]由此可见，传统线上学习软件的提醒功能、监督功能较弱，容易使学生的注意力分散，学习效率与线下学习相比较为低效，同时也有一些学习软件存在过度提醒的问题，因此需要开发出一款真正有效的方法来对用户进行更有效的监督。

技术实现思路

[0007]为此，本专利技术所要解决的技术问题在于克服现有技术中线上学习软件的提醒功能、监督功能较弱，导致学生注意力不集中的问题，同时解决现有学习软件存在过度提醒的问题。
[0008]为解决上述技术问题，本专利技术提供了一种基于计算机视觉的线上学习智能辅助方法，包括：
[0009]步骤S1:获取用户线上学习的实时图像；
[0010]步骤S2:从所述实时图像中提取用户的身体位置特征和眼球特征，根据用户的身体位置特征判断用户是否存在违规动作；
[0011]同时根据用户的眼球特征判断用户是否存在违规动作；
[0012]若用户的身体位置特征或眼球特征中的任意一个存在违规动作，则提醒用户；若用户的身体位置特征和眼球特征均不存在违规动作，则返回至步骤S1，直到用户结束线上学习。
[0013]在本专利技术的一个实施例中，所述步骤S2中从所述实时图像中提取用户的身体位置特征，根据用户的身体位置特征判断用户是否存在违规动作的方法包括：
[0014]步骤S21：提取连续两帧实时图像中用户的身体位置特征，其中，所述身体位置特征包括头部关节点坐标、颈部关节点坐标和肩部关节点坐标；
[0015]步骤S22：将连续两帧实时图像中用户的身体位置特征进行差值计算；
[0016]步骤S23：基于差值计算结果生成矩阵特征，并将所述矩阵特征输入卷积神经网络；
[0017]步骤S24：通过所述卷积神经网络判断用户是否存在违规动作。
[0018]在本专利技术的一个实施例中，所述步骤S2中根据用户的眼球特征判断用户是否存在违规动作的方法包括：
[0019]通过第一预设时间段内的若干帧实时图像判断用户的眼球是否聚焦在同一位置，若是，则表明用户存在违规动作；若否，则表明用户不存在违规动作。
[0020]在本专利技术的一个实施例中，所述通过第一预设时间段内的若干帧实时图像判断用户的眼球是否聚焦在同一位置的方法为:
[0021]获取所述若干帧实时图像中的第一帧图像，根据所述第一帧图像得到用户当前瞳孔所在像素点位置；
[0022]若所述若干帧实时图像中用户瞳孔像素点所在位置在预设位置范围以内，则表明用户存在违规动作，其中，预设位置范围为以用户当前瞳孔所在像素点位置为中心形成的八邻域范围。
[0023]在本专利技术的一个实施例中，所述步骤S2中根据用户的眼球特征判断用户是否存在违规动作的方法还包括：
[0024]获取初始时刻用户的眼球面积，当在第二预设时间段内用户的眼球面积变换量超过预设值，则表明用户存在违规动作；
[0025]当检测到用户的眼球面积为0时，则表明用户存在违规动作。
[0026]在本专利技术的一个实施例中，所述用户的眼球面积变换量包括：用户的眼球面积由大变小或眼球面积由小变大。
[0027]在本专利技术的一个实施例中，所述步骤S1还包括：对所述实时图像进行亮度增强和对比度增强。
[0028]为解决上述技术问题，本专利技术提供了一种基于计算机视觉的线上学习智能辅助方法系统，包括：
[0029]获取模块:用于获取用户线上学习的实时图像；
[0030]特征提取与判断模块:用于从所述实时图像中提取用户的身体位置特征和眼球特征，根据用户的身体位置特征判断用户是否存在违规动作；
[0031]同时用于根据用户的眼球特征判断用户是否存在违规动作；
[0032]若用户的身体位置特征或眼球特征中的任意一个存在违规动作，则提醒用户；若用户的身体位置特征和眼球特征均不存在违规动作，则返回至获取模块的流程，直到用户
结束线上学习。
[0033]为解决上述技术问题，本专利技术提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于计算机视觉的线上学习智能辅助方法的步骤。
[0034]为解决上述技术问题，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述基于计算机视觉的线上学习智能辅助方法的步骤。
[0035]本专利技术的上述技术方案相比现有技术具有以下优点：
[0036]本专利技术所述的基于计算机视觉的线上学习智能辅助方法能够克服现有技术中线上学习软件的提醒功能、监督功能较弱，导致学生注意力不集中的问题，同时解决现有学习软件存在过度提醒的问题；
[0037]本专利技术通过获取用户的身体位置特征和眼球特征，在保证身体正常运动的范围内，在不过度分析用户的体态特征前提下，尽可能分析出用户在线上学习过程中是否存在违规动作。
附图说明
[0038]为了使本专利技术的内容更容易被清楚的理解，下面根据本专利技术的具体实施例并结合附图，对本专利技术作进一步详细的说明。
[0039]图1是本专利技术的方法流程示意图。
具体实施方式
[0040]下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的线上学习智能辅助方法，其特征在于：包括：步骤S1:获取用户线上学习的实时图像；步骤S2:从所述实时图像中提取用户的身体位置特征和眼球特征，根据用户的身体位置特征判断用户是否存在违规动作；同时根据用户的眼球特征判断用户是否存在违规动作；若用户的身体位置特征或眼球特征中的任意一个存在违规动作，则提醒用户；若用户的身体位置特征和眼球特征均不存在违规动作，则返回至步骤S1，直到用户结束线上学习。2.根据权利要求1所述的基于计算机视觉的线上学习智能辅助方法，其特征在于：所述步骤S2中从所述实时图像中提取用户的身体位置特征，根据用户的身体位置特征判断用户是否存在违规动作的方法包括：步骤S21：提取连续两帧实时图像中用户的身体位置特征，其中，所述身体位置特征包括头部关节点坐标、颈部关节点坐标和肩部关节点坐标；步骤S22：将连续两帧实时图像中用户的身体位置特征进行差值计算；步骤S23：基于差值计算结果生成矩阵特征，并将所述矩阵特征输入卷积神经网络；步骤S24：通过所述卷积神经网络判断用户是否存在违规动作。3.根据权利要求1所述的基于计算机视觉的线上学习智能辅助方法，其特征在于：所述步骤S2中根据用户的眼球特征判断用户是否存在违规动作的方法包括：通过第一预设时间段内的若干帧实时图像判断用户的眼球是否聚焦在同一位置，若是，则表明用户存在违规动作；若否，则表明用户不存在违规动作。4.根据权利要求3所述的基于计算机视觉的线上学习智能辅助方法，其特征在于：所述通过第一预设时间段内的若干帧实时图像判断用户的眼球是否聚焦在同一位置的方法为:获取所述若干帧实时图像中的第一帧图像，根据所述第一帧图像得到用户当前瞳孔所在像素点位置；若所述若干帧实时图像中用户瞳孔像素点所在位置在预设位置范围以内，则表明用...

【专利技术属性】
技术研发人员：谭懿唯，韩茜，李子睿，张之涵，李鑫然，陆恒杨，
申请(专利权)人：江南大学，
类型：发明
国别省市：