基于HSV-YOLOv3的网课学生行为识别方法技术

基于HSV‑YOLOv3的网课学生行为识别方法，该方法包括以下步骤：步骤1，获取学生网课图像标定数据；步骤2，模拟噪声环境数据；步骤3，提取学生上课图像的颜色特征；步骤4，设计基于简单投票法的学生网课行为识别；步骤5，处理学生行为类别异常；步骤6，将训练获得的学生行为分类模型嵌入至系统平台中，并实际应用。本发明专利技术在模拟噪声环境下的基础上，提出了基于HSV‑YOLOv3的网课学生行为识别方法。本发明专利技术有效的模拟了网课系统平台在采集数据时受到的噪声环境的干扰，增强了分类模型在噪声环境下的鲁棒性；同时采用了投票法进行学生行为分类，经过投票决策最终得出学生行为类别，提高了分类模型的精确度。

【技术实现步骤摘要】
基于HSV-YOLOv3的网课学生行为识别方法
本专利技术涉及多模式识别领域，特别是涉及基于HSV-YOLOv3的网课学生行为识别方法。
技术介绍
近年来随着人工智能的不断发展，人工智能已经逐步出现在我们生活的方方面面中，例如指纹解锁、人工智能汽车、人工智能家居等。实际上，人工智能技术的发展离不开计算机视觉技术的不断研究。研究如何使得计算机通过视频获取装置获取外部信息模拟人类进行分析识别是计算机视觉技术的主要研究内容，其研究方向包括目标跟踪、物体识别、人体行为识别等。然而，人工智能技术在教育领域的应用并不广泛，但并不代表人工智能及计算机视觉技术在教育方面有适用性的不足。相反，随着如今信息数字化飞速的发展，两者相结合的技术在教育领域有广阔的发展前景。传统的课堂在获取教学反馈上的方式耗时耗力，一方面教师通过课后作业了解学生的学习情况，另一方面，教师通过课堂上学生的听课情况获取反馈。但是，教师既要兼顾课堂所授内容的质量，同时又要监管学生的听课认真情况，势必会造成教学质量的下降，且教师无法时刻关注每名学生的上课状态。通过人工智能结合计算机视觉技术，在网课中实时对学生的动作进行识别，同时进行记录，可以实现对课堂学生的听课状态进行自动记录及分析，让教师和家长更直观且省时省力地了解到该堂课的整体听课情况，对辅助教师进行教育教学方式的改进有其重要参考价值及意义。
技术实现思路
为解决上述问题，本专利技术在模拟噪声环境的基础上，提出了基于HSV-YOLOv3的网课学生行为识别方法。本专利技术利用所提方法有效的模拟了网课系统平台在采集数据时受到的噪声环境的干扰，增强了分类模型在噪声环境下的鲁棒性。此外本专利技术采用了投票法学生行为分类，提取了图像的HSV特征和灰度图像分别训练YOLOv3模型，经过投票决策最终得出学生行为类别，提高了分类模型的精确度。为达此目的，本专利技术基于HSV-YOLOv3的网课学生行为识别方法，具体步骤如下，其特征在于：步骤1，获取学生网课图像标定数据：通过网课系统平台实时检测学生上课情况，并定时中断定时截取学生上课图像，同时对采集到的学生上课图像制作标签；步骤2，模拟噪声环境数据：考虑到所采集的学生上课图像会存在干扰情况，向步骤1中获取的图像数据添加加性噪声以模拟噪声环境下采集信号受到的干扰；步骤3，提取学生上课图像的颜色特征：通过HSV特征提取算法提取学生上课图像的颜色特征，并分别训练基于HSV、学生上课图像和灰度图像的YOLOv3学生行为识别模型；步骤4，设计基于简单投票法的学生网课行为识别，对不同分类模型取相同的融合权重，得到每个分类器对于同一个学生行为的分类结果，并统计此学生行为属于各个类别的得票数，将得票数最多的类别确定为学生网课行为的类别；步骤5，处理学生行为类别异常，将分类器输出的行为异常结果实时发送给老师和家长客户端，并提醒老师和家长进一步监督学生；步骤6，将训练获得的学生行为分类模型嵌入至系统平台中，并实际应用。进一步，步骤2中模拟噪声环境数据的过程表示为：步骤1将网课系统平台检测的学生的行为图像制作好标签后，在图像数据上叠加椒盐噪声：式中，xn为原始电压数据，d为高斯白噪声数据，x表示得到的模拟噪声环境下采集的数据。进一步，步骤3中提取学生上课图像的颜色特征的过程表示为：将学生网课图像的RGB颜色通过颜色空间转化到HSV空间中，其中H代表颜色空间中的色调H∈[0°,360°]、S代表饱和度S∈[0,1]、V代表亮度V∈[0,1]，再对HSV分量进行非均匀量化，H量化7级、S量化3级、V量化7级并用下式提取图像的颜色特征：其中，QS和QV分别是S和V的量化级数，QS=3、QV=9，得224维的颜色特征G，将训练样本提取的HSV特征和标签组成学生网课行为图像训练样本HSV特征集。进一步，步骤3中训练YOLOv3学生行为识别模型的过程表示为：训练基于HSV的YOLOv3学生行为识别模型：将学生网课行为图像训练样本HSV特征集中每个样本特征扩充为416×416的样本，并输入到YOLOv3的输入层中，训练基于HSV的YOLOv3学生行为识别模型；训练基于学生上课图像的YOLOv3学生行为识别模型：将检测到的学生图像数据压缩为416×416的维度，并输入到YOLOv3的输入层中，训练基于学生上课图像的YOLOv3学生行为识别模型；训练基于灰度图像的YOLOv3学生行为识别模型：将检测到的学生图像转化为灰度图像，并将数据压缩为416×416的维度，并输入到YOLOv3的输入层中，训练基于灰度图像的YOLOv3学生行为识别模型。进一步，步骤4中设计基于简单投票法的学生网课行为识别的过程表示为：经过步骤3分别训练3个YOLOv3分类器之后，基于简单投票法的学生网课行为识别步骤为：步骤4.1：在网课系统平台中实时检测学生上课图像数据，按照步骤3提取图像的HSV特征和灰度图像，并将上课图像数据、HSV特征和灰度图像分别扩充至416×416格式；步骤4.2：将步骤4.1中获得的不同数据特征，当做YOLOv3输入向量输入至对应的YOLOv3分类器中；步骤4.3：统计三个YOLOv3分分类器对学生行为的识别结果，并将具有最大频数所在的类别确定为学生行为的类别。本专利技术基于HSV-YOLOv3的网课学生行为识别方法，有益效果：本专利技术的技术效果在于：1.本专利技术利用所提方法有效的模拟了网课系统平台在采集数据时受到的噪声环境的干扰，增强了分类模型在噪声环境下的鲁棒性；2.本专利技术采用了投票法学生行为分类，提取了图像的HSV特征和灰度图像分别训练YOLOv3模型，经过投票决策最终得出学生行为类别，提高了分类模型的精确度。附图说明图1为本专利技术的流程图。具体实施方式下面结合附图与具体实施方式对本专利技术作进一步详细描述：本专利技术提出了基于HSV-YOLOv3的网课学生行为识别方法，旨在提高学生上网课的注意力，同时提高在上网课时学生行为分类的稳定性和准确性。图1为本专利技术的流程图，下面结合流程图对本专利技术的步骤作详细介绍。步骤1，获取学生网课图像标定数据：通过网课系统平台实时检测学生上课情况，并定时中断定时截取学生上课图像，同时对采集到的学生上课图像制作标签；步骤2，模拟噪声环境数据：考虑到所采集的学生上课图像会存在干扰情况，向步骤1中获取的图像数据添加加性噪声以模拟噪声环境下采集信号受到的干扰；步骤2中模拟噪声环境数据的过程表示为：步骤1将网课系统平台检测的学生的行为图像制作好标签后，在图像数据上叠加椒盐噪声：式中，xn为原始电压数据，d为高斯白噪声数据，x表示得到的模拟噪声环境下采集的数据。步骤3，提取学生上课图像的颜色特征：通过HSV特征提取算法提取学生上课图像的颜色特征，并分别训练基于HSV、学生上课图像和灰度图像的YOLOv3学生行为识别模型；...

【技术保护点】
1.基于HSV-YOLOv3的网课学生行为识别方法，具体步骤如下，其特征在于：/n步骤1，获取学生网课图像标定数据：通过网课系统平台实时检测学生上课情况，并定时中断定时截取学生上课图像，同时对采集到的学生上课图像制作标签；/n步骤2，模拟噪声环境数据：考虑到所采集的学生上课图像会存在干扰情况，向步骤1中获取的图像数据添加加性噪声以模拟噪声环境下采集信号受到的干扰；/n步骤3，提取学生上课图像的颜色特征：通过HSV特征提取算法提取学生上课图像的颜色特征，并分别训练基于HSV、学生上课图像和灰度图像的YOLOv3学生行为识别模型；/n步骤4，设计基于简单投票法的学生网课行为识别，对不同分类模型取相同的融合权重，得到每个分类器对于同一个学生行为的分类结果，并统计此学生行为属于各个类别的得票数，将得票数最多的类别确定为学生网课行为的类别；/n步骤5，处理学生行为类别异常，将分类器输出的行为异常结果实时发送给老师和家长客户端，并提醒老师和家长进一步监督学生；/n步骤6，将训练获得的学生行为分类模型嵌入至系统平台中，并实际应用。/n

【技术特征摘要】
1.基于HSV-YOLOv3的网课学生行为识别方法，具体步骤如下，其特征在于：
步骤1，获取学生网课图像标定数据：通过网课系统平台实时检测学生上课情况，并定时中断定时截取学生上课图像，同时对采集到的学生上课图像制作标签；
步骤2，模拟噪声环境数据：考虑到所采集的学生上课图像会存在干扰情况，向步骤1中获取的图像数据添加加性噪声以模拟噪声环境下采集信号受到的干扰；
步骤3，提取学生上课图像的颜色特征：通过HSV特征提取算法提取学生上课图像的颜色特征，并分别训练基于HSV、学生上课图像和灰度图像的YOLOv3学生行为识别模型；
步骤4，设计基于简单投票法的学生网课行为识别，对不同分类模型取相同的融合权重，得到每个分类器对于同一个学生行为的分类结果，并统计此学生行为属于各个类别的得票数，将得票数最多的类别确定为学生网课行为的类别；
步骤5，处理学生行为类别异常，将分类器输出的行为异常结果实时发送给老师和家长客户端，并提醒老师和家长进一步监督学生；
步骤6，将训练获得的学生行为分类模型嵌入至系统平台中，并实际应用。


2.根据权利要求1所述的基于HSV-YOLOv3的网课学生行为识别方法，其特征在于：步骤2中模拟噪声环境数据的过程表示为：
步骤1将网课系统平台检测的学生的行为图像制作好标签后，在图像数据上叠加椒盐噪声：



式中，xn为原始电压数据，d为高斯白噪声数据，x表示得到的模拟噪声环境下采集的数据。


3.根据权利要求1所述的基于HSV-YOLOv3的网课学生行为识别方法，其特征在于：步骤3中提取学生上课图像的颜色特征的过程表示为：
将学生网课图像的RGB颜色通过颜色空间转化到HSV空间中，其中H代表颜色空间中的色调H∈[0°,360°]、S代表饱和度S∈[0,1]、V代表亮度V∈[0,1]，再对HSV分量进行非均匀量化，H量化7级、S...

【专利技术属性】
技术研发人员：韩宇，
申请(专利权)人：南京泛在实境科技有限公司，
类型：发明
国别省市：江苏;32