一种基于机器视觉的课堂举手识别方法及系统技术方案

本发明专利技术涉及一种基于机器视觉的课堂举手识别方法及系统，属于教育信息技术领域，基于机器视觉的课堂举手识别方法包括：采集待检测图像；根据待检测图像，采用深度学习目标检测模型，进行人员识别，并截取每个人员的感兴趣区域；能有效去除室内座椅、机器设备等干扰，鲁棒性强，并降低了计算量；基于人体实例分割模型，对各感兴趣区域进行分割，得到人体各部分的轮廓图；轮廓图中包括上肢轮廓和头部轮廓；人体实例分割模型为预先采用样本图像对卷积神经网络进行训练建立的模型；根据上肢轮廓及所述头部轮廓，确定是否有举手动作。可同时对多个目标计算，实现多目标识别，通过高效的区域分割方法获取关键部位位置，提高了举手识别的效率。的效率。的效率。

【技术实现步骤摘要】
一种基于机器视觉的课堂举手识别方法及系统


[0001]本专利技术涉及教育信息
，特别是涉及一种基于机器视觉的课堂举手识别方法及系统。

技术介绍

[0002]随着视觉技术的发展，在教育信息
，自动化的课堂观察成为一个重要问题。通过观察课堂中教师和学生的行为及其交互特征，有助于对学生进行客观的评估，对教师因人而异的制定教学计划，改善老师的教学质量，举手动作作为最典型的学生动作行为，其检测和识别是自动化课堂观察的重要支撑技术。
[0003]目前应用于教学课堂的举手动作的识别主要包含以下几种方法，基于特定运动位移的方法，基于身体外形特征的方法，基于深度图像的方法以及基于终端设备的方法：基于特定运动位移的方法使用了隐马尔可夫模型处理特定序列的图像，在特定的视角范围利用摄像机对举手的运动轨迹建立一系列模型，此方法在摄像机的角度发生变化时动作过程中的运动位移也会发生变化，导致模型失效，并且只能针对单人的识别，识别效率低。基于身体外形的方法中，通过背景差分分析身体的外框，头和手臂在外框的边界产生凸包点，分割头和手的位置，通过傅里叶变换提取特征，最后通过支持向量机进行二分类，依赖简单的室内场景，难以确定学生的位置，当前景不运动时，背景差分方法无法检测到目标，在背景杂乱时，识别准确率下降。
[0004]基于深度图像的方法使用了Microsoft Kinect设备获取深度图像进行分析，不过，Kinect的感知距离有限，只能覆盖到前几排的学生，并且Kinect设备最多只能同时获取六个人的人体关键点信息，并不适合在人数较多的实际课堂场景下安装和使用，识别效率也很低。
[0005]基于终端设备的方法使用具有加速传感器的可穿戴式终端设备，通过实时采集加速传感器中的X，Y，Z三个方向上的瞬时动量，并获取X，Y，Z三轴的瞬时动量中的最大瞬时动量来综合判断疑似举手动作。该方法中需要为每一位人员都佩戴上此终端设备，并且准确率不高，成本高，并不符合在实际场景中应用。
[0006]基于上述问题，亟需一种新的识别方法以提高学生举手动作识别的效率和鲁棒性。

技术实现思路

[0007]本专利技术的目的是提供一种基于机器视觉的课堂举手识别方法及系统，可提高学生举手动作识别的效率和鲁棒性。
[0008]为实现上述目的，本专利技术提供了如下方案：
[0009]一种基于机器视觉的课堂举手识别方法，所述基于机器视觉的课堂举手识别方法包括：
[0010]采集待检测图像；
[0011]根据所述待检测图像，采用深度学习目标检测模型，进行人员识别，并截取每个人员的感兴趣区域；
[0012]基于人体实例分割模型，对各感兴趣区域进行分割，得到人体各部分的轮廓图；所述轮廓图中包括上肢轮廓和头部轮廓；所述人体实例分割模型为预先采用样本图像对卷积神经网络进行训练建立的模型；
[0013]根据所述上肢轮廓及所述头部轮廓，确定是否有举手动作。
[0014]可选地，所述人体实例分割模型包括编码器和解码器；所述编码器与所述解码器连接；
[0015]所述基于人体实例分割模型，对各感兴趣区域进行分割，得到人体各部分的轮廓图，具体包括：
[0016]针对每一感兴趣区域，通过编码器采用二值化卷积提取所述感兴趣区域的特征，得到特征图；
[0017]通过解码器采用二值化反卷积对所述特征图进行扩展，得到对应的扩展图，并根据所述扩展图，采用归一化卷积，得到人体各部分的轮廓以及对应的轮廓类别；所述轮廓类别包括上肢轮廓和头部轮廓。
[0018]可选地，所述编码器包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层；所述感兴趣区域依次经过第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层，进行特征提取，得到特征图；
[0019]所述解码器包括依次连接的第七卷积层、第八卷积层、第九卷积层、第十卷积层和第十一卷积层；所述特征图依次经过第七卷积层、第八卷积层、第九卷积层和第十卷积层进行扩展，得到扩展图；所述第十一卷积层根据所述扩展图，采用归一化卷积，得到人体各部分的轮廓以及对应的轮廓类别。
[0020]可选地，所述第三卷积层和所述第五卷积层执行跨步卷积。
[0021]可选地，所述第三卷积层采用双曲线函数作为激活函数。
[0022]可选地，所述根据所述上肢轮廓及所述头部轮廓，确定是否有举手动作，具体包括：
[0023]在轮廓图中建立直角坐标系；
[0024]获取上肢轮廓在直角坐标系中的各个坐标点；
[0025]根据各个坐标点，确定上肢轮廓在直角坐标系中的直线，得到上肢线段；
[0026]在所述直角坐标系中，确定头部轮廓的中心点；
[0027]过中心点做垂直于所述上肢线段的垂直线，得到垂直线段；
[0028]判断所述垂直线段的长度与所述上肢线段的长度大小；
[0029]若所述垂直线段的长度大于或等于所述上肢线段的长度的设定比例，则判定为未举手；
[0030]若所述垂直线段的长度小于所述上肢线段的长度的设定比例，则判断所述上肢线段的斜率的绝对值是否大于斜率阈值；
[0031]若所述上肢线段的斜率的绝对值大于斜率阈值，则判定为举手，否则判定为未举手。
[0032]为实现上述目的，本专利技术还提供了如下方案：
[0033]一种基于机器视觉的课堂举手识别系统，所述基于机器视觉的课堂举手识别系统包括：
[0034]采集单元，用于采集待检测图像；
[0035]识别单元，与所述采集单元连接，用于根据所述待检测图像，采用深度学习目标检测模型，进行人员识别，并截取每个人员的感兴趣区域；
[0036]轮廓图确定单元，与所述识别单元连接，用于基于人体实例分割模型，对各感兴趣区域进行分割，得到人体各部分的轮廓图；所述轮廓图中包括上肢轮廓和头部轮廓；所述人体实例分割模型为预先采用样本图像对卷积神经网络进行训练建立的模型；
[0037]举手判断单元，与所述轮廓图确定单元连接，用于根据所述上肢轮廓及所述头部轮廓，确定是否有举手动作。
[0038]可选地，所述人体实例分割模型包括编码器和解码器；所述编码器与所述解码器连接；
[0039]所述轮廓图确定单元包括：
[0040]特征提取模块，与所述识别单元连接，用于针对每一感兴趣区域，通过编码器采用二值化卷积提取所述感兴趣区域的特征，得到特征图；
[0041]特征扩展模块，与所述特征提取模块连接，用于通过解码器采用二值化反卷积对所述特征图进行扩展，得到对应的扩展图，并根据所述扩展图，采用归一化卷积，得到人体各部分的轮廓以及对应的轮廓类别；所述轮廓类别包括上肢轮廓和头部轮廓。
[0042]可选地，所述编码器包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层；所述感兴趣区域依次经过第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的课堂举手识别方法，其特征在于，所述基于机器视觉的课堂举手识别方法包括：采集待检测图像；根据所述待检测图像，采用深度学习目标检测模型，进行人员识别，并截取每个人员的感兴趣区域；基于人体实例分割模型，对各感兴趣区域进行分割，得到人体各部分的轮廓图；所述轮廓图中包括上肢轮廓和头部轮廓；所述人体实例分割模型为预先采用样本图像对卷积神经网络进行训练建立的模型；根据所述上肢轮廓及所述头部轮廓，确定是否有举手动作。2.根据权利要求1所述的基于机器视觉的课堂举手识别方法，其特征在于，所述人体实例分割模型包括编码器和解码器；所述编码器与所述解码器连接；所述基于人体实例分割模型，对各感兴趣区域进行分割，得到人体各部分的轮廓图，具体包括：针对每一感兴趣区域，通过编码器采用二值化卷积提取所述感兴趣区域的特征，得到特征图；通过解码器采用二值化反卷积对所述特征图进行扩展，得到对应的扩展图，并根据所述扩展图，采用归一化卷积，得到人体各部分的轮廓以及对应的轮廓类别；所述轮廓类别包括上肢轮廓和头部轮廓。3.根据权利要求2所述的基于机器视觉的课堂举手识别方法，其特征在于，所述编码器包括依次连接的第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层；所述感兴趣区域依次经过第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层和第六卷积层，进行特征提取，得到特征图；所述解码器包括依次连接的第七卷积层、第八卷积层、第九卷积层、第十卷积层和第十一卷积层；所述特征图依次经过第七卷积层、第八卷积层、第九卷积层和第十卷积层进行扩展，得到扩展图；所述第十一卷积层根据所述扩展图，采用归一化卷积，得到人体各部分的轮廓以及对应的轮廓类别。4.根据权利要求3所述的基于机器视觉的课堂举手识别方法，其特征在于，所述第三卷积层和所述第五卷积层执行跨步卷积。5.根据权利要求3所述的基于机器视觉的课堂举手识别方法，其特征在于，所述第三卷积层采用双曲线函数作为激活函数。6.根据权利要求1所述的基于机器视觉的课堂举手识别方法，其特征在于，所述根据所述上肢轮廓及所述头部轮廓，确定是否有举手动作，具体包括：在轮廓图中建立直角坐标系；获取上肢轮廓在直角坐标系中的各个坐标点；根据各个坐标点，确定上肢轮廓在直角坐标系中的直线，得到上肢线段；在所述直角坐标系中，确定头部轮廓的中心点；过中心点做垂直于所述上肢线段的垂直线，得到垂直线段；判断所述垂直线段的长度与所述上肢线段的长度大小；若所述垂直线段的长度大于或等于所述上肢线段的长度的设定比例，则判定为未举
手；若所述垂直线段的长度小于所述上肢线段的长度的设定比例，则判断所述上肢线段的斜率的绝对值是否大于斜率阈值；若所述上肢线段的斜率的绝对值大于斜率阈值，则判定为举手，否则判定为未举手。7.一种基于机器视觉的课堂举手识别系统，其特征在于，所述基于机器视觉的课堂举手识别系统包括：采集单元，用于采集待检测图像；识别单元，与所述采集单元连接，用于根据所述待检测图像，采用深度学习目标检测模型，进行人员识别，并截取每个人员的...

【专利技术属性】
技术研发人员：王亮，陈立胜，李幸文，
申请(专利权)人：北京海航中软科技有限公司，
类型：发明
国别省市：