课堂举手行为检测方法、系统、计算机设备和存储介质技术方案

本发明专利技术提供了课堂举手行为检测方法、系统、计算机设备和存储介质，通过基于对实时采集的待检测课堂视频进行抽帧处理得到待检测图像数据，采用姿态估计模型对进行待检测图像数据进行姿态估计，得到对应包括若干个人体关节点的上半身姿态图的姿态估计结果后，根据姿态估计结果中的手肘关节点坐标和手腕关节点坐标，确定待识别手部区域，再采用手势识别模型对待识别手部区域进行检测得到举手行为检测结果的方法，有效解决实际应用中人体遮挡、待识别目标分辨率较小、以及图片数据亮度差异大等因素造成课堂举手检测准确率较低问题，进一步提高了教室课堂举手行为实时检测的精准性，进而较大程度地提升了相应检测结果的应用价值。价值。价值。

【技术实现步骤摘要】
课堂举手行为检测方法、系统、计算机设备和存储介质


[0001]本专利技术涉及计算机视觉及姿态估计
，特别是涉及一种基于姿态估计和手势识别的课堂举手行为检测方法、系统、计算机设备和存储介质。

技术介绍

[0002]随着信息技术在教育领域的发展，将课堂监控自动化、智能化成为一个热门研究方向，通过实时观察教室课堂中教师和学生的互动行为，有助于对每个学生的学习状态进行监督和客观评估，便于教学管理和有针对性地提升教师的教学质量。举手动作是教室课堂中学生最典型的行为，是学生积极参与课堂内容最直观的表现形式，是老师与学生互动最直接方式，其可作为对学生学习状态和教师教学质量进行评估的有效方式。然而，在真实课堂应用场景中，学生的举手检测面临着很多挑战，如学生座位密集前排学生对后排学生的遮挡、靠近教室后半部分位置学生举手时手部分辨率较小、以及教室采光问题导致光线差异大等，均会对课堂举手检测的准确率产生影响。于是，如何提升课堂行为检测的精准性，进而提升相应检测结果的应用价值的问题备受研究者关注。
[0003]现有学者给出的应用于课堂举手检测的方法主要有两种：1)通过从图像信息中采集学生姿态信息，通过学生姿态信息分析该学生的行为是否为举手行为；2)将举手行为作为一个目标检测问题来解决，直接采用目标检测算法来检测举手行为。虽然，上述两种方法均能在一定程度上实现对课堂举手行为的检测识别，但各自存在应用缺陷：1)自底向上的姿态估计应用于人比较多的教室场景时，容易将不同待检测对象的关节点混淆，导致姿态估计准确率不高；2)目标检测算法为静态方法，应用于动态动作检测时，仅能实现对前排学生举手检测的有效检测，对于后排小分辨率的举手目标检测并不理想。

技术实现思路

[0004]本专利技术的目的是从计算机视觉角度出发，提出一种课堂举手行为检测方法、系统、计算机设备和存储介质，通过采用深度学习技术，对教室复杂环境的视频流中的人体进行姿态估计，再基于姿态估计结果获取待识别手部区域，进一步进行举手和非举手的手势识别的方法，解决现有技术问题，有效提高教室课堂举手行为实时检测的精准性，进而提升相应检测结果的应用价值。
[0005]为了实现上述目的，有必要针对上述技术问题，提供了一种课堂举手行为检测方法、系统、计算机设备和存储介质。
[0006]第一方面，本专利技术实施例提供了一种课堂举手行为检测方法，所述方法包括以下步骤：
[0007]实时采集待检测课堂视频，并根据所述待检测课堂视频，得到待检测图像数据；
[0008]将所述待检测图像数据输入姿态估计模型进行姿态估计，得到对应的姿态估计结果；所述姿态估计结果为包括若干个人体关节点的上半身姿态图；
[0009]根据所述姿态估计结果，确定待识别手部区域；
[0010]将所述待识别手部区域输入手势识别模型，得到举手行为检测结果。
[0011]进一步地，所述根据所述待检测课堂视频，得到待检测图像数据的步骤包括：
[0012]按照预设时间间隔对所述待检测课堂视频进行抽帧处理，得到候选检测图像数据；
[0013]筛除所述候选检测图像数据中的重复数据，得到所述待检测图像数据。
[0014]进一步地，所述姿态估计模型包括依次连接的人体区域检测模型、单人姿态估计模型和姿态冗余抑制模型；
[0015]所述人体区域检测模型包括YOLOv3网络；所述单人姿态估计模型包括依次连接的空间变换网络、单人姿态估计网络和逆空间变换网络；姿态冗余抑制模型包括参数化姿态非极大值抑制网络。
[0016]进一步地，所述将所述待检测图像数据输入姿态估计模型进行姿态估计，得到对应的姿态估计结果的步骤包括：
[0017]将所述待检测图像数据输入所述人体区域检测模型进行单人区域检测，得到单人人体区域；
[0018]将各个单人人体区域输入所述单人姿态估计模型进行姿态估计，得到对应的候选姿态估计结果；
[0019]将所述候选姿态估计结果输入所述姿态冗余抑制模型去除冗余姿态，得到所述姿态估计结果。
[0020]进一步地，所述人体关节点包括分别对应于头顶、颈部、左肩部、右肩部、左手肘、右手肘、左手腕、右手腕、左胯部和左胯部的关节点；
[0021]所述根据所述姿态估计结果，确定待识别手部区域的步骤包括：
[0022]根据所述姿态估计结果，得到对应的手肘关节点坐标和手腕关节点坐标；所述手肘关节点坐标包括左手肘关节点坐标和右手肘关节点坐标；所述手腕关节点坐标包括左手腕关节点坐标和右手腕关节点坐标；
[0023]根据所述手肘关节点坐标和手腕关节点坐标，得到对应的手部候选区域；
[0024]根据各个手部候选区域的手肘关节点坐标和手腕关节点坐标，计算对应的手臂与水平面的角度；
[0025]判断所述手臂与水平面的角度是否大于预设手势角度，若大于，则将所述手部候选区域确定为所述待识别手部区域。
[0026]进一步地，所述根据所述手肘关节点坐标和手腕关节点坐标，得到对应的手部候选区域的步骤包括：
[0027]分别以所述左手腕关节点坐标和所述右手腕关节点坐标为中心，得到对应的左手肘对称点坐标和右手肘对称点坐标；
[0028]分别得到以左手肘关节点坐标和左手肘对称点间的直线，以及右手肘关节点坐标和右手肘对称点坐标间的直线为对角线的矩形区域，并将所述矩形区域作为对应的手部候选区域。
[0029]进一步地，所述手势识别模型包括卷积神经网络模型；所述卷积神经网络模型包括依次连接的2个卷积层、1个池化层、2个卷积层、1个池化层、1个卷积层、1个池化层、1个卷积层、1个池化层和1个全连接层；所述卷积层的卷积核大小为3
×
3；所述池化层的核大小为
2
×
2。
[0030]第二方面，本专利技术实施例提供了一种课堂举手行为检测系统，所述系统包括：
[0031]数据采集模块，用于实时采集待检测课堂视频，并根据所述待检测课堂视频，得到待检测图像数据；
[0032]姿态估计模块，用于将所述待检测图像数据输入姿态估计模型进行姿态估计，得到对应的姿态估计结果；所述姿态估计结果为包括若干个人体关节点的上半身姿态图；
[0033]区域筛选模块，用于根据所述姿态估计结果，确定待识别手部区域；
[0034]手势识别模块，用于将所述待识别手部区域输入手势识别模型，得到举手行为检测结果。
[0035]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0036]第四方面，本专利技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0037]上述本申请提供了一种课堂举手行为检测方法、系统、计算机设备及存储介质，通过所述方法，实现了基于实时采集的待检测课堂视频得到待检测图像数据，通过姿态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种课堂举手行为检测方法，其特征在于，所述方法包括以下步骤：实时采集待检测课堂视频，并根据所述待检测课堂视频，得到待检测图像数据；将所述待检测图像数据输入姿态估计模型进行姿态估计，得到对应的姿态估计结果；所述姿态估计结果为包括若干个人体关节点的上半身姿态图；根据所述姿态估计结果，确定待识别手部区域；将所述待识别手部区域输入手势识别模型，得到举手行为检测结果。2.如权利要求1所述的课堂举手行为检测方法，其特征在于，所述根据所述待检测课堂视频，得到待检测图像数据的步骤包括：按照预设时间间隔对所述待检测课堂视频进行抽帧处理，得到候选检测图像数据；筛除所述候选检测图像数据中的重复数据，得到所述待检测图像数据。3.如权利要求1所述的课堂举手行为检测方法，其特征在于，所述姿态估计模型包括依次连接的人体区域检测模型、单人姿态估计模型和姿态冗余抑制模型；所述人体区域检测模型包括YOLOv3网络；所述单人姿态估计模型包括依次连接的空间变换网络、单人姿态估计网络和逆空间变换网络；姿态冗余抑制模型包括参数化姿态非极大值抑制网络。4.如权利要求3所述的课堂举手行为检测方法，其特征在于，所述将所述待检测图像数据输入姿态估计模型进行姿态估计，得到对应的姿态估计结果的步骤包括：将所述待检测图像数据输入所述人体区域检测模型进行单人区域检测，得到单人人体区域；将各个单人人体区域输入所述单人姿态估计模型进行姿态估计，得到对应的候选姿态估计结果；将所述候选姿态估计结果输入所述姿态冗余抑制模型去除冗余姿态，得到所述姿态估计结果。5.如权利要求1所述的课堂举手行为检测方法，其特征在于，所述人体关节点包括分别对应于头顶、颈部、左肩部、右肩部、左手肘、右手肘、左手腕、右手腕、左胯部和左胯部的关节点；所述根据所述姿态估计结果，确定待识别手部区域的步骤包括：根据所述姿态估计结果，得到对应的手肘关节点坐标和手腕关节点坐标；所述手肘关节点坐标包括左手肘关节点坐标和右手肘关节点坐标；所述手腕关节点坐标包括左手腕关节点坐标和右手腕关节点坐标；根据所述手肘关节...

【专利技术属性】
技术研发人员：张格格，陈曾平，王亮，王鲁平，刘浚乐，江伟弘，
申请(专利权)人：中山大学，
类型：发明
国别省市：