一种基于计算机视觉的课堂学生行为识别的方法技术

本发明专利技术公开了一种基于计算机视觉的课堂学生行为识别的方法。本发明专利技术采用人体关键点检测算法和目标检测算法，对学生行为分两阶段进行识别。首先，基于人体关键点判断人体姿态，其次，通过手部和物体的交互判断手部动作，完成对正坐听课、举手、侧身及低头四种行为和拿手机、记笔记两种手部行为的识别。本发明专利技术可实现对玩手机和书写行为的实时检测。对玩手机和书写行为的实时检测。对玩手机和书写行为的实时检测。

【技术实现步骤摘要】
一种基于计算机视觉的课堂学生行为识别的方法


[0001]本专利技术涉及使用计算机视觉技术对课堂学生行为识别领域，尤其是一种基于计算机视觉的课堂学生行为的识别方法。

技术介绍

[0002]课堂是教育的关键，这里往往决定着教学质量的优劣和学生素质的培养。关注课堂中学生的学习行为、课堂表现是教学评价体系中的一个重要的建立依据。传统的学生课堂行为评价是以人工观察记录实现，这显然是耗时耗力的。在人工智能蓬勃发展的今天，越来越多的人工智能技术被用于课堂中学生行为的识别。
[0003]人体行为可按照复杂程度分为4类，分别是姿态、个体动作、交互动作和团体活动。姿态是人体基础部分的移动，如举手、站立的行为复杂程度最低。个体动作是多个姿态的组合，如跑步、跳高等行为。交互动作包括人和人之间以及人和物体之间，如玩手机、握手等。团体活动是指在一个场景中包含多个人和多个物体的活动，如会议室开会、马拉松比赛等。课堂场景下学生的行为不仅包括与姿态有关的基础动作，例如举手，侧身，低头等，也涵盖了人与物体之间的交互动作，例如写字，玩手机等。
[0004]基于视觉的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的课堂学生行为识别的方法，包括如下步骤：步骤一：提取人体关键点作为姿态信息，将人体关键点姿态信息输入CNN网络，识别出：正坐听课、举手、侧身及低头四种行为；步骤二：使用YOLO v3目标检测的压缩模型，对课堂场景下学生手部区域进行目标检测；步骤三：将低头同学的手部区域信息与姿态信息融合后，输入CNN网络进行训练，从而识别学生的手部行为。2.如权利要求1所述的基于计算机视觉的课堂学生行为识别的方法，其特征在于，步骤一中提取人体关键点时，使用OpenPose算法，利用Part affinity fields人体亲和力场，实现同场景下多人人体关键点检测；OpenPose算法的输入为每个人的图片，输出为人体关键点。3.如权利要求1所述的基于计算机视觉的课堂学生行为识别的方法，其特征在于，步骤二中使用YOLO v3目标检测的压缩模型对课堂场景下学生手部区域进行目标检测时,课堂中的人物图像输入所述压缩模型，检测当前区域的对象；得到的预测区域包含四个坐标参数：左上角的横纵坐标、宽度和高度以及置信度；置信度决定是否属于某个类别，如果大于某阈值，则判定为某分类。4.如权利要求1中所述的基于计算机视觉的课堂学生行为识别的方法，其特征在于，步骤二所述YOlO v3目标检测的压缩模型，其压缩过程为：首先对普通的Y...

【专利技术属性】
技术研发人员：沈超敏，赵春，彭亚新，张桂戌，陈杰，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：