一种基于卷积神经网络的学生课堂行为识别方法技术

本发明专利技术公开了一种基于卷积神经网络的学生课堂行为识别方法，包括步骤：(1)、收集图片数据，制成自己的数据库；(2)、将步骤(1)中收集到的数据库，送入基于卷积神经网络的行为识别网络中进行一系列的训练，得到预训练模型。(3)、利用得到的预训练模型对学生课堂视频进行检测，检测学生的行为，并生成相应的包围框以及对应的行为名称。该方法可以很好地识别教学领域的学生课堂行为：举手、听讲、睡觉、回答、写字五类行为，并且能够更加有效、并且有针对性地帮助教师了解到课堂中学生上课的情况,并根据这种对学生课堂行为识别方法对学生的上课情况做出有效的评估。

A method of classroom behavior recognition based on convolutional neural network

【技术实现步骤摘要】
一种基于卷积神经网络的学生课堂行为识别方法
本专利技术涉及行为识别领域，特别是涉及一种基于卷积神经网络的教学领域的学生课堂行为识别方法。
技术介绍
虽然深度学习技术的应用与相关研究越来越多,但是在课堂教学分析领域,通过文献检索发现,目前结合深度学习技术的应用研究较少,缺乏有代表性的解决方案,但这并不意味着无法在课堂教学领域引入深度学习技术。事实上,在当前日益发展的信息化教学环境中,课堂教学视频录像作为记录课堂教学过程的载体,己经成为课堂教学研宄的热门研宄对象,因为它能全面完整地记录真实的教学活动。而通过对课堂教学过程进行观察发现,分析工作的主要环节是对学生行为的识别,而行为识别正是深度学习的主要应用领域之一。常用的经典分析系统主要有S-T教学分析法、弗兰德斯互动分析方法(FIAS)、国际数学与科学趋势研究方法(TIMSS)、基于信息技术的互动分析系统(ITIAS)等。但是通过对目前各种分析系统的分析过程进行进一步了解即可发现,大部分研究过程都存在的共同的不足和问题是:标记操作逻辑复杂、容易产生误操作，手工标注效率较低。专本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的学生课堂行为识别方法，其特征在于，该方法包括以下步骤：/n步骤(1)、收集图片数据，制成数据库，图片要求为不同课堂环境下学生的上课图片；/n步骤(2)、将步骤(1)中获得的数据库，送入基于卷积神经网络的行为识别网络中进行训练，得到预训练模型；/n步骤(3)、利用得到的预训练模型对学生课堂视频进行检测，检测学生的行为属于举手、听讲、睡觉、回答、写字五类行为中的哪一类，并生成相应的边框以及对应的行为名称。/n

【技术特征摘要】
1.一种基于卷积神经网络的学生课堂行为识别方法，其特征在于，该方法包括以下步骤：
步骤(1)、收集图片数据，制成数据库，图片要求为不同课堂环境下学生的上课图片；
步骤(2)、将步骤(1)中获得的数据库，送入基于卷积神经网络的行为识别网络中进行训练，得到预训练模型；
步骤(3)、利用得到的预训练模型对学生课堂视频进行检测，检测学生的行为属于举手、听讲、睡觉、回答、写字五类行为中的哪一类，并生成相应的边框以及对应的行为名称。


2.根据权利要求1所述基于卷积神经网络的学生课堂行为识别方法，其特征在于，步骤(1)中所述数据库的建立流程具体包括以下步骤：
步骤(101)、获得多个学生在教室里上课的视频文件，视频分辨率至少为1280×720，并且视频背景为不同的教室，学生人数在十五人以上；
步骤(102)、提取步骤(101)视频中的关键帧图像，并进行存储；
步骤(103)、将步骤(102)中的图像通过图片标注软件LableImage进行手动标识，标出相应行为的边框以及标签，得到XML文件；
步骤(104)、将步骤(103)得到的XML文...

【专利技术属性】
技术研发人员：乔婷，苏寒松，刘高华，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12