一种用于智慧教室的学生行为分析和识别系统技术方案

本发明专利技术涉及智慧教学领域，具体涉及一种用于智慧教室的学生行为分析和识别系统，包括：坐标及姿态捕捉模块，获取每个学生的位置坐标，并捕捉每个学生的面部朝向姿态和手部动作姿态；注意力点计算模块，获取学生的面部朝向姿态，通过面部朝向姿态对学生的课堂注意力点进行计算；行为识别模块，获取学生的注意力点和手部动作姿态，通过学生的课堂注意力点和手部动作姿态识别学生的课堂行为；行为对比模块，获取每个学生的课堂行为，并与其邻近学生的课堂行为进行对比，判断每个学生的课堂状态；结果反馈模块，用于反馈学生的课堂状态，并实时反馈给教师。本发明专利技术解决了现有技术对学生课堂状态识别和判断不准确的问题。

【技术实现步骤摘要】
一种用于智慧教室的学生行为分析和识别系统
本专利技术涉及智慧教学领域，具体涉及一种用于智慧教室的学生行为分析和识别系统。
技术介绍
智慧教室是数字教室和未来教室的一种形式，用于教育信息化2.0时代的教室信息化环境建设，通过各种教学功能APP的加载配合云上的内容、应用、数据平台，满足当下各类教学场景应用，无论是只使用一般多媒体功能的传统课堂形态，还是各类创新课堂模式，都能在同一环境下展开，智慧教室运用现代化手段切入整个教学过程，让课堂变得简单、高效、智能，有助于开发学生自主思考与学习的能力。现有教学系统中，对于教学行为的观察、分析手段大多停留在传统的问卷调查或案例等人工分析的基础上，其评价结果较为主观，且需要经过较长时间的统计分析，不能实时反馈以改善教学方式。学生的课堂状态按注意力区分可分为注意力集中和注意力不集中，如果授课教师能够在课堂上实时了解学生的课堂状态，便能及时调整教学方式，势必能有效提高教学效果。为此，公开号为CN104517102B的中国专利公开了一种学生课堂注意力检测方法及系统，包括：采集教室内场景图像；定位人脸并计算人脸朝向姿态；将人脸在图像中的二维位置换算为其在教室内坐高基准平面的二维位置，并加入学生坐高先验值得到人脸在教室内的三维空间位置；结合人脸三维空间位置和人脸朝向姿态计算学生在教学展示面板上的注意力点。该方案通过图像处理与模式识别获知学生的人脸朝向姿态，结合人脸在教室内的三维空间位置和人脸朝向姿态计算学生的注意力点，从而判断学生的课堂状态。上述方案通过简单的人脸朝向来计算注意力点，从而判断学生的课堂状态，往往会存在以下问题：1、某学生上课在睡觉，睡觉时面部朝向教学展示面板，而此时教师在做实验演示，邻近的学生都面朝教师观看实验。睡觉的学生因面朝教学展示面板，其课堂状态会被判断为注意力集中。2、遇到重要的教学内容时需要记笔记，记笔记时学生的面部都朝向桌面，此时某学生望着教学展示面板发呆并没有记笔记，由于面朝教学展示面板，发呆学生的课堂状态会被判断为注意力集中，而认真记笔记的学生的课堂状态却会被判断为注意力不集中。综上所述，现有的学生课堂注意力检测系统对学生课堂状态的识别和判断不准确。
技术实现思路
本专利技术的目的在于提供一种用于智慧教室的学生行为分析和识别系统，能判断学生的课堂行为，并与邻近学生的课堂行为进行对比，实现对学生课堂状态的准确识别和判断，解决了现有技术对学生课堂状态识别和判断不准确的问题。本专利技术提供的基础方案为：一种用于智慧教室的学生行为分析和识别系统，包括：坐标及姿态捕捉模块，用于捕捉学生的坐标和姿态，获取每个学生的位置坐标，并捕捉每个学生的面部朝向姿态和手部动作姿态；注意力点计算模块，用于计算学生的注意力点，获取学生的面部朝向姿态，通过面部朝向姿态对学生的课堂注意力点进行计算，计算时会将学生的面部朝向姿态与学生的位置坐标相结合，对学生的课堂注意力点进行修正；行为识别模块，用于识别学生的课堂行为，获取学生的注意力点和手部动作姿态，通过学生的课堂注意力点和手部动作姿态识别学生的课堂行为；行为对比模块，用于获取学生的课堂状态，实时获取每个学生的课堂行为，将每个学生的课堂行为与其邻近学生的课堂行为进行对比，通过课堂行为对比的结果来判断每个学生的课堂状态，学生的课堂状态包括注意力集中和注意力不集中；结果反馈模块，用于反馈学生的课堂状态，获取所有学生的课堂状态，并实时反馈给教师。本专利技术的有益效果：1、因为处于教室不同位置的学生，其面部朝向方位角度等会有所偏差；本专利技术中的注意力点判断模块在对学生的课堂注意力点进行判断时，能结合学生的位置坐标对学生的课堂注意力点进行修正，与现有技术中直接通过面部朝向来计算学生的课堂注意力点相比，本专利技术判断学生的注意力点时能减小因为位置差异而产生的误差。2、本专利技术中，行为识别模块识别学生的课堂行为时，将学生课堂的注意力点与手部动作姿态结合，与现有技术中单一的通过注意力点识别相比，本专利技术结合手部动作姿的识别方式能增加对举手、记笔记等课堂行为的识别，对学生课堂行为的识别会更全面、更准确。3、本专利技术中，判断学生的课堂状态时，会将每个学生的课堂行为与邻近学生的课堂行为进行对比，与现有技术中基于单个学生的行为进行判断课堂状态相比，本专利技术通过课堂行为对比的方式能消除误差因素，对学生的课堂状态判断会更准确。进一步，还包括：单独提醒模块，用于提醒课堂注意力集中的学生，获取到所有学生的课堂状态后，向注意力不集中的学生发送提醒信号，单独提醒该学生。有益效果：对于注意力不集中的学生进行单独提醒，与教师在课堂上直接提醒相比，一方面能保证课堂的连续性，不会因为提醒学生的中断课堂；另一方面单独提醒能保护学生的自尊心和隐私。进一步，还包括：人脸图像获取模块，用于获取学生的人脸图像，通过拍摄学生的面部影像获取学生的人脸图像；身份识别模块，用于在所述人脸图像中通过人脸识别获取学生身份，并结合坐标及姿态捕捉模块获的位置坐标，生成学生名单。有益效果：通过对学生的身份进行识别，让教师直观的得到每个学生对应的课堂状态的名单，就能根据学生的课堂状态选择性的对学生进行额外辅导。进一步，身份识别模块包括：初步身份识别模块，用于在场景图像中提取定位学生的服装特征，在人员名单中通过服装特征匹配初步确定候选名单；精确身份识别模块，用于在候选名单中通过人脸识别精确确定学生身份。有益效果：通过初步身份识别模块和精确身份识别模块，能更准确地识别学生的身份。进一步，还包括：教学质量评估模块，用于评估教师的教学质量，采集计算所有学生的课堂状态，通过计算结果对教师的教学质量进行评级。有益效果：通过对教师的教学质量的评级，教师能更直观的看到自己的教学质量和效果，有助于教师及时调整教学方式，有利于教师提升教学质量。进一步，教学质量评估模块对教师教学质量评级的具体过程为：学生的课堂状态为注意力不集中的学生的比例低于5％时，教学质量评为A级；学生的课堂状态为注意力不集中的学生的比例在5％～20％之间时，教学质量评为B级；学生的课堂状态为注意力不集中的学生的比例在20％～30％之间时，教学质量评为C级；学生的课堂状态为注意力不集中的学生的比例高于30％时，教学质量评为D级。有益效果：采用这种评级方式能更直观的体现教师的教学质量。附图说明图1为本专利技术实施例中用于智慧教室的学生行为分析和识别系统的结构示意图；图2为本专利技术实施例中行为识别及判断终端的模块示意图。具体实施方式下面通过具体实施方式进一步详细的说明：如图1所示：用于智慧教室的学生行为分析和识别系统，包括显示终端、视频终端、行为识别及判断终端和智慧终端，显示终端、视频终端以及行为识别及判断终端均通过网络与智慧终端连接。一、视频及显示终端，包括：无线通信模块，用于连接网络，通过网络连接视频终端、行为分析终端、智慧终端以及移动设备(例如手机、平板电脑等)；无线蓝牙模块，用于连接音频设备以及移动设备(例如手机、平板电脑等)；音频模块，用于展示或播放移动设备(例如手机、平板电脑等)和云端资源上的音频教学内容；教学展示面板，用于展示或播放移动设备(例如手机、平板电脑等)和云端资源上的视频教学内容；视频采集模块，用于采集整个教室的视频信号，能进行全景视频监控，也能进行局部视频特本文档来自技高网...

【技术保护点】
1.一种用于智慧教室的学生行为分析和识别系统，其特征在于：包括：坐标及姿态捕捉模块，用于捕捉学生的坐标和姿态，获取每个学生的位置坐标，并捕捉每个学生的面部朝向姿态和手部动作姿态；注意力点计算模块，用于计算学生的注意力点，获取学生的面部朝向姿态，通过面部朝向姿态对学生的课堂注意力点进行计算，计算时会将学生的面部朝向姿态与学生的位置坐标相结合，对学生的课堂注意力点进行修正；行为识别模块，用于识别学生的课堂行为，获取学生的注意力点和手部动作姿态，通过学生的课堂注意力点和手部动作姿态识别学生的课堂行为；行为对比模块，用于获取学生的课堂状态，实时获取每个学生的课堂行为，将每个学生的课堂行为与其邻近学生的课堂行为进行对比，通过课堂行为对比的结果来判断每个学生的课堂状态，学生的课堂状态包括注意力集中和注意力不集中；结果反馈模块，用于反馈学生的课堂状态，获取所有学生的课堂状态，并实时反馈给教师。

【技术特征摘要】
1.一种用于智慧教室的学生行为分析和识别系统，其特征在于：包括：坐标及姿态捕捉模块，用于捕捉学生的坐标和姿态，获取每个学生的位置坐标，并捕捉每个学生的面部朝向姿态和手部动作姿态；注意力点计算模块，用于计算学生的注意力点，获取学生的面部朝向姿态，通过面部朝向姿态对学生的课堂注意力点进行计算，计算时会将学生的面部朝向姿态与学生的位置坐标相结合，对学生的课堂注意力点进行修正；行为识别模块，用于识别学生的课堂行为，获取学生的注意力点和手部动作姿态，通过学生的课堂注意力点和手部动作姿态识别学生的课堂行为；行为对比模块，用于获取学生的课堂状态，实时获取每个学生的课堂行为，将每个学生的课堂行为与其邻近学生的课堂行为进行对比，通过课堂行为对比的结果来判断每个学生的课堂状态，学生的课堂状态包括注意力集中和注意力不集中；结果反馈模块，用于反馈学生的课堂状态，获取所有学生的课堂状态，并实时反馈给教师。2.根据权利要求1所述的一种用于智慧教室的学生行为分析和识别系统，其特征在于：还包括：单独提醒模块，用于提醒课堂注意力不集中的学生，获取到所有学生的课堂状态后，向注意力不集中的学生发送提醒信号，单独提醒学生。3.根据权利要求2所述的一种用于智慧教室的学生行为分析和识别系统，其特征在于：还包括：人脸...

【专利技术属性】
技术研发人员：吴德佳，叶婉娜，吴德伟，林云娟，
申请(专利权)人：广东精标科技股份有限公司，
类型：发明
国别省市：广东,44