一种智慧课堂交互系统技术方案

本发明专利技术提出了一种智慧课堂交互系统，其特征在于，包括：图像采集模块，利用多个摄像机获取包含所有学生的至少教室内的图像；学生识别模块，对所述图像采集模块获得的图像进行学生检测及识别；个体学习状态分析模块，利用识别结果分析每个所述学生对当前知识点的个体学习效果，所述个体学习效果以分值的形式表示；班级整体学习状态分析模块，利用所述个体学习状态分析模块得到的结果进行综合分析，获得整个班级的整体学习效果，所述整体学习效果以分值的形式表示；效果反馈显示模块，利用显示屏对所述个体学习状态分析模块的结果和所述班级整体学习状态分析模块的结果进行反馈显示，动态调整授课效果。

A smart classroom interaction system

【技术实现步骤摘要】
一种智慧课堂交互系统
本专利技术提出了一种智慧课堂交互系统，所涉及的技术包括人脸识别、状态识别、表情识别、定位检测、网络交互等

技术介绍
目前在教学实践中，教师往往通过询问方式或考试检验方式查看教学效果，然而，通过口头询问的方式未必能得到学生反馈的准确信息，而通过考试检验的方式则对教室而言工作量较大，涉及批改以及信息统计分析等处理步骤，而且具有滞后性，难以实时得到课堂上的教学效果。随着计算机视觉技术的发展，很多学校的教室中引入摄像头，用于家长随时通过手机终端或个人PC查看自己孩子在学校的情况，例如在教室的学习情况、在室外的运动状态等等。但是家长看到的是一个教室整体或运动场地整体的画面，家长难以准确定位到视角内的孩子，特别是在运动场，学生众多，而且处于运动状态，更加难以定位到自己的孩子。作为家长来讲，其更关心的是自己孩子的学习状态或运动状态，因此目前的访问系统无法满足这个需求。本专利技术至少能解决以下技术问题：1.本专利技术提出利用在学校多个场地中安装的摄像头，通过人脸识别技术实时识别出每个学生，进而通定位检测及识别技术分析每个学生的上课状态，根据其表情及状态等信息对授课知识点的学习情况进行分析，实时反馈给教师，教师则利用系统分析的数据，调整对知识点的讲授。2.本专利技术还能帮助家长聚焦到自己孩子身上，所提供的电子装置能够自动检测并识别自己的孩子，通过切换及放大指令，直接关注自己孩子的学习或运动状态。本专利技术的创新主要体现在：1.提出了利用计算机识别技术，促进教学效果不断提升的原创性专利技术，利用图像采集模块采集图像，利用学生识别模块实现对学生的人脸识别、表情识别、状态识别，利用个体学习状态分析模块分析每个所述学生对当前知识点的个体学习效果；利用班级整体学习状态分析模块获得整个班级的整体学习效果，利用效果反馈显示模块动态调整授课效果。2.自动检测学生位置的检测过程，利用所提出的检测函数能实现对目标对象的自动检测，进而分割出想要进行识别的学生对象。3.提出了一种个体学习状态分析模型，利用MASK-RCNN人脸识别模型与表情识别模型及状态识别模型进行级联，分析个体学习状态，利用所提出的损失函数不断提升识别精度。4.采用了SPSS神经网络模型作为表情识别模型，并提出了池化层的池化方法如下：Se＝f(elogw+φ(Je))上述方法能够提升系统的运算效能，提高实时处理及显示效果。
技术实现思路
本专利技术的目的是提供一种智慧课堂交互系统，其特征在于，包括：图像采集模块，利用多个摄像机获取包含所有学生的至少教室内的图像；学生识别模块，对所述图像采集模块获得的图像进行学生定位检测，以矩形框的形式定位出所检测到的多个学生，对检测到的所述学生进行人脸识别、表情识别、状态识别；个体学习状态分析模块，利用人脸识别的结果得到学生的学号及姓名信息，并进一步基于所述表情识别及状态识别的结果分析每个所述学生对当前知识点的个体学习效果，所述个体学习效果以分值的形式表示；班级整体学习状态分析模块，利用所述个体学习状态分析模块得到的结果进行综合分析，获得整个班级的整体学习效果，所述整体学习效果以分值的形式表示；效果反馈显示模块，利用显示屏对所述个体学习状态分析模块的结果和所述班级整体学习状态分析模块的结果进行反馈显示，引导教师对当前所讲解的知识点进行加速、减速、重新讲解或借助于增强现实技术进行讲解，动态调整授课效果。本专利技术还提出了一种电子终端，电子终端能够通过APP远程访问所述智慧课堂交互系统，所述APP能够根据家长注册的账号自动检测自己的孩子，并通过放大指令对原始获得的低分辨率图像进行高清放大，观看自己孩子在课堂或校园其它场所(例如运动场所)的表现，所述放大指令通过图像放大算法得到不失真的高清图像。本专利技术还提出一种程序介质，所述程序介质存储有计算机程序，所述计算机程序实现以下功能：图像采集模块，利用多个摄像机获取包含所有学生的至少教室内的图像；学生识别模块，对所述图像采集模块获得的图像进行学生定位检测，以矩形框的形式定位出所检测到的多个学生，对检测到的所述学生进行人脸识别、表情识别、状态识别；个体学习状态分析模块，利用人脸识别的结果得到学生的学号及姓名信息，并进一步基于所述表情识别及状态识别的结果分析每个所述学生对当前知识点的个体学习效果，所述个体学习效果以分值的形式表示；班级整体学习状态分析模块，利用所述个体学习状态分析模块得到的结果进行综合分析，获得整个班级的整体学习效果，所述整体学习效果以分值的形式表示；效果反馈显示模块，利用显示屏对所述个体学习状态分析模块的结果和所述班级整体学习状态分析模块的结果进行反馈显示，引导教师对当前所讲解的知识点进行加速、减速、重新讲解或借助于增强现实技术进行讲解，动态调整授课效果。本专利技术的有益效果是：能够基于本专利技术采用的识别技术完成学生的定位检测，分析学生个体以及学生全体的学习效果，从而动态调整讲课方式。本专利技术能够实现对学生的高精度检测及识别，并具有极高的实时运算性能，方便APP实时访问。附图说明图1是一种智慧课堂交互系统功能示意图；图2是个体学习状态分析模块结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更佳清楚明了，以下结合附图及实施例，对本专利技术进行进一步详细说明。如图1所述，本专利技术提出了一种智慧课堂交互系统，其特征在于，包括：图像采集模块，利用多个摄像机获取包含所有学生的至少教室内的图像；学生识别模块，对所述图像采集模块获得的图像进行学生定位检测，以矩形框的形式定位出所检测到的多个学生，对检测到的所述学生进行人脸识别、表情识别、状态识别；个体学习状态分析模块，利用人脸识别的结果得到学生的学号及姓名信息，并进一步基于所述表情识别及状态识别的结果分析每个所述学生对当前知识点的个体学习效果，所述个体学习效果以分值的形式表示；班级整体学习状态分析模块，利用所述个体学习状态分析模块得到的结果进行综合分析，获得整个班级的整体学习效果，所述整体学习效果以分值的形式表示；效果反馈显示模块，利用显示屏对所述个体学习状态分析模块的结果和所述班级整体学习状态分析模块的结果进行反馈显示，引导教师对当前所讲解的知识点进行加速、减速、重新讲解或借助于增强现实技术进行讲解，动态调整授课效果。优选的，所述人脸识别是由基于MASK-RCNN的人脸识别模型得到的，所述MASK-RCNN模型包括：卷积层、RPN网络层、RoIAligh层以及输出层；所述卷积层对输入的图像进行卷积操作，采用5*5的卷积核，所述RPN网络层用于进行候选区域的筛选；所述RoIAligh层对候选出的ROI提取指定大小的特征图；对所述特征图进行识别输出，并将输出结果映射到对应的学号及姓名信息。优选的，所述人脸识别是由基于MASK-RCNN的人脸识别模型得到的，所述MAS本文档来自技高网...

【技术保护点】
1.一种智慧课堂交互系统，其特征在于，包括：/n图像采集模块，利用多个摄像机获取包含所有学生的至少教室内的图像；/n学生识别模块，对所述图像采集模块获得的图像进行学生定位检测，以矩形框的形式定位出所检测到的多个学生，对检测到的所述学生进行人脸识别、表情识别、状态识别；/n个体学习状态分析模块，利用人脸识别的结果得到学生的学号及姓名信息，并进一步基于所述表情识别及状态识别的结果分析每个所述学生对当前知识点的个体学习效果，所述个体学习效果以分值的形式表示；/n班级整体学习状态分析模块，利用所述个体学习状态分析模块得到的结果进行综合分析，获得整个班级的整体学习效果，所述整体学习效果以分值的形式表示；/n效果反馈显示模块，利用显示屏对所述个体学习状态分析模块的结果和所述班级整体学习状态分析模块的结果进行反馈显示，引导教师对当前所讲解的知识点进行加速、减速、重新讲解或借助于增强现实技术进行讲解，动态调整授课效果。/n

【技术特征摘要】
1.一种智慧课堂交互系统，其特征在于，包括：
图像采集模块，利用多个摄像机获取包含所有学生的至少教室内的图像；
学生识别模块，对所述图像采集模块获得的图像进行学生定位检测，以矩形框的形式定位出所检测到的多个学生，对检测到的所述学生进行人脸识别、表情识别、状态识别；
个体学习状态分析模块，利用人脸识别的结果得到学生的学号及姓名信息，并进一步基于所述表情识别及状态识别的结果分析每个所述学生对当前知识点的个体学习效果，所述个体学习效果以分值的形式表示；
班级整体学习状态分析模块，利用所述个体学习状态分析模块得到的结果进行综合分析，获得整个班级的整体学习效果，所述整体学习效果以分值的形式表示；
效果反馈显示模块，利用显示屏对所述个体学习状态分析模块的结果和所述班级整体学习状态分析模块的结果进行反馈显示，引导教师对当前所讲解的知识点进行加速、减速、重新讲解或借助于增强现实技术进行讲解，动态调整授课效果。


2.根据权利要求1所述的智慧课堂交互系统，所述人脸识别是由基于MASK-RCNN的人脸识别模型得到的，所述MASK-RCNN模型包括：卷积层、RPN网络层、RoIAligh层以及输出层；所述卷积层对输入的图像进行卷积操作，采用5*5的卷积核，所述RPN网络层用于进行候选区域的筛选；所述RoIAligh层对候选出的ROI提取指定大小的特征图；对所述特征图进行识别输出，并将输出结果映射到对应的学号及姓名信息。


3.根据权利要求2所述的智慧课堂交互系统，所述MASK-RCNN模型中利用损失函数不断提升识别精度，所述损失函数为：

式中其中N为训练样本数量；θyi,i为样本xi与其对应标签yi的权重夹角，θj,i为样本xi与输出节点j处的权重夹角，m为预设参数，2≤m≤5；k＝abs(sign(cosθj,i))。


4.根据权利要求1所述的智慧课堂交互系统，所述个体学习状态分析模块是通过个体学习状态模型得到的，所述个体学习状态模型由人脸识别模型、表情识别模型、状态识别模型进行级联，所形成多级密集神经网络；所述表情识别模型直接级联于人脸识别模型；所述状态识别模型直接级联于人脸识别模型，同时从图像采集模...

【专利技术属性】
技术研发人员：陈海龙，
申请(专利权)人：智慧校园广东教育科技有限公司，
类型：发明
国别省市：广东;44