一种面向在线教育的学生人脸表情识别方法及系统技术方案

本发明专利技术公开了一种面向在线教育的学生人脸表情识别方法，包括S1.采用人工标注的学生人脸表情图像，进行人脸检测和人脸对齐校准处理，构建学生人脸表情图像数据集；S2.利用所述学生人脸表情图像数据集对预训练模型进行再训练，得到学生表情识别模型；S3.基于所述学生表情识别模型，获取学生人脸表情图像预测学生状态数据；本发明专利技术方法可以基于在线教育的系统架构实施，将对学生客户端得到人脸情绪分析结果推送至教师客户端，采用计算机视觉和大数据技术，可准确地对学生人脸表情进行判断，有效地分析出学生的心理活动和精神状态，利于教室实时掌握学生在线学习状态，进行课堂调整，提升教学质量和学生课堂积极性，适于推广。

A face expression recognition method and system for online education

【技术实现步骤摘要】
一种面向在线教育的学生人脸表情识别方法及系统
本专利技术涉及人脸表情识别
，具体而言，为一种面向在线教育的学生人脸表情识别方法及系统。
技术介绍
在在线教育领域中，基于摄像头采集的图像信息，去对学生上课时的心理活动和精神状态进行判断，可为评估教学质量和针对性的提升教学体验方法提供精准依据。人脸表情富含较大的信息量，随着计算机视觉技术的快速发展，人脸表情识别技术也成了为当前的研究热点，然而，要建立面向在线教育的实时人脸表情识别系统还有许多难点需要解决，如何有效地提取人脸表情特征以提高识别效率也是重点研究之一。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种面向在线教育的学生人脸表情识别方法及系统，通过采用计算机视觉和大数据技术，可实现实时、鲁棒的学生人脸表情识别，以利于提高在线教育领域的人脸表情识别效率。为实现上述目的，本专利技术的技术方案如下：一种面向在线教育的学生人脸表情识别方法，包括S1.采用人工标注的学生人脸表情图像，进行人脸检测和人脸对齐校准处理，构建学生人脸表情图像数据集；S2.利用所述学生人脸表情图像数据集对预训练模型进行再训练，得到学生表情识别模型；S3.基于所述学生表情识别模型，获取学生人脸表情图像预测学生状态数据。进一步的，上述的面向在线教育的学生人脸表情识别方法中，所述S1.采用人工标注的学生人脸表情图像，进行人脸检测和人脸对齐校准处理，构建学生人脸表情图像数据集，包括S11.构建学生表情图像数据集：采用人工标注的学生头像截图作为数据集样本，标注的标签包括多种表情类别；S12.图像预处理：对数据集样本图像进行预处理；S13.人脸检测：检测预处理后的图像中的人脸位置；S13.人脸关键点标注；对检测出的人脸位置进行人脸关键点标注，获得人脸关键点标注信息；S14.人脸对齐校准：根据人脸关键点标注信息进行人脸图像的对齐校准。进一步的，上述的面向在线教育的学生人脸表情识别方法中，所述S2.利用所述学生人脸表情图像数据集对预训练模型进行再训练，得到学生表情识别模型，包括S21.训练学生表情识别模型：采用大规模人脸图像数据集训练后的深度残差网络模型参数作为人脸表情识别的所述预训练模型，其中，仅使用预训练模型的卷积层参数作为训练学生表情识别模型的初始化参数，预训练模型的全连接层神经元个数设为512；使用所述学生人脸表情图像数据集从头开始训练，预训练模型最后输出层为softmax层，最后采用Softmax回归模型作为学生表情识别的分类器模型，训练得到学生表情识别模型。进一步的，上述的面向在线教育的学生人脸表情识别方法中，所述S2.利用所述学生人脸表情图像数据集对预训练模型进行再训练，得到学生表情识别模型，包括S22.判断是否满足指定的迭代次数：指定迭代次数为40个epoch；当模型的训练没有达到设定迭代次数时，继续输入图像调整模型权重超参数，如果达到设定的迭代次数则停止训练；S23.选择最佳的模型权重参数模型停止训练后，根据每个epoch的识别准确率的计算结果筛选出最佳的权重参数，并且将权重参数保存到文件中。进一步的，上述的面向在线教育的学生人脸表情识别方法中，所述S3.基于所述学生表情识别模型，获取学生人脸表情图像预测学生状态数据，包括：S31.获取关于学生表情的视频截图；S32.对获取的视频截图进行处理，获得人脸对齐校准的图像；S33.对经过人脸对齐校准的图像进行人脸表情的预测；S34.计算预测得分；S35.计算结果写入数据库。第二方面，本专利技术还提供了一种实施上述面向在线教育的学生人脸表情识别方法的装置，包括学生人脸表情识别模型学习模块和预测模块，其中执行步骤包括：S1.采用人工标注的学生人脸表情图像，进行人脸检测和人脸对齐校准处理，构建学生人脸表情图像数据集；S2.利用所述学生人脸表情图像数据集对预训练模型进行再训练，得到学生表情识别模型；预测模块执行步骤包括：S3.基于所述学生表情识别模型，获取学生人脸表情图像预测学生状态数据。第三方面，本专利技术还提供了一种包括上述装置的系统，系统还包括学生人脸表情识别任务消息队列管理模块，学生人脸表情识别任务调度模块以及学生人脸表情数据的业务集成模块，其中：学生人脸表情识别任务消息队列管理模块，用于获取学生客户端的学生人脸表情识别请求消息和学生端视频截图；学生人脸表情识别任务调度模块，用于接收所述学生人脸表情识别请求和学生端视频截图，并进行任务调度，调用所述预测模块，用来识别学生人脸表情的类别；学生人脸表情数据的业务集成模块，用于创建人脸表情识别结果数据查询请求，查询到的结果实时的反馈到当堂课程教师客户端。进一步的，上述的系统中，所述学生人脸表情识别任务消息队列管理模块的执行步骤如下：首先，令学生客户端定时截取学生的头像图片，通过HTTP请求将图片上传到阿里云对象存储服务器并生成下载地址链接；将生成的图片下载链接以及课堂相关信息写入到关系型数据库中；采用阿里云RocketMQ消息队列系统的生产者模式发布学生人脸表情识别请求消息。进一步的，上述的系统中，所述学生人脸表情识别任务调度模块的执行步骤如下：以RocketMQ消息队列系统的消费者模式，消费该课堂的学生人脸表情识别请求消息；将接收到的任务请求消息分配到各个任务执行单元；每个任务执行单元执行一个任务时的流程，包含以下几个步骤：根据任务进入消息队列的顺序初始化任务集中的各任务，并确定当前任务队列，选择队列的首个任务作为当前需要处理的任务；调用学生表情识别模型的预测模块，用来识别学生人脸表情的类别，并以处理器最高速率执行当前任务，任务的最终执行结果写入到关系型数据库中；判断当前任务是否执行完成或者当前任务的执行时间是否过期，如果结果为否，就继续等待当前任务执行完成；反之，就释放当前任务；然后，继续判断该任务是否为任务队列的结尾，如果结果为否，就在任务队列中移除该任务，并选取队列中首个未被执行的任务继续执行；反之，结束该任务执行单元的任务调度工作。进一步的，上述的系统中，所述学生人脸表情数据的业务集成模块的执行步骤如下：通过后台服务接口创建人脸表情识别结果数据查询请求；查询到的结果实时的反馈到当堂课程教师客户端中；查询的结果更新到课堂质量监督管理平台中，用于制作课堂总结报告或者生成数据统计报表。本专利技术的有益效果体现在：本专利技术方法可以基于在线教育的系统架构实施，将对学生客户端得到人脸情绪分析结果推送至教师客户端，采用计算机视觉和大数据技术，可准确地对学生人脸表情进行判断，有效地分析出学生的心理活动和精神状态；本专利技术系统基于大数据平台可实现实时、鲁棒的学生人脸表情识别，通过采用分布式异步计算系统，能够实时处理本文档来自技高网...

【技术保护点】
1.一种面向在线教育的学生人脸表情识别方法，其特征在于，包括/nS1.采用人工标注的学生人脸表情图像，进行人脸检测和人脸对齐校准处理，构建学生人脸表情图像数据集；/nS2.利用所述学生人脸表情图像数据集对预训练模型进行再训练，得到学生表情识别模型；/nS3.基于所述学生表情识别模型，获取学生人脸表情图像预测学生状态数据。/n

【技术特征摘要】
1.一种面向在线教育的学生人脸表情识别方法，其特征在于，包括
S1.采用人工标注的学生人脸表情图像，进行人脸检测和人脸对齐校准处理，构建学生人脸表情图像数据集；
S2.利用所述学生人脸表情图像数据集对预训练模型进行再训练，得到学生表情识别模型；
S3.基于所述学生表情识别模型，获取学生人脸表情图像预测学生状态数据。


2.根据权利要求1所述的面向在线教育的学生人脸表情识别方法，其特征在于，所述S1.采用人工标注的学生人脸表情图像，进行人脸检测和人脸对齐校准处理，构建学生人脸表情图像数据集，包括
S11.构建学生表情图像数据集：
采用人工标注的学生头像截图作为数据集样本，标注的标签包括多种表情类别；
S12.图像预处理：
对数据集样本图像进行预处理；
S13.人脸检测：
检测预处理后的图像中的人脸位置；
S13.人脸关键点标注；对检测出的人脸位置进行人脸关键点标注，获得人脸关键点标注信息；
S14.人脸对齐校准：
根据人脸关键点标注信息进行人脸图像的对齐校准。


3.根据权利要求2所述的面向在线教育的学生人脸表情识别方法，其特征在于，所述S2.利用所述学生人脸表情图像数据集对预训练模型进行再训练，得到学生表情识别模型，包括
S21.训练学生表情识别模型：
采用大规模人脸图像数据集训练后的深度残差网络模型参数作为人脸表情识别的所述预训练模型，其中，仅使用预训练模型的卷积层参数作为训练学生表情识别模型的初始化参数，预训练模型的全连接层神经元个数设为512；使用所述学生人脸表情图像数据集从头开始训练，预训练模型最后输出层为softmax层，最后采用Softmax回归模型作为学生表情识别的分类器模型，训练得到学生表情识别模型。


4.根据权利要求3所述的面向在线教育的学生人脸表情识别方法，其特征在于，所述S2.利用所述学生人脸表情图像数据集对预训练模型进行再训练，得到学生表情识别模型，包括
S22.判断是否满足指定的迭代次数：
指定迭代次数为40个epoch；当模型的训练没有达到设定迭代次数时，继续输入图像调整模型权重超参数，如果达到设定的迭代次数则停止训练；
S23.选择最佳的模型权重参数
模型停止训练后，根据每个epoch的识别准确率的计算结果筛选出最佳的权重参数，并且将权重参数保存到文件中。


5.根据权利要求4所述的面向在线教育的学生人脸表情识别方法，其特征在于，所述S3.基于所述学生表情识别模型，获取学生人脸表情图像预测学生状态数据，包括：
S31.获取关于学生表情的视频截图；
S32.对获取的视频截图进行处理，获得人脸对齐校准的图像；
S33.对经过人脸对齐校准的图像进行人脸表情的预测；
S34.计算预测得分；
S35.计算结果写入数据库。


6.一种实施上述权利要求1-5任一项所述的面向在线教育的学生...

【专利技术属性】
技术研发人员：王鑫琛，张鹏，王添翼，姚璐，郑伟华，黄浩，
申请(专利权)人：上海掌学教育科技有限公司，
类型：发明
国别省市：上海;31