本发明专利技术提供一种面向课堂教学的分布式表情识别方法及系统，属于人脸识别技术领域，面向课堂教学的分布式表情识别方法包括：首先采集课堂教学时的教学图像，然后对教学图像进行人脸检测，得到多张听课学生的人脸图像，再将各人脸图像传入集群分布式文件管理单元中，通过集群分布式文件管理单元上的多个特征提取网络，对各人脸图像进行并行化的特征提取，得到各听课学生的表情特征，最后根据每一听课学生的表情特征，确定在课堂教学时听课学生的表情类别。采用集群分布式文件管理单元的并行化特征提取的方式，对单机的服务器性能要求低，降低了部署成本，提高了响应速率，进而提高了课堂表情识别的实时性及识别效率。课堂表情识别的实时性及识别效率。课堂表情识别的实时性及识别效率。
【技术实现步骤摘要】
一种面向课堂教学的分布式表情识别方法及系统
[0001]本专利技术涉及人脸识别
，特别是涉及一种面向课堂教学的分布式表情识别方法及系统。
技术介绍
[0002]面部表情是人类向外界表达情感和意图的重要标志。近几年来，面部表情识别技术受到了越来越多的关注，成为了情感计算和人机交互、智能化领域的研究热点。早在20世纪，Ekman和Friesen就在跨越文化的研究中发现人类感知某种基本情感的方式是相同的，这种方式不受文化的影响，因此定义了六种基本情感，它们包括：愤怒、厌恶、害怕、高兴、沮丧、和惊讶。
[0003]FER(Facial ExpressionRecognition，面部表情识别)技术是人脸识别技术的一个分支，随着人工智能技术的发展，表情识别技术可通过在静态图像或动态视频序列中分离出特定的表情状态，确定被识别对象的心理情绪。
[0004]现有的面部表情识别方法研究通常面向面向实验室下受控环境下的少数人群，导致大多表情识别方法只适用于小数据量、单一对象的场景。而在针对面向课堂教学时同时分析多个学生听课情绪的场景中，尤其是当采集学生听课图片或视频数据量增大时，单机处理这些数据无论在计算效率或者处理能力上都无法快速完成，严重影响识别的实时性。
[0005]基于上述问题，亟需一种新的识别方法以提高人脸表情识别的实时性。
技术实现思路
[0006]本专利技术的目的是提供一种面向课堂教学的分布式表情识别方法及系统，可提高课堂表情识别的实时性及识别效率。
[0007]为实现上述目的，本专利技术提供了如下方案：
[0008]一种面向课堂教学的分布式表情识别方法，所述面向课堂教学的分布式表情识别方法包括：
[0009]采集课堂教学时的教学图像；
[0010]对所述教学图像进行人脸检测，得到多张听课学生的人脸图像；
[0011]将各人脸图像传入集群分布式文件管理单元；所述集群分布式文件管理单元上部署有多个特征提取网络，所述特征提取网络为预先采用历史人脸图像及对应的历史表情特征对VGG
‑
16深度神经网络进行迭代训练建立的模型；
[0012]通过所述集群分布式文件管理单元上的特征提取网络，对各人脸图像进行并行化的特征提取，得到各听课学生的表情特征；
[0013]根据每一听课学生的表情特征，确定在课堂教学时所述听课学生的表情类别。
[0014]可选地，所述对所述教学图像进行人脸检测，得到多张听课学生的人脸图像，具体包括：
[0015]采用Haar
‑
like特征提取算法提取所述教学图像中的Haar特征；
[0016]根据所述Haar特征，确定所述教学图像中的多张初始人脸图像；
[0017]对各初始人脸图像进行灰度归一化和尺寸归一化处理，得到对应的听课学生的人脸图像。
[0018]可选地，所述集群分布式文件管理单元包括一个主节点服务器和多个从节点服务器；各从节点服务器上均部署有特征提取网络；
[0019]所述通过集群分布式文件管理单元上的特征提取网络，对各人脸图像进行并行化的特征提取，得到各听课学生的表情特征，具体包括：
[0020]通过所述主节点服务器根据各从节点服务器的负载情况，将各人脸图像分配至各从节点服务器上；
[0021]通过各从节点服务器上的特征提取网络，同时对人脸图像进行特征提取；
[0022]通过所述主节点服务器将各从节点服务器提取的特征进行汇总，得到各听课学生的表情特征。
[0023]可选地，所述根据每一听课学生的表情特征，确定在课堂教学时所述听课学生的表情类别，具体包括：
[0024]采用soft
‑
max分类器对每一听课学生的表情特征进行分类，得到在课堂教学时所述听课学生的表情类别；所述表情类别包括：开心、惊讶、害怕、生气、伤心、厌恶、中性。
[0025]可选地，所述面向课堂教学的分布式表情识别方法还包括：
[0026]针对课堂教学过程中的任一时刻，根据当前时刻各听课学生的表情类别，确定各听课学生在当前时刻的专注等级；
[0027]将当前时刻的混淆矩阵及对应的权值相乘，得到当前时刻听课学生的专注度；
[0028]将每一时刻的专注度相加，得到整节课堂教学中听课学生的专注度。
[0029]为实现上述目的，本专利技术还提供了如下方案：
[0030]一种面向课堂教学的分布式表情识别系统，所述面向课堂教学的分布式表情识别系统包括：
[0031]图像采集单元，用于采集课堂教学时的教学图像；
[0032]人脸检测单元，与所述图像采集单元连接，用于对所述教学图像进行人脸检测，得到多张听课学生的人脸图像；
[0033]集群分布式文件管理单元，与所述人脸检测单元连接，用于对各人脸图像进行并行化的特征提取，得到各听课学生的表情特征；所述集群分布式文件管理单元上部署有多个特征提取网络，所述特征提取网络为预先采用历史人脸图像及对应的历史表情特征对VGG
‑
16深度神经网络进行迭代训练建立的模型；
[0034]分类单元，与所述集群分布式文件管理单元连接，用于根据每一听课学生的表情特征，确定在课堂教学时所述听课学生的表情类别。
[0035]可选地，所述人脸检测单元包括：
[0036]特征提取模块，与所述图像采集单元连接，用于采用Haar
‑
like特征提取算法提取所述教学图像中的Haar特征；
[0037]初始人脸确定模块，与所述特征提取模块连接，用于根据所述Haar特征，确定所述教学图像中的多张初始人脸图像；
[0038]归一化模块，与所述初始人脸确定模块连接，用于对各初始人脸图像进行灰度归
一化和尺寸归一化处理，得到对应的听课学生的人脸图像。
[0039]可选地，所述集群分布式文件管理单元包括一个主节点服务器和多个从节点服务器；各从节点服务器上均部署有特征提取网络；
[0040]所述主节点服务器分别与各从节点服务器及所述人脸检测单元连接；
[0041]所述主节点服务器用于根据各从节点服务器的负载情况，将各人脸图像分配至各从节点服务器上；
[0042]所述从节点服务器用于采用特征提取网络，对人脸图像进行特征提取；
[0043]所述主节点服务器还用于将各从节点服务器提取的特征进行汇总，得到各听课学生的表情特征。
[0044]可选地，所述面向课堂教学的分布式表情识别系统还包括：
[0045]专注等级确定单元，与所述分类单元连接，用于针对课堂教学过程中的任一时刻，根据当前时刻各听课学生的表情类别，确定各听课学生在当前时刻的专注等级；
[0046]混淆矩阵确定单元，与所述专注等级确定单元连接，用于根据各听课学生在当前时刻的专注等级，确定当前时刻的混淆矩阵及对应的权值；
[0047]当前时刻专注度确定单元，与所述混淆矩阵确定单元连接，用于本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向课堂教学的分布式表情识别方法，其特征在于，所述面向课堂教学的分布式表情识别方法包括：采集课堂教学时的教学图像；对所述教学图像进行人脸检测，得到多张听课学生的人脸图像；将各人脸图像传入集群分布式文件管理单元；所述集群分布式文件管理单元上部署有多个特征提取网络，所述特征提取网络为预先采用历史人脸图像及对应的历史表情特征对VGG
‑
16深度神经网络进行迭代训练建立的模型；通过所述集群分布式文件管理单元上的特征提取网络，对各人脸图像进行并行化的特征提取，得到各听课学生的表情特征；根据每一听课学生的表情特征，确定在课堂教学时所述听课学生的表情类别。2.根据权利要求1所述的面向课堂教学的分布式表情识别方法，其特征在于，所述对所述教学图像进行人脸检测，得到多张听课学生的人脸图像，具体包括：采用Haar
‑
like特征提取算法提取所述教学图像中的Haar特征；根据所述Haar特征，确定所述教学图像中的多张初始人脸图像；对各初始人脸图像进行灰度归一化和尺寸归一化处理，得到对应的听课学生的人脸图像。3.根据权利要求1所述的面向课堂教学的分布式表情识别方法，其特征在于，所述集群分布式文件管理单元包括一个主节点服务器和多个从节点服务器；各从节点服务器上均部署有特征提取网络；所述通过集群分布式文件管理单元上的特征提取网络，对各人脸图像进行并行化的特征提取，得到各听课学生的表情特征，具体包括：通过所述主节点服务器根据各从节点服务器的负载情况，将各人脸图像分配至各从节点服务器上；通过各从节点服务器上的特征提取网络，同时对人脸图像进行特征提取；通过所述主节点服务器将各从节点服务器提取的特征进行汇总，得到各听课学生的表情特征。4.根据权利要求1所述的面向课堂教学的分布式表情识别方法，其特征在于，所述根据每一听课学生的表情特征，确定在课堂教学时所述听课学生的表情类别，具体包括：采用soft
‑
max分类器对每一听课学生的表情特征进行分类，得到在课堂教学时所述听课学生的表情类别；所述表情类别包括：开心、惊讶、害怕、生气、伤心、厌恶、中性。5.根据权利要求1所述的面向课堂教学的分布式表情识别方法，其特征在于，所述面向课堂教学的分布式表情识别方法还包括：针对课堂教学过程中的任一时刻，根据当前时刻各听课学生的表情类别，确定各听课学生在当前时刻的专注等级；根据各听课学生在当前时刻的专注等级，确定当前时刻的混淆矩阵及对应的权值；将当前时刻的混淆矩阵及对应的权值相乘，得到当前时刻听课学生的专注度；将每一时刻的专注度相加，得到整节课堂教学中听课学生的专注度...
【专利技术属性】
技术研发人员：魏巍，武晨阳，李琳，梁吉业，
申请(专利权)人：山西大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。