一种注意力识别方法和装置制造方法及图纸

本发明专利技术提供了一种注意力识别方法和装置，其中，该方法包括：获取上课时学生的学生图像，对学生图像中的人脸进行检测，得到注意力可信度参数；根据注意力可信度参数，对注意力特征向量进行计算；根据计算得到的注意力特征向量，计算得到学生的注意力值，当注意力值低于注意力阈值时，确定学生的注意力未在上课内容上。通过本发明专利技术实施例提供的注意力识别方法和装置，可以进一步基于检测得到的注意力可信度参数计算得到学生的注意力值，并通过计算得到的学生的注意力值对学生上课时的注意力进行识别，使得识别出的学生的上课注意力更加准确。

【技术实现步骤摘要】
一种注意力识别方法和装置
本专利技术涉及图像处理
，具体而言，涉及一种注意力识别方法和装置。
技术介绍
目前，在线辅导教育由于其个性化辅导、因材施教的优势及降低学习成本的优点，得到了快速发展。在线辅导利用音视频通信技术和互联网技术实现了线上面对面的辅导。在线上课中学生通过客户端计算机实现学习及与教师交流。学生端配置摄像机，能够实时采集学生的表情，并记录。学生上课的表情，注意力情况能够通过模型识别通知教师。学生上课注意力识别涉及到人脸检测，表情识别，注意力识别技术。相关技术中，通常使用整张人脸图像作为网络输入来学习特征，然而这些原始像素缺少有效信息，导致识别结果不准确。
技术实现思路
为解决上述问题，本专利技术实施例的目的在于提供一种注意力识别方法和装置。第一方面，本专利技术实施例提供了一种注意力识别方法，包括：获取上课时学生的学生图像，对所述学生图像中的人脸进行检测，得到注意力可信度参数；根据所述注意力可信度参数，对注意力特征向量进行计算；根据计算得到的注意力特征向量，计算得到学生的注意力值，当所述注意力值低于注意力阈值时，确定所述学生的注意力未在上课内容上。第二方面，本专利技术实施例还提供了一种注意力识别装置，包括：获取模块，用于获取上课时学生的学生图像，对所述学生图像中的人脸进行检测，得到注意力可信度参数；计算模块，用于根据所述注意力可信度参数，对注意力特征向量进行计算；处理模块，用于根据计算得到的注意力特征向量，计算得到学生的注意力值，当所述注意力值低于注意力阈值时，确定所述学生的注意力未在上课内容上。本专利技术实施例上述第一方面至第二方面提供的方案中，可以对上课时学生的学生图像进行检测，得到注意力可信度参数，并根据得到的注意力可信度参数，计算得到学生的注意力值，从而对上课时学生的注意力进行识别，与相关技术中仅使用学生的整张人脸图像就对学生的注意力进行识别相比，可以进一步基于检测得到的注意力可信度参数计算得到学生的注意力值，并通过计算得到的学生的注意力值对学生上课时的注意力进行识别，使得识别出的学生的上课注意力更加准确。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术实施例所提供的一种注意力识别方法的流程图；图2示出了本专利技术实施例所提供的一种注意力识别装置的结构示意图。具体实施方式目前，在线辅导教育由于其个性化辅导、因材施教的优势及降低学习成本的优点，得到了快速发展。在线辅导利用音视频通信技术和互联网技术实现了线上面对面的辅导。在线上课中学生通过客户端计算机实现学习及与教师交流。学生端配置摄像机，能够实时采集学生的表情，并记录。学生上课的表情，注意力情况能够通过模型识别通知教师。学生上课注意力识别涉及到人脸检测，表情识别，注意力识别技术。人脸检测是计算机识别中的研究重点。人脸检测技术发展分为3个阶段，分布是早期算法，AdaBoost框架，以及深度学习技术。早期的人脸检测算法使用了模板匹配技术，即用一个人脸模板图像与被检测图像中的各个位置进行匹配，确定这个位置处是否有人脸；此后机器学习算法被用于该问题，包括神经网络，支持向量机等。以上都是针对图像中某个区域进行人脸-非人脸二分类的判别。Rowley等人提出的正面人脸检测及多角度人脸检测方法，取得了很不错的准确度。然而分类器的设计相对复杂，而且采用密集滑动窗口进行采样导致速度太慢。Adaboost框架boost算法基于PAC学习理论而建立的一套集成学习算法，其根本思想在于通过组合多个简单的弱分类器，构建出准确率高的强分类器。Viola和Jones设计了一种人脸检测算法，使用简单的Haar-like特征和级联的AdaBoost分类器构造检测器。与早期的算法相比，速度提高了2个数量级，而且具有很好的准确度。基于VJ算法是Adaboost框架中的主流，并广泛应用与工业界。但VJ算法存在着一些问题：(1)Haar-like特征是一种相对简单的特征，其稳定性较低；(2)弱分离器采用简单决策树，容易过拟合。(3)基于VJ-cascade的分类器设计，进入下一阶段后，之前的信息都丢弃，分类器评价一个样本不会基于之前的信息，因此分类器的鲁棒性差。深度学习框架卷积神经网络在图像分类问题上取得成功之后很快被用于人脸检测问题。CascadeCNN采用卷积网络作为每一级的分类器，采用非最大抑制合并高度重叠的检测窗口。CascadeCNN一定程度上解决了传统方法在开放场景中对光照、角度等敏感的问题，但是该框架的第一级还是基于密集滑动窗口的方式进行窗口过滤，在高分辨率存在大量小人脸(tinyface)的图片上限制了算法的性能上限。DenseBox网络使用全卷积网络，在同一网络中直接预测人脸框和人脸的可信度。为了提高检测的准确率，采用多尺度融合策略，将不同卷积结果进行拼接。由于不同层输入图像大小不同，采用上采样和线性插值对小的推向进行放大。FacenessNet是一种典型的由粗到精的工作流，借助多个基于DCNN网络的人脸部分分类器对人脸进行评分，然后根据每个部件的得分进行规则分析得到建议的人脸区域，最后通过一个精炼网络得到最终的人脸检测结果。MTCNN是一个基于cascade的多任务方法，将人脸区域检测和人脸关键点检测融合在一起。MTCNN分为三个部分：PNet，RNet，和ONet。Pnet网络是采用全卷积网络，对任意尺寸的图像，进行卷积计算，提取特征，该网络结构主要获得了人脸区域的候选窗口和边界框的回归向量。并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制(NMS)来合并高度重叠的候选框。RNet网络该网络结构还是通过边界框回归和NMS来去掉那些false-positive区域。只是由于该网络结构和P-Net网络结构有差异，多了一个全连接层，所以会取得更好的抑制false-positive的作用。O-Net该层比R-Net层又多了一层卷基层，所以处理的结果会更加精细。作用和R-Net层作用一样。但是该层对人脸区域进行了更多的监督，同时还会输出5个关键点坐标。SSH网络最大的特色是尺度不相关性，比如MTCNN方法在预测时是对不同尺度的图片分别进行预测，而SSH方法只需要处理一个尺度的图片。该方法是对VGG网络不同层的卷积层输出做了3个分支，每个分支使用类似的流程进行检测和分类，通过针对不同尺度特征图进行分析，实现多尺度人脸检测。面部表情识别是人脸识别技术中重要组成部分，表情识别系统主要特征提取，特征分类。表情特征提取主要采用数学方法，依靠计算机技术对人脸表情的数字图像进行数据的组织和处理本文档来自技高网...

【技术保护点】
1.一种注意力识别方法，其特征在于，包括：/n获取上课时学生的学生图像，对所述学生图像中的人脸进行检测，得到注意力可信度参数；/n根据所述注意力可信度参数，对注意力特征向量进行计算；/n根据计算得到的注意力特征向量，计算得到学生的注意力值，当所述注意力值低于注意力阈值时，确定所述学生的注意力未在上课内容上。/n

【技术特征摘要】
1.一种注意力识别方法，其特征在于，包括：
获取上课时学生的学生图像，对所述学生图像中的人脸进行检测，得到注意力可信度参数；
根据所述注意力可信度参数，对注意力特征向量进行计算；
根据计算得到的注意力特征向量，计算得到学生的注意力值，当所述注意力值低于注意力阈值时，确定所述学生的注意力未在上课内容上。


2.根据权利要求1所述的方法，其特征在于，对所述学生图像中的人脸进行检测，得到注意力可信度参数，包括：
对所述学生图像进行归一化处理；
将归一化处理后的学生图像输入到人脸表情检测网络进行处理，计算得到当前的注意力可信度参数，所述注意力可信度参数，包括：眼睛张开可信度、斜视可信度、转头可信度、低头可信度、以及嘴巴张开可信度。


3.根据权利要求1所述的方法，其特征在于，根据所述注意力可信度参数，对注意力特征向量进行计算，包括：
获取在计算得到当前的注意力可信度参数之前计算得到的多个注意力可信度参数；
根据当前的注意力可信度参数和所述多个注意力可信度参数，对注意力特征向量进行计算。


4.根据权利要求3所述的方法，其特征在于，根据当前的注意力可信度参数和所述多个注意力可信度参数，对注意力特征向量进行计算，包括：
通过以下哪个是对注意力特征向量进行计算：



其中，Vt表示注意力特征向量；表示权重值；Xt表示当前的注意力可信度参数；Xt-1、Xt-2、…、Xt-p表示在计算得到当前的注意力可信度参数之前计算得到的多个注意力可信度参数。


5.根据权利要求1所述的方法，其特征在于，根据计算得到的注意力特征向量，计算得到学生的注意力值，包括：
通过以下公式计算学生的注意力值：
yt＝σ(WVt+b)
其中，yt表示学生的注意力值；W表示权重矩阵；b表示偏移值。

【专利技术属性】
技术研发人员：何强，宫团基，
申请(专利权)人：北京三好互动教育科技有限公司，
类型：发明
国别省市：北京;11