一种智能专注力的检测方法技术

本发明专利技术提出了一种智能专注力检测方法，包括算法初始化、数据提取、数据标注、模型拟合和模型运算步骤，通过将面部特征提取算法、面部属性检测算法、人脸检测算法、面部关键点提取算法、人脸识别算法、头姿估计算法进行整体协作，实现了不同算法针对学习状态下的头、面部信息的快速识别检测，从多个维度获取的识别数据提高了专注力分析的准确性，为专注力改进提供了有益方向。供了有益方向。供了有益方向。

【技术实现步骤摘要】
一种智能专注力的检测方法


[0001]本专利技术属于计算机视觉技术与人工智能
，具体涉及一种智能专注力的检测方法。

技术介绍

[0002]专注力是表示对一件事专心及投入的程度，专注力不足发生的原因很复杂，有先天因素也有后天因素。先天包括了智力、遗传、脑损伤、剖腹产等因素；后天因素包含了环境(也就是人、事、时、地物)、教养方式、情绪和兴趣(心理因素)、观察力不足、大动作发展不足、缺乏良好的阅读能力、听觉发展不足、自控能力较弱等。很多人都认为男孩子肢体动作大一点，好动一点，甚至觉得男生本来就要活泼、外向一些，所以不少早期有多动现象的男孩子被当成活泼、好动，因而耽误了纠正的黄金期。反观家长对女孩子的态度，看到女生爬高爬低、举止粗鲁，便开口制止，就会严加管教、教导正确的行为规范。
[0003]观察孩子注意时的特有表现，把注意集中在某个对象(事情和行为)上时，常伴随着一些特有的生理变化和表情动作。如果我们善于观察，那么，根据这些生理变化和表情动作，我们就能比较准确地判断出孩子是否集中了注意。注意时最显著的外部表现，主要有下面几种：(1)产生适应性的活动，即把感官朝向被注意的东西，(2)无关动作会停止，(3)呼吸变得轻微而缓慢。
[0004]但是现有技术中并没有一个准确的针对儿童、学生学习状态的检测方法，尤其是能针对学习状态，如通过长时间的视频监测，用人工智能算法从而对头面部微动作进行检测、识别、分析，从而能够检测出专注力是否不足的情况。
[0005]本专利技术即针对利用视频监测及人工智能算法来检测专注力是否不足的情况。

技术实现思路

[0006]为了解决上述问题，本专利技术公开了一种智能专注力监视方法包括如下步骤：
[0007]S1、算法初始化；所述算法包括：人脸检测算法、人脸识别算法、面部关键点提取算法、头姿态估计算法、面部属性检测算法、面部特征信息提取算法；
[0008]S2、数据提取；采集被检测者进行自然状态下专注行为图像，提取每帧图像的数字坐标，将每帧图像提取到的坐标信息记为一个数据项；
[0009]S3、数据标注；以视频序列对应数据项进行人工专注行为信息标注，判定是否专注；
[0010]S4、模型拟合；分析在时间轴定锚点的专注行为标注信息，生成微动作数据序列，将微动作数据序列的标注值记为LABEL，微动作数据序列中的数据记为MOTION_DATA_SEQ，将面部特征高维矩阵记为FACE_FEAT，FLATTEN_FEAT代表高维矩阵FACE_FEAT展开的一维序列；
[0011]以[INPUT,LABEL]数据对的形式，批量输入到GBDT算法模型，其中INPUT＝[MOTION_DATA_SEQ,FLATTEN_FEAT]，执行监督学习训练，最终得到训练好的模型记为
MODEL；
[0012]S5、模型运算；将INPUT值输入到训练好的GBDT算法模型MODEL中，输出OUTPUT＝MODEL(INPUT＝[MOTION_DATA_SEQ,FLATTEN_FEAT])，OUTPUT包括两个值OUT1和OUT2；
[0013]采用判定函数J(OUTPUT)进行分类判定，
[0014]J(OUTPUT)＝SoftMax(OUTPUT)＝SoftMax([OUT1,OUT2])＝[exp(OUT1)/A,exp(OUT2)/A]，其中A＝exp(OUT1)+exp(OUT2)，
[0015]判定函数J(OUTPUT)的最终返回值分别为专注和非专注的评分。
[0016]进一步地，步骤S2中，对每帧图像进行由人脸检测算法、面部关键点算法和面部属性检测算法构成的深度神经网络模型处理，拼接为向量数据。
[0017]进一步地，所述人脸检测算法采用bounding boxes预测模型检测图像中人脸框位置，步骤如下：
[0018]S21、利用Pnet模型对原始图片生成多层图像金字塔，对多层图像金字塔进行初步特征提取与标定边框后，进行调整窗口与过滤，生成bounding boxes；
[0019]S22、输入原始图片和利用Pnet模型生成的bounding boxes，利用Rnet模型，滤除效果差的候选窗口，并对选定的候选窗口进行优化预测，生成校正后的bounding boxes；
[0020]S23、输入原始图片和RNet生成的校正后的bounding boxes，利用Onet模型，进行人脸判别、人脸区域边框回归和人脸特征定位，最终输出人脸区域的左上角坐标和右下角坐标与人脸区域的五个特征点，作为最终的网络模型输出。
[0021]进一步地，步骤S1中，所述人脸检测算法返回人脸框位置坐标RECT(X,Y,W,H)；
[0022]所述面部关键点提取算法返回面部五个关键点坐标；
[0023]所述头姿态估计算法为以[摇摆,俯仰，翻滚]为标识的三轴头部角度信息；
[0024]所述面部属性检测算法包含睁闭眼和开合嘴布尔真值[LEFT_EYE,RIGHT_EYE,MOUTH]；
[0025]所述面部特征信息为深度神经网络模型提取的高维矩阵，深度卷积神经网络模型采用多层[卷积+激活+池化]组合结构,加入跳跃连接提取深层次面部特征，输出面部特征高维矩阵FACE_FEAT。
[0026]进一步地，步骤S5中，面部特征高维矩阵FACE_FEAT，表示为：人脸位置坐标+面部关键点坐标序列+三维头姿数据+面部属性：[RECT(X,Y,W,H),LEFT_EYE_X,LEFT_EYE_Y,RIGHT_EYE_X,RIGHT_EYE_Y,NOSE_X,NOSE_Y,MOUTH_LEFT_X,MOUTH_LEFT_Y,MOUTH_RIGHT_X,MOUTH_RIGHT_Y,YAW,PITCH，ROLL,LEFT_EYE,RIGHT_EYE,MOUTH*M*N]。
[0027]进一步地，步骤S5中，微动作数据序列生成过程为；分析在时间轴定锚点的专注行为标注信息，将专注时间段内的全部数据项标注为1，其余为0；进行子序列切割，以M秒为一个子序列，每秒产生N个数据项，则每个子序列包含M*N个数据项，连续数据项为1的子序列构成专注微动作序列；连续数据项为0的子序列构成非专注微动作序列。
[0028]进一步地，判定函数J(OUTPUT)的最终返回值的浮点数区间[0,1]，设定判定阈值为Th，当专注评分大于阈值Th，则判定为专注。
[0029]进一步地，以[INPUT,LABEL]数据对的形式，批量输入到GBDT算法模型，执行监督学习训练采用均方误差为损失函数计算模型偏差，得到函数的梯度下降方向，通过反向传播方法，迭代优化模型参数。
[0030]本专利技术的有益效果：能够通过算法，对用户(学生、孩童)学习中的专注程度进行智能检测，从而了解学习状态，并分析用户的专注力是否需要提高。同时，通过掌握学习时间段中的专注力细节情况，对专注行为进行量化分析，为提高专注力提供了数据支撑。专利技术通过将面部特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能专注力检测方法，其特征在于，包括如下步骤：S1、算法初始化；所述算法包括：人脸检测算法、人脸识别算法、面部关键点提取算法、头姿态估计算法、面部属性检测算法、面部特征信息提取算法；S2、数据提取；采集被检测者进行自然状态下专注行为图像，提取每帧图像的数字坐标，将每帧图像提取到的坐标信息记为一个数据项；S3、数据标注；以视频序列对应数据项进行人工专注行为信息标注，判定是否专注；S4、模型拟合；分析在时间轴定锚点的专注行为标注信息，生成微动作数据序列，将微动作数据序列的标注值记为LABEL，微动作数据序列中的数据记为MOTION_DATA_SEQ，将面部特征高维矩阵记为FACE_FEAT，FLATTEN_FEAT代表高维矩阵FACE_FEAT展开的一维序列；以[INPUT,LABEL]数据对的形式，批量输入到GBDT算法模型，其中INPUT＝[MOTION_DATA_SEQ,FLATTEN_FEAT]，执行监督学习训练，最终得到训练好的模型记为MODEL；S5、模型运算；将INPUT值输入到训练好的GBDT算法模型MODEL中，输出OUTPUT＝MODEL(INPUT＝[MOTION_DATA_SEQ,FLATTEN_FEAT])，OUTPUT包括两个值OUT1和OUT2；采用判定函数J(OUTPUT)进行分类判定，J(OUTPUT)＝SoftMax(OUTPUT)＝SoftMax([OUT1,OUT2])＝[exp(OUT1)/A,exp(OUT2)/A]，其中A＝exp(OUT1)+exp(OUT2)，判定函数J(OUTPUT)的最终返回值分别为专注和非专注的评分。2.根据权利要求1所述的智能专注力检测方法，其特征在于，步骤S2中，对每帧图像进行由人脸检测算法、面部关键点算法和面部属性检测算法构成的深度神经网络模型处理，拼接为向量数据。3.根据权利要求2所述的智能专注力检测方法，其特征在于，所述人脸检测算法采用bounding boxes预测模型检测图像中人脸框位置，步骤如下：S21、利用Pnet模型对原始图片生成多层图像金字塔，对多层图像金字塔进行初步特征提取与标定边框后，进行调整窗口与过滤，生成bounding boxes；S22、输入原始图片和利用Pnet模型生成的bounding boxes，利用Rnet模型，滤除效果差的候选窗口，并对选定的候选窗口进行优化预测，生成校正后的bounding boxes；S...

【专利技术属性】
技术研发人员：张叶，常旭岭，许佳佳，
申请(专利权)人：宁波书写芯忆科技有限公司，
类型：发明
国别省市：