面部表情强度计算模型的形成方法及系统技术方案

一种面部表情强度计算模型的形成方法及系统，该模型用于估算表情分类下的面部表情强度，首先获取表情数据库，对表情数据库中的图像数据进行预处理，提取出面部部分的数据，然后分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取，分别使用全监督模式、半监督模式和无监督模式对前一步骤输出的数据进行训练，得到特征与面部表情强度的关系，将训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，根据各子模型形成最终的面部表情强度计算模型。本发明专利技术利用数据库训练出该表情分类下的面部表情强度计算模型，利用该模型对图像数据进行处理，就可以获取该训练完毕的表情分类下的强度。

Formation method and system of facial expression intensity calculation model

The calculation method and system model of the formation of a facial expression intensity, the model is used to estimate the strength of the facial expression classification, first get the image data of the database, database in preprocessing to extract the facial part of the data, and then into the facial geometric features, local feature extraction mode and Gabor value of two wavelet transform three modes, respectively, using supervised model, semi supervised and unsupervised pattern pattern on the front step output data for training, get the relationship between the expression intensity and characteristics of the face, will be formed after the training data were used as the number of random forest algorithm input for training, obtained facial expression intensity calculation model according to the model, the calculation model of facial expression forms the ultimate strength. The invention uses the database to train the facial expression intensity calculation model under the expression classification, and applies the model to process the image data, and then obtains the intensity of the expression classification after training.

【技术实现步骤摘要】
面部表情强度计算模型的形成方法及系统
本专利技术涉及图像处理领域，尤其涉及面部面部表情处理方面，更具体地说，涉及一种面部表情强度计算模型的形成方法及系统。
技术介绍
随着图像处理技术的进步，目前出现了许多方法，能够根据采集到的面部图像，识别面部表情，将表情进行分类：如分为高兴、悲伤以及中间态，再如分为激动、平静，或者分为疑惑、害怕、伤心、吃惊等等。分类的方式很多，但是目前这些方法只能针对表情进行粗略的分类，无法获知表情分类下的具体强度，如有多高兴、多悲伤等等，即未基于表情识别做出表情强度的估计。
技术实现思路
本专利技术要解决的技术问题在于，针对上述的目前的方法只能针对表情进行粗略的分类，无法获知表情分类下的具体强度的技术缺陷，提供了一种面部表情强度计算模型的形成方法及系统。根据本专利技术的其中一方面，本专利技术为解决其技术问题，提供了一种面部表情强度计算模型的形成方法，所述面部表情强度计算模型用于估算表情分类下的面部表情强度，包含如下步骤：S1、获取用于训练的包含面部部分的表情数据库，所述数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；S2、对所述表情数据库中的图像数据进行预处理，提取出面部部分的数据；S3、对提取出的面部部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；S4、分别使用全监督模式、半监督模式和无监督模式对步骤S3输出的数据进行训练，得到特征与面部表情强度的关系；S5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，将k1*A1+k2*A2+k3*A3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，A1、A2、A3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值。在本专利技术的面部表情强度计算模型的形成方法中，步骤S2中预处理包括：面部特征点定位、面部识别、图像剪切和直方图均衡化；方案采用主动形状模型ASM获取面部特征点，利用瞳孔间的连线与水平线的夹角，旋转图像使得瞳孔间连线为水平，之后调用OpenCV库中面部识别框架获取图像数据中面部部分，并且剪切面部区域为M*N像素，最后对所有剪切后图像数据进行直方图均衡化处理；其中，M、N均为正整数且均大于3。在本专利技术的面部表情强度计算模型的形成方法中，步骤S3中还包括步骤：采用主成分分析方法，分别对三种模式提取的特征进行处理以降低特征数据的维度。在本专利技术的面部表情强度计算模型的形成方法中，步骤S3中对于任意一帧：是以该帧中下巴与鼻尖的像素间距离为标准值，将嘴角、下巴、眼角、上下眼皮之间的像素间的相互距离与标准值的该帧中比值作为面部几何特征。在本专利技术的面部表情强度计算模型的形成方法中，步骤S3中采用局部二值模式提取图像特征时，具体是指将步骤S2中提取出的面部部分的数据分割得到的面部图像均匀分为P*Q块，得到P*Q块(M/P)*(N/Q)的区域，对每一区域进行3*3邻域像素的处理，对比所有像素临近的8个像素的灰度值，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，得到8个二进制数，将8位二进制数转换为10进制，得到该像素点的LBP值，最终按行拼接P*Q块图像的LBP值，得到图像的局部二值模式特征；其中，P、Q、M、N均为正整数，M、N分别为面部部分的图像数据的横向、纵向的像素大小。在本专利技术的面部表情强度计算模型的形成方法中，P＝Q＝5，M＝N＝10。在本专利技术的面部表情强度计算模型的形成方法中，步骤S3中采用Gabor小波变换进行特征提取具体是指，将的剪切后形成的M*N像素的面部图像进行多尺度多方向的Gabor小波变换，每幅图像得到(V*R)*M*N维的特征,V为尺度数，R为方向数。在本专利技术的面部表情强度计算模型的形成方法中，在所述步骤S4的训练过程中：全监督模式：采用具有表情数据库的强度值标签的UNBC-McMaster肩部疼痛图像数据作为全监督模式的表情数据库，将该UNBC-McMaster肩部疼痛图像数据中原有的0～15级别重新分为0～K共(K+1)种级别进行训练；半监督模式：采用带标签的数据库以及没强度值注释的数据库作为半监督模式的表情数据库；无监督模式：采用没强度值注释的ExtendedCK和BU-4DFE图像数据作为无监督模式的表情数据库。在本专利技术的面部表情强度计算模型的形成方法中，所述序数随机森林算法中：对于参与训练的数据库中的图像序列中每一帧，首先进行序数回归分析，预测该帧在各个强度值上的分布比，然后在随机森林算法对该图像序列中的帧进行回归分析时，对每个决策树得到的强度值Q进行加权，所加权重为该帧在单独进行序数回归分析时，分析结果中强度值Q所占的比例。根据本专利技术的另一方面，本专利技术为解决其技术问题还提供了一种面部表情强度计算模型的形成系统，所述面部表情强度计算模型用于估算表情分类下的面部表情强度，包含如下模块：表情数据库获取模块，用于获取用于训练的包含面部部分的表情数据库，所述数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；面部部分提取模块，用于对所述表情数据库中的图像数据进行预处理，提取出面部部分的数据；特征提取模块，用于对提取出的面部部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；监督训练模块，用于分别使用全监督模式、半监督模式和无监督模式对特征提取模块输出的数据进行训练，得到特征与面部表情强度的关系；面部表情强度计算模块，用于将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，将k1*A1+k2*A2+k3*A3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，A1、A2、A3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值。实施本专利技术的面部表情强度计算模型的形成方法及系统，利用数据库训练出该表情分类下的面部表情强度计算模型，利用该模型对图像数据进行处理，就可以获取该训练完毕的表情分类下的强度。当需要获取多个不同的表情分类下的面部表情强度计算模型时，只需要采用对应的数据库采用本专利技术的形成方法及系统分别进行训练即可。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术的面部表情强度计算模型的形成方法的一实施例的流程图；图2是本专利技术的面部表情强度计算模型的形成系统的一实施例的原理图。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。如图1所示，其为本专利技术的通面部表情强度计算模型的形成方法的一实施例的流程图。本实施例的面部表情强度计算模型的形成方法中面部表情强度计算模型用于估算表情分类下的面部表情强度，包含如下步骤：S1、获取用于训练的包含面部部分的表情数据库，数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库。在本实施例中，其中表情数据库由UNBC-McMaster肩部疼痛、ExtendedCK、BU-4DFE组成。其中肩部疼痛数据包含200个自发表情序列，并且每帧被标识了疼痛强度值，CK+包含5本文档来自技高网...

【技术保护点】
一种面部表情强度计算模型的形成方法，所述面部表情强度计算模型用于估算表情分类下的面部表情强度，其特征在于，包含如下步骤：S1、获取用于训练的包含面部部分的表情数据库，所述表情数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；S2、对所述表情数据库中的图像数据进行预处理，提取出面部部分的数据；S3、对提取出的面部部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；S4、分别使用全监督模式、半监督模式和无监督模式对步骤S3输出的数据进行训练，得到特征与面部表情强度的关系；S5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，将k1*A1+k2*A2+k3*A3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，A1、A2、A3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值。

【技术特征摘要】
1.一种面部表情强度计算模型的形成方法，所述面部表情强度计算模型用于估算表情分类下的面部表情强度，其特征在于，包含如下步骤：S1、获取用于训练的包含面部部分的表情数据库，所述表情数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；S2、对所述表情数据库中的图像数据进行预处理，提取出面部部分的数据；S3、对提取出的面部部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；S4、分别使用全监督模式、半监督模式和无监督模式对步骤S3输出的数据进行训练，得到特征与面部表情强度的关系；S5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度计算子模型，将k1*A1+k2*A2+k3*A3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，A1、A2、A3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值。2.根据权利要求1所述的面部表情强度计算模型的形成方法，其特征在于，所述步骤S2中预处理包括：面部特征点定位、面部识别、图像剪切和直方图均衡化；方案采用主动形状模型ASM获取面部特征点，利用瞳孔间的连线与水平线的夹角，旋转图像使得瞳孔间连线为水平，之后调用OpenCV库中面部识别框架获取图像数据中面部部分，并且剪切面部区域为M*N像素，最后对所有剪切后图像数据进行直方图均衡化处理；其中，M、N均为正整数且均大于3。3.根据权利要求1所述的面部表情强度计算模型的形成方法，其特征在于，所述步骤S3中还包括步骤：采用主成分分析方法，分别对三种模式提取的特征进行处理以降低特征数据的维度。4.根据权利要求1所述的面部表情强度计算模型的形成方法，其特征在于，所述步骤S3中对于任意一帧：是以该帧中下巴与鼻尖的像素间距离为标准值，将嘴角、下巴、眼角、上下眼皮之间的像素间的相互距离与该帧的标准值的比值作为面部几何特征。5.根据权利要求1所述的面部表情强度计算模型的形成方法，其特征在于，所述步骤S3中采用局部二值模式提取图像特征时，具体是指将步骤S2中提取出的面部部分的数据分割得到的面部图像均匀分为P*Q块，得到P*Q块(M/P)*(N/Q)的区域，对每一区域进行3*3邻域像素的处理，对比所有像素临近的8个像素的灰度值，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，得到8个二进制数，将8位二进制数转换为10进制，得到该像素点的LBP值，最终按行拼接P*Q块图像的LBP值，得到图像的局部二值模式特征；其中，P、Q、M、N均为正...

【专利技术属性】
技术研发人员：杨林权，谷俊允，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42