人脸情绪愉悦度判断方法技术

本发明专利技术的人脸情绪愉悦度判断方法包括：步骤S1：人脸图像预处理：调整截取人脸图像的尺寸并对图片像素归一化；步骤S2：对预处理的人脸图像进行特征提取；步骤S3：对提取的特征向量进行全局平均池化，降维处理；步骤S4：对降维特征向量进行特征回归，输出一维特征数值；步骤S5：动态确定愉悦度基准值，并根据确定的愉悦度基准值以及一维特征数值判断愉悦度状态，并输出愉悦度表示值。本发明专利技术解决现有技术中仅能根据表情对用户的情绪进行分类，而无法对用户情绪的变化程度做出判断的技术问题。

【技术实现步骤摘要】
人脸情绪愉悦度判断方法
本专利技术涉及人脸识别
，具体地说，涉及人脸情绪愉悦度判断方法。
技术介绍
人脸的表情在一定程度上能够反映出人的情绪状态。随着人工智能技术的发展与进步，根据人脸表情来判断用户情绪的技术已经大量应用于社会生活，丰富了获取的用户信息的维度。但现有的应用大多只能根据表情对用户的情绪进行分类，例如分为平静、高兴、悲伤和惊讶等类别，无法对用户情绪的程度做出判断，例如判断用户有多高兴、有多悲伤，无法根据用户表情的细微变化对用户情绪的变化做出判断，例如判断用户由悲伤变得更愉悦的过程、或者在高兴情绪下变得更悲伤等。
技术实现思路
本专利技术的目的在于提供一种人脸情绪愉悦度判断方法，解决现有技术中仅能根据表情对用户的情绪进行分类，而无法对用户情绪的变化程度做出判断的技术问题。本专利技术的人脸情绪愉悦度判断方法包括：步骤S1：人脸图像预处理：调整截取人脸图像的尺寸并对图片像素归一化；步骤S2：对预处理的人脸图像进行特征提取；步骤S3：对提取的特征向量进行全局平均池化，降维处理；步骤S4：对降维特征向量进行特征回归，输出一维特征数值；步骤S5：动态确定愉悦度基准值，并根据确定的愉悦度基准值以及一维特征数值判断愉悦度状态，并输出愉悦度表示值。本专利技术的人脸情绪愉悦度判断方法通过对获取的图像像素归一化后提取的特征向量进行特征回归，输出一维特征数值，该一维的特征数值是连续变化值，直接代表了当前的情绪愉悦度。之后通过动态变化的愉悦度基准值对人脸情绪进行分类并同时输出愉悦度表示值，以代表愉悦度状态。本专利技术对人脸的特征进行回归，得到代表人脸情绪愉悦度的连续值，通过连续值的大小精确的反应人脸情绪愉悦度的程度，并通过动态设置不同人脸的愉悦度基准值，准确地判断当前用户的愉悦度变化状态。附图说明图1是本专利技术整体流程示意图；图2是本专利技术的特征向量降维过程示意图；图3是本专利技术利用动态愉悦度基准判定愉悦度状态的过程示意图。具体实施方式下面结合具体实施例和说明书附图对本专利技术做进一步阐述和说明:参阅图1，本专利技术的人脸情绪愉悦度判断方法包括：步骤S1：人脸图像预处理：调整截取人脸图像的尺寸并对图片像素归一化；在本步骤中预处理主要包含两个分步骤，人脸图像的尺寸调整和归一化。由于在后续的步骤中使用到的回归网络要求固定的输入尺寸，考虑到移动端的计算性能，因此将输入图像的长宽调整到固定的224*224尺寸。其中，图像的像素值取值范围为0到255，由于模型最后输出的愉悦度的取值范围为0到1，因此先对人脸图像的像素值进行归一化，即将RGB3通道中的像素值分别归一化为一个0到1的区间内。经过以上预处理后的彩色人脸图像尺寸为224*224*3，取值范围为0-1之间。步骤S2：对预处理的人脸图像进行特征提取。在完成人脸图像的预处理后，本专利中利用卷积网络对图像进行特征提取，计算人脸图像的特征向量，其中卷积网络主要基于MobileNetV3网络中的瓶颈模块进行构造。通过卷积网络的计算，得到尺寸为4*4*576的特征向量，特征向量中包含人脸图像的视觉特征。特征提取中用到的卷积网络的参数通过使用大量有标注的人脸图像进行训练得到，标注的数值范围为0到1。步骤S3：对提取的特征向量进行全局平均池化，降维处理。在完成人脸图像的特征提取后，得到的人脸特征维度较高，很难直接进行特征回归。因此对特征向量进行全局平均池化，即对每个通道的特征向量计算平均值，使用平均值代表每个通道的特征，从而将特征的维度降低16倍，得到576维的特征向量。步骤S4：对降维特征向量进行特征回归，输出一维特征数值。特征回归包括：参阅图2，利用所述回归网络对新的所述特征向量进行回归，回归网络包括两层全连接层，包括第一层以及与所述第一层连接的第二层，所述第一层使用线性整流函数独立计算特征向量中每一维度中的特征向量的输出；第二层使用线性整流函数计算接入的特征向量的一维特征数值。其中第一层中输入的特征向量为576维，输出特征向量为128维；而第二层中输入128维特征向量后，输出一维特征数值，输出的一维特征数值表示模型对人脸情绪愉悦度的判断，数值越大代表愉悦度越高。回归网络中的参数通过使用大量有标注的人脸图像进行训练得到，标注信息为代表人脸图像愉悦度程度的浮点数，取值范围为0-1。步骤S5：动态确定愉悦度基准值，并根据确定的愉悦度基准值以及一维特征数值判断愉悦度状态，并输出愉悦度表示值。参阅图3，完成对人脸特征的回归得到代表愉悦度的一维特征连续值后，考虑到每个用户的人脸不同，愉悦度数值大小的范围也会有所差别，因此本专利技术通过动态地确定愉悦度基准值来对不同用户的愉悦度状态做出更准确的判断。得到表示当前人脸的愉悦度的一维特征值后，首先判断情绪模块是否完成初始化，即是否已经记录了前一秒内的愉悦度信息，若未完成初始化则不进行进一步判断，记录愉悦度数据后退出。如已完成初始化，则计算前一秒内的愉悦度平均值，然后判断是否存在愉悦度基准值，存在基准值则利用基准值判断当前愉悦度状态，不存在基准值则判断前一秒内的愉悦度平均值能否设为基准值。最后输出的信息包括表示愉悦度的一维特征连续值和表示愉悦度状态的离散值，即开心、悲伤、兴奋等状态。具体的，获得一维特征数值后，判断系统或者人脸情绪模块是否初始化；如是，则计算前一秒内的愉悦度平均值，然后在判断针对个人的愉悦度基准值是否存在，如果愉悦度基准值存在则计算当前愉悦度平均值和愉悦度基准值之前的差；将差值与预设的愉悦度等级阈值对比，判断当前的愉悦度等级，即是否属于兴奋等状态下，之后输出愉悦度数值以及愉悦度状态。如果，判断后不存在愉悦度基准值泽，计算当前的愉悦度数值和愉悦度基准值之间的差值，判断差值大小是否小于预设的有效阈值范围，并且愉悦度平均值是否在合理范围内，如果均是，则将平均值设定为愉悦度基准值；如果两个条件有一个不满足则不设定愉悦度基准值。当然同样的，判断系统或者人脸情绪模块还没有初始化后，此时直接退出计算下一个时间间隔内的愉悦度数值，并重复以上操作。最后应当说明的是，以上实施例仅用以说明本专利技术的技术方案，而非对本专利技术保护范围的限制，尽管参照较佳实施例对本专利技术作了详细地说明，本领域的普通技术人员应当理解，可以对本专利技术的技术方案进行修改或者等同替换，而不脱离本专利技术技术方案的实质和范围。本文档来自技高网...

【技术保护点】
1.人脸情绪愉悦度判断方法，其特征在于，包括以下步骤：/n步骤S1：人脸图像预处理：调整截取人脸图像的尺寸并对图片像素归一化；/n步骤S2：对预处理的人脸图像进行特征提取；/n步骤S3：对提取的特征向量进行全局平均池化，降维处理；/n步骤S4：对降维特征向量进行特征回归，输出一维特征数值；/n步骤S5：动态确定愉悦度基准值，并根据确定的愉悦度基准值以及一维特征数值判断愉悦度状态，并输出愉悦度表示值。/n

【技术特征摘要】
1.人脸情绪愉悦度判断方法，其特征在于，包括以下步骤：
步骤S1：人脸图像预处理：调整截取人脸图像的尺寸并对图片像素归一化；
步骤S2：对预处理的人脸图像进行特征提取；
步骤S3：对提取的特征向量进行全局平均池化，降维处理；
步骤S4：对降维特征向量进行特征回归，输出一维特征数值；
步骤S5：动态确定愉悦度基准值，并根据确定的愉悦度基准值以及一维特征数值判断愉悦度状态，并输出愉悦度表示值。


2.如权利要求1所述的人脸情绪愉悦度判断方法，其特征在于，所述如片像素归一化为将图像的RGB通道中的像素值分别映射到0到1之间的数值。


3.如权利要求1所述的人脸情绪愉悦度判断方法，其特征在于，人脸图像特征提取包括：利用卷积网络对图像进行特征提取，计算人脸图像的特征向量，所述特征向量中包括人脸图像的视觉特征信息。


4.如权利要求3所述的人脸情绪愉悦度判断方法，其特征在于，所述全局平局池化包括将步骤S2中提取的特征向量的每个通道中计算平均值，并...

【专利技术属性】
技术研发人员：雷李义，
申请(专利权)人：深圳印像数据科技有限公司，
类型：发明
国别省市：广东;44