人脸运动单元AUs的参数估计方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种人脸运动单元AUs的参数估计方法、装置和电子设备，包括：先提取该实际人脸图像的实际标签特征，再基于预设的人脸AUs的初始参数值得到虚拟的人脸基础图像和该人脸基础图像的虚拟标签特征，基于虚拟标签特征与上述实际标签特征的比较结果，调整人脸AUs的当前参数值，进而调整这个虚拟的人脸基础图像的虚拟标签特征，直到满足预设终止条件为止，将最后一次调整得到的人脸AUs的当前参数值作为实际人脸图像对应的人脸AUs的参数值。该方法得到的实际人脸图像对应的人脸AUs的参数值更加准确。

【技术实现步骤摘要】
人脸运动单元AUs的参数估计方法、装置和电子设备
本专利技术涉及计算机视觉的
，尤其是涉及一种人脸运动单元AUs的参数估计方法、装置和电子设备。
技术介绍
在计算机视觉领域，人脸表情分析是一个重要的课题。自动人脸表情分析可以应用于很多领域，比如，人机交互、行为研究、表情迁移和心理学领域。Ekman和Friesen开发了一套人脸行为编码系统(FACS)，用于描述人脸表情。人脸表情可以由AUs(ActionUnits，运动单元)组合而成。但由于头部姿态、身份和光照等影响，使得人脸AUs的参数估计成为了一个很难的课题。近来，深度学习在很多领域取得了优异的成绩。在人脸AUs的参数估计方面，也有很多基于深度学习的方法。目前用于人脸AUs的参数估计方法有基于人脸关键点拟合的方法，该方法需要依赖检测的人脸关键点的准确性，并且无法表达与关键点无关的表情，估计的准确性差。
技术实现思路
本专利技术实施例的目的在于提供一种人脸运动单元AUs的参数估计方法、装置和电子设备，以准确的估计实际人脸图像对应的人脸AUs的参数值。>本专利技术实施例提本文档来自技高网...

【技术保护点】
1.一种人脸运动单元AUs的参数估计方法，其特征在于，包括：/n通过人脸特征提取器提取实际人脸图像的实际标签特征；所述实际标签特征用于表示所述实际人脸图像中各个像素点所属的类别对应的特征；/n以预设的人脸AUs的初始参数值作为所述人脸AUs的当前参数值，对所述人脸AUs的当前参数值，执行以下操作：/n将所述人脸AUs的当前参数值输入图像生成器，得到虚拟的人脸基础图像；/n通过所述人脸特征提取器提取所述人脸基础图像的虚拟标签特征；所述虚拟标签特征用于表示所述人脸基础图像中各个像素点所属的类别对应的特征；/n比较所述虚拟标签特征和所述实际标签特征，根据比较结果调整所述人脸AUs的当前参数值，重复所...

【技术特征摘要】
1.一种人脸运动单元AUs的参数估计方法，其特征在于，包括：
通过人脸特征提取器提取实际人脸图像的实际标签特征；所述实际标签特征用于表示所述实际人脸图像中各个像素点所属的类别对应的特征；
以预设的人脸AUs的初始参数值作为所述人脸AUs的当前参数值，对所述人脸AUs的当前参数值，执行以下操作：
将所述人脸AUs的当前参数值输入图像生成器，得到虚拟的人脸基础图像；
通过所述人脸特征提取器提取所述人脸基础图像的虚拟标签特征；所述虚拟标签特征用于表示所述人脸基础图像中各个像素点所属的类别对应的特征；
比较所述虚拟标签特征和所述实际标签特征，根据比较结果调整所述人脸AUs的当前参数值，重复所述操作的上述步骤，直到满足预设终止条件为止；
将满足所述预设终止条件时的所述人脸AUs的当前参数值，确定为所述实际人脸图像对应的人脸AUs的参数值。


2.根据权利要求1所述的方法，其特征在于，比较所述虚拟标签特征和所述实际标签特征的步骤包括：
通过预设损失函数计算所述虚拟标签特征和所述实际标签特征之间的特征距离；
基于所述特征距离调整所述人脸AUs的当前参数值。


3.根据权利要求2所述的方法，其特征在于，通过预设损失函数计算所述虚拟标签特征和所述实际标签特征之间的特征距离的步骤包括：
通过预设损失函数LE(x,yr)＝||W(G(x))F(G(x))-W(yr)F(yr)||1计算所述虚拟标签特征和所述实际标签特征之间的特征距离；LE(x,yr)表示所述虚拟标签特征和所述实际标签特征之间的特征距离，x表示所述人脸AUs的当前参数值，G(x)表示生成的所述人脸基础图像，W(G(x))表示生成的所述人脸基础图像中，每个像素点所属的类别的概率，F(G(x))表示所述人脸特征提取器提取的所述人脸基础图像的前M层特征，yr表示所述实际人脸图像，W(yr)表示所述实际人脸图像中，每个像素点所属的类别的概率，F(yr)表示所述人脸特征提取器提取的所述实际人脸图像的前M层特征，M为预设值。


4.根据权利要求1所述的方法，其特征在于，在通过人脸特征提取器提取实际人脸图像的实际标签特征之前，所述方法还包括：
对所述实际人脸图像进行人脸对齐处理，得到对齐后的实际人脸图像，进而通过所述人脸特征提取器提取所述对齐后的实际人脸图像的实际标签特征。


5.根据权利要求4所述的方法，其特征在于，对所述实际人脸图像进行人脸对齐处理的步骤包括：
对所述实际人脸图像进行特征点检测，得到所述实际人脸图像中的脸部特征点；
通过所述脸部特征点和脸部模板中的特征点计算仿射矩阵；所述脸部模板为预先设置的包含脸部各个器官的特征点的模板；
通过所述仿射矩阵对所述实际人脸图像中的各个像素点进行仿射变换，得到所述对齐后的实际人脸图像。


6.根据权利要求1所述的方法，其特征在于，所述预设终止条件包括：所述操作达到预设操作次数。


7.根据权利要求2所述的方法，其特征在于，所述预设终止条件包括：所述特征距离不大于预设阈值。


8.根据权利要求1所述的方法，其特征在于，在将满足所述预设终止条件时的所述人脸AUs的当前参数值，确定为所述实际人脸图像对应的人脸AUs的参数值之后，所述方法还包括：
通过所述实际人脸图像对应的人脸AUs的...

【专利技术属性】
技术研发人员：宋新慧，袁燚，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33