基于变形自编码器和解耦交换的面部动作单元迁移方法及装置制造方法及图纸

本发明专利技术公开了一种基于变形自编码器和解耦交换的面部动作单元迁移方法及装置，首先从源域数据集和目标域数据集中分别抽取源图片和目标图片构成原始图像对组成训练数据集；然后将原始图像对分别输入变形自编码器，解耦出相应的纹理图片和变形场；再将交换过来的源变形场和目标纹理图片一起输入到变形场转换器中，输出能够适配目标纹理图片的目标新变形场；最后利用目标新变形场对目标纹理图片进行变形后，得到具有源图片面部动作单元的目标新图片。本发明专利技术采用变形自编码器解耦纹理特征与形状特征，在保留目标图片的面部身份以及纹理、姿态等方面的目标域特性的情况下，实现从一张源域图片到另一张目标域图片的面部动作单元迁移。单元迁移。单元迁移。

【技术实现步骤摘要】
基于变形自编码器和解耦交换的面部动作单元迁移方法及装置


[0001]本专利技术涉及一种基于变形自编码器和解耦交换的面部动作单元迁移方法及装置，属于计算机视觉技术。

技术介绍

[0002]面部动作单元代表人脸的精细表情，美国著名情绪心理学家Ekman等于1978年首次提出了面部动作编码系统(Facial Action Coding System，FACS)，又于2002年作了重要改进。面部动作编码系统根据人脸的解剖学特点划分成若干既相互独立又相互联系的面部动作单元(Action Units，AU)，通过这些面部动作单元的动作特征及其所控制的主要区域可以反映出面部表情。因此，迁移面部动作单元实质是迁移人脸的精细表情。
[0003]人脸表情迁移是指，将捕获到的真实用户的表情映射到另一张目标图像上，从而达到将人脸表情迁移至目标图像的目的。在现有的方案中，可采用三维(3
‑
dimension，3D)的方式进行表情迁移，首先需要基于人脸图像构建人脸头部的3D模型，然后基于相应的3D人脸模型进行图像扭曲和融合等处理，最终实现人脸的表情迁移。
[0004]然而，采用3D建模的方式构建人脸模型需要涉及到复杂的运算，因此，在实际训练的过程中，需要消耗大量的计算资源，导致模型训练的成本较高，且训练难度较大。
[0005]此外，实现从一张源域图片到另一张目标域图片的表情迁移仍然面临着极大的挑战，迁移后的目标图像很难完全保留原始的面部身份以及姿态等方面的目标域特性，并且迁移后的表情难以保证其真实性和生动性。

技术实现思路

[0006]专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于变形自编码器和解耦交换的面部动作单元迁移方法和装置，目标是将面部动作单元从一张源域图片迁移到另一张目标域图片，由于现有的人脸特征点检测开源库可以准确地对人脸图片进行特征点标注，所以可以认定源图片和目标图片都具有准确的特征点标签。面部动作单元代表的是人脸精细表情，迁移面部动作单元实质是迁移人脸的精细表情。
[0007]技术方案：为了实现上述目的，本专利技术采用的技术方案为：
[0008]一种基于变形自编码器和解耦交换的面部动作单元迁移方法，包括如下步骤：
[0009]S01：从源域数据集和目标域数据集中分别抽取源图片和目标图片构成原始图像对组成训练数据集，并对原始图像对进行预处理，每个图片被裁剪为256
×
256大小，并且进一步被随机镜像来实现数据增强，在一定程度上提高模型的泛化能力；将预处理后的原始图像对输入到变形自编码器；
[0010]S02：利用变形自编码器将图片解耦为与表情无关的纹理特征和与表情相关的形状特征，并采用特征点位置来监督形状特征的解耦过程，再将纹理特征输入到纹理解码器得到对应的纹理图片、将形状特征输入到形状解码器得到对应的变形场；
[0011]S03：将得到的源变形场和目标纹理图片一起输入到变形场转换器中，输出能够适配目标纹理图片的目标新变形场；将得到的目标变形场和源纹理图片一起输入到变形场转换器中，输出能够适配源纹理图片的源新变形场；
[0012]S04：利用目标新变形场对目标纹理图片进行变形得到重建的目标图片，即更换为源图片表情的目标新图片；利用源新变形场对源纹理图片进行变形得到重建的源图片，即更换为目标图片表情的源新图片；
[0013]S05：将目标新图片和源新图片分别作为目标图片和源图片再次输入到变形自编码器中，重复一次步骤S02～S04的解耦
‑
交换
‑
重建过程，得到重建的目标新图片和重建的源新图片，即二次交换表情后的、与原始图像对相近的新图像对，用于目标函数的计算；
[0014]S06：组合深度神经网络中各网络模块的损失，使用训练数据集对整个深度神经网络模型进行训练；
[0015]S07：将给定源图片和目标图片输入到训练完成的深度神经网络模型中，将面部动作单元从源图片迁移到目标图片。
[0016]具体的，所述步骤S02中，变形自编码器采用深度学习体系结构，包括一个编码器网络、一个特征点检测网络和两个解码器网络，两个解码器网络分别为纹理解码器网络和形状解码器网络；对于输入变形自编码器的图片，先利用编码器网络将输入图片解耦为与表情无关的纹理特征和与表情相关的形状特征；再将得到的形状特征输入特征点检测网络，预测图像的特征点位置，利用特征点位置来监督将输入图片解耦为形状特征的过程；再将得到的纹理特征输入纹理解码器网络生成纹理图片，将形状特征输入形状解码器网络生成变形场。
[0017]由于密集的人脸特征点所形成的人脸形状也控制着人脸几何结构和精细表情，而且面部动作单元的中心与特征点之间有先验的位置关系，因此可以利用特征点来监督精细表情的迁移；虽然变形自编码器可以无监督地进行特征解耦和重建，但由于形状特征的变形与人脸的精细表情息息相关，因此需要采用一个特征点检测网络预测图像的特征点位置，并基于特征点位置监督形状特征的解耦。
[0018]具体的，所述特征点检测网络的输入为人脸图像的形状特征，输出为预测的特征点位置定义特征点检测网络的损失函数为：
[0019][0020]其中：和分别表示第i个特征点的x坐标和y坐标，i＝1,
…
,n，n为人脸图像上的特征点总数；||
·
||2表示L2范数；d0为真实的双眼瞳孔之间的距离，用于对损失函数进行归一化，有利于消除不同样本之间部分面部属性的差异(例如人脸的不同大小、胖瘦程度等)；q为真实的特征点位置。得益于深度学习的发展，特征点检测网络对遮挡、姿态等干扰较鲁棒，因此利用特征点位置来监督形状特征的解耦能够适应各种场景。
[0021]具体的，所述编码器网络以人脸图片I作为输入，输出纹理与形状的低维向量表示Z＝[Z
T
,Z
S
]；其中，Z
T
为纹理特征，Z
S
为形状特征；所述纹理解码器网络的输入为纹理特征Z
T
，通过纹理解码器网络将低维向量Z
T
转换为纹理图片T，即中性的表情和人脸形状；所述形状
解码器网络的输入为形状特征Z
S
，通过低维向量Z
S
建模变形场W；建模变形场W的过程包括如下步骤：
[0022](1)使用差分解码器对形状特征Z
S
的局部变形信息进行解码：对于纹理图片T上的位置k，经过变形场W处理后新的位置变为W(k)＝(W
x
(k),W
y
(k))，W(k)指示纹理图片T上的位置k在变形场W中的索引，W
x
(k)和W
y
(k)分别指示纹理图片T上的位置k在x方向和y方向新的位置，从而实现变形场W对纹理图片T的变形；
[0023]差分解码器用于生成变形场的空间梯度
▽
x
W
x
和...

【技术保护点】

【技术特征摘要】
1.一种基于变形自编码器和解耦交换的面部动作单元迁移方法，其特征在于：包括如下步骤：S01：从源域数据集和目标域数据集中分别抽取源图片和目标图片构成原始图像对组成训练数据集，并对原始图像对进行预处理，将预处理后的原始图像对输入到变形自编码器；S02：利用变形自编码器将图片解耦为与表情无关的纹理特征和与表情相关的形状特征，并采用特征点位置来监督形状特征的解耦过程，再将纹理特征输入到纹理解码器得到对应的纹理图片、将形状特征输入到形状解码器得到对应的变形场；S03：将得到的源变形场和目标纹理图片一起输入到变形场转换器中，输出能够适配目标纹理图片的目标新变形场；将得到的目标变形场和源纹理图片一起输入到变形场转换器中，输出能够适配源纹理图片的源新变形场；S04：利用目标新变形场对目标纹理图片进行变形得到重建的目标图片，即更换为源图片表情的目标新图片；利用源新变形场对源纹理图片进行变形得到重建的源图片，即更换为目标图片表情的源新图片；S05：将目标新图片和源新图片分别作为目标图片和源图片再次输入到变形自编码器中，重复一次步骤S02～S04的解耦
‑
交换
‑
重建过程，得到重建的目标新图片和重建的源新图片，即二次交换表情后的、与原始图像对相近的新图像对，用于目标函数的计算；S06：组合深度神经网络中各网络模块的损失，使用训练数据集对整个深度神经网络模型进行训练；S07：将给定源图片和目标图片输入到训练完成的深度神经网络模型中，将面部动作单元从源图片迁移到目标图片。2.根据权利要求1所述的基于变形自编码器和解耦交换的面部动作单元迁移方法，其特征在于：所述步骤S02中，变形自编码器采用深度学习体系结构，包括一个编码器网络、一个特征点检测网络和两个解码器网络，两个解码器网络分别为纹理解码器网络和形状解码器网络；对于输入变形自编码器的图片，先利用编码器网络将输入图片解耦为与表情无关的纹理特征和与表情相关的形状特征；再将得到的形状特征输入特征点检测网络，预测图像的特征点位置，利用特征点位置来监督将输入图片解耦为形状特征的过程；再将得到的纹理特征输入纹理解码器网络生成纹理图片，将形状特征输入形状解码器网络生成变形场。3.根据权利要求1所述的基于变形自编码器和解耦交换的面部动作单元迁移方法，其特征在于：所述特征点检测网络的输入为人脸图像的形状特征，输出为预测的特征点位置定义特征点检测网络的损失函数为：其中：和分别表示第i个特征点的x坐标和y坐标，i＝1,
…
,n，n为人脸图像上的特征点总数；||
·
||2表示L2范数；d0为真实的双眼瞳孔之间的距离，q为真实的特征点位置。4.根据权利要求1所述的基于变形自编码器和解耦交换的面部动作单元迁移方法，其特征在于：所述编码器网络以人脸图片I作为输入，输出纹理与形状的低维向量表示Z＝
[Z
T
,Z
S
]；其中，Z
T
为纹理特征，Z
S
为形状特征；所述纹理解码器网络的输入为纹理特征Z
T
，通过纹理解码器网络将低维向量Z
T
转换为纹理图片T，即中性的表情和人脸形状；所述形状解码器网络的输入为形状特征Z
S
，通过低维向量Z
S
建模变形场W；建模变形场W的过程包括如下步骤：(1)使用差分解码器对形状特征Z
S
的局部变形信息进行解码：对于纹理图片T上的位置k，经过变形场W处理后新的位置变为W(k)＝(W
x
(k),W
y
(k))，W(k)指示纹理图片T上的位置k在变形场W中的索引，W
x
(k)和W
y
(k)分别指示纹理图片T上的位置k在x方向和y方向新的位置，从而实现变形场W对纹理图片T的变形；差分解码器用于生成变形场的空间梯度和和的绝对值表示在x方向连续像素点的位移量，的正负表示在x方向连续像素点的位移方向；的绝对值表示在y方向连续像素点的位移量...

【专利技术属性】
技术研发人员：邵志文，周勇，祝汉城，杜文亮，孙莹，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：