一种目标图片的人脸驱动方法及装置制造方法及图纸

本发明专利技术实施例提供了一种目标图片的人脸驱动方法及装置，涉及图片处理技术领域，上述方法包括：获得驱动源图片和目标图片；提取所述驱动源图片的身份特征信息，并获得所述目标图片中待驱动人脸的人脸三维网格数据；基于所述人脸三维网格数据和所述身份特征信息，对所述目标图片进行特征融合，生成与所述人脸三维网格数据和所述身份特征信息均一致的已驱动图片。应用本发明专利技术实施例提供的方案对目标图片的人脸进行人脸驱动，能够丰富所生成的已驱动图片中人脸面部细节。图片中人脸面部细节。图片中人脸面部细节。

【技术实现步骤摘要】
一种目标图片的人脸驱动方法及装置


[0001]本专利技术涉及图像处理
，特别是涉及一种目标图片的人脸驱动方法及装置。

技术介绍

[0002]图片的人脸驱动是指驱动图片中的人脸，使得图片中所包含人脸发生变化。通常可以基于驱动源图片，对目标图片中的人脸进行驱动。然而，在对目标图片的人脸进行驱动时，生成的已驱动图片中人脸面部细节不全面。

技术实现思路

[0003]本专利技术实施例的目的在于提供一种目标图片的人脸驱动方法及装置，以丰富所生成的已驱动图片中人脸面部细节。具体技术方案如下：
[0004]第一方面，本专利技术实施例提供了一种目标图片的人脸驱动方法，所述方法包括：
[0005]获得驱动源图片和目标图片；
[0006]提取所述驱动源图片的身份特征信息，并获得所述目标图片中待驱动人脸的人脸三维网格数据；
[0007]基于所述人脸三维网格数据和所述身份特征信息，对所述目标图片进行特征融合，生成与所述人脸三维网格数据和所述身份特征信息均一致的已驱动图片。
[0008]本专利技术的一个实施例中，上述提取所述驱动源图片的身份特征信息，包括：
[0009]将所述驱动源图片输入预先训练好的图片驱动模型中的编码器，获得编码器输出的图片编码，作为身份特征信息；
[0010]所述图片驱动模型，还包括生成器；
[0011]所述基于所述人脸三维网格数据和所述身份特征信息，对所述目标图片进行特征融合，生成与所述人脸三维网格数据和所述身份特征信息均一致的已驱动图片，包括：
[0012]将所述人脸三维网格数据和所述身份特征信息输入所述图片驱动模型中的生成器，获得所述图片驱动模型中的生成器基于所述人脸三维网格数据和所述身份特征信息对所述目标图片进行特征融合，生成与所述人脸三维网格数据及身份特征信息均一致的已驱动图片。
[0013]本专利技术的一个实施例中，上述图片驱动模型，采用如下步骤获得：
[0014]确定图片驱动模型对应的第一训练模型，所述第一训练训练模型，包括：第一编码器、第一生成器和第一判别器；
[0015]获得样本驱动源图片和样本目标图片；
[0016]获得所述样本目标图片中样本人脸的样本人脸三维网格数据；
[0017]将所述样本驱动源图片输入所述第一编码器，获得所述第一编码器输出的图像编码，作为第一样本源身份特征信息；
[0018]将所述第一样本源身份特征信息以及所述样本人脸三维网格数据输入所述第一
生成器，获得所述第一生成器基于所述第一样本源身份特征信息以及所述样本人脸三维网格数据，对所述样本目标图片进行特征融合，生成样本已驱动图片；
[0019]将所述样本已驱动图片、所述样本目标图片以及所述样本人脸三维网格数据输入所述第一判别器，获得所述第一判别器对第一损失值和第二损失值进行数据融合得到的第一目标损失值，其中，所述第一损失值为：基于第一预设损失函数计算得到的所述样本已驱动图片与所述样本目标图片之间的损失值，所述第二损失值为：基于第二预设损失函数计算得到的所述样本已驱动图片中人脸的人脸三维网格数据与所述样本人脸三维网格数据之间的损失值；
[0020]若基于所述第一目标损失值确定第一训练模型不收敛，则调整所述第一编码器、第一生成器和第一判别器的模型参数，继续训练；
[0021]若基于所述第一目标损失值确定第一训练模型收敛，则训练完成，将第一判别器去除，得到训练完成的图片驱动模型；
[0022]所述第一预设损失函数为：
[0023][0024]其中，表示样本已驱动图片，x(t)表示样本目标图片；
[0025]所述第二预设损失函数为：
[0026][0027]其中，S表示所述人脸三维网格数据中顶点的数量，表示样本已驱动图像中人脸的人脸三维网格数据中各顶点的坐标，m
i
(t)表示所述样本人脸三维网格数据中各顶点的坐标。
[0028]本专利技术的一个实施例中，上述第一目标损失值，按照以下表达式对所述第一损失值和第二损失值进行数据融合：
[0029][0030]其中，为数据融合后得到的数值，表示所述第一损失值，表示所述第二损失值，α表示第一预设权重，β表示第二预设权重。
[0031]本专利技术的一个实施例中，上述目标图片为：目标视频的第一帧视频帧图像，
[0032]所述基于所述人脸三维网格数据和所述身份特征信息，对所述目标图片进行特征融合，生成与所述人脸三维网格数据和所述身份特征信息均一致的已驱动图片，包括：
[0033]基于所述第一帧视频帧图像中待驱动人脸的第一帧人脸三维网格数据和所述身份特征信息，对所述第一帧视频帧图像进行特征融合，生成与所述第一帧人脸三维网格数据和所述身份特征信息均一致的第一帧已驱动视频帧图像；
[0034]所述方法还包括：
[0035]获得所述目标视频中第一帧之后的当前视频帧图像，并获得上一帧已驱动视频帧图像，其中，所述上一帧已驱动视频帧图像为：所述当前视频帧图像的上一帧进行人脸驱动
后生成的视频帧图像；
[0036]获取所述当前视频帧图像中待驱动人脸的当前人脸三维网格数据；
[0037]提取所述上一帧已驱动视频帧图像的当前身份特征信息；
[0038]基于所述当前人脸三维网格数据和当前身份特征信息，对所述当前视频帧图像进行特征融合，生成与所述当前人脸三维网格数据和所述当前身份特征信息均一致的当前已驱动视频帧图像。
[0039]本专利技术的一个实施例中，上述提取所述上一帧已驱动视频帧图像的当前身份特征信息，包括：
[0040]将所述上一帧已驱动视频帧图像输入预先训练好的视频帧图像驱动模型中的编码器，获得所述视频帧图像驱动模型的编码器输出的图像编码，作为当前身份特征信息；
[0041]所述视频帧图像驱动模型，还包括生成器；
[0042]所述基于所述当前人脸三维网格数据和当前身份特征信息，对所述当前视频帧图像进行特征融合，生成与所述当前人脸三维网格数据和所述当前身份特征信息均一致的当前已驱动视频帧图像，包括：
[0043]将所述当前人脸三维网格数据和当前身份特征信息输入所述视频帧图像驱动模型的生成器，获得所述视频帧图像驱动模型的生成器基于所述当前人脸三维网格数据和当前身份特征信息，对所述当前视频帧图像进行特征融合，生成与当前人脸三维网格数据及当前身份特征信息均一致的当前已驱动视频帧图像。
[0044]本专利技术的一个实施例中，上述第一帧已驱动视频帧图像，采用如下步骤生成：
[0045]获取所述第一帧视频帧图像中待驱动人脸的第一帧人脸三维网格数据；
[0046]将驱动源图像输入所述视频帧图像驱动模型的编码器，获得所述视频帧图像驱动模型的编码器输出的图像编码，作为驱动源图像的身份特征信息；
[0047]将所述第一帧人脸三维网格数据和身份特征信息输入所述视频帧图像驱动模型的生成器，获得所述视频帧图像驱动模型的生成器基于所述第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标图片的人脸驱动方法，其特征在于，所述方法包括：获得驱动源图片和目标图片；提取所述驱动源图片的身份特征信息，并获得所述目标图片中待驱动人脸的人脸三维网格数据；基于所述人脸三维网格数据和所述身份特征信息，对所述目标图片进行特征融合，生成与所述人脸三维网格数据和所述身份特征信息均一致的已驱动图片。2.根据权利要求1所述的方法，其特征在于，所述提取所述驱动源图片的身份特征信息，包括：将所述驱动源图片输入预先训练好的图片驱动模型中的编码器，获得编码器输出的图片编码，作为身份特征信息；所述图片驱动模型，还包括生成器；所述基于所述人脸三维网格数据和所述身份特征信息，对所述目标图片进行特征融合，生成与所述人脸三维网格数据和所述身份特征信息均一致的已驱动图片，包括：将所述人脸三维网格数据和所述身份特征信息输入所述图片驱动模型中的生成器，获得所述图片驱动模型中的生成器基于所述人脸三维网格数据和所述身份特征信息对所述目标图片进行特征融合，生成与所述人脸三维网格数据及身份特征信息均一致的已驱动图片。3.根据权利要求2所述的方法，其特征在于，所述图片驱动模型，采用如下步骤获得：确定图片驱动模型对应的第一训练模型，所述第一训练训练模型，包括：第一编码器、第一生成器和第一判别器；获得样本驱动源图片和样本目标图片；获得所述样本目标图片中样本人脸的样本人脸三维网格数据；将所述样本驱动源图片输入所述第一编码器，获得所述第一编码器输出的图像编码，作为第一样本源身份特征信息；将所述第一样本源身份特征信息以及所述样本人脸三维网格数据输入所述第一生成器，获得所述第一生成器基于所述第一样本源身份特征信息以及所述样本人脸三维网格数据，对所述样本目标图片进行特征融合，生成样本已驱动图片；将所述样本已驱动图片、所述样本目标图片以及所述样本人脸三维网格数据输入所述第一判别器，获得所述第一判别器对第一损失值和第二损失值进行数据融合得到的第一目标损失值，其中，所述第一损失值为：基于第一预设损失函数计算得到的所述样本已驱动图片与所述样本目标图片之间的损失值，所述第二损失值为：基于第二预设损失函数计算得到的所述样本已驱动图片中人脸的人脸三维网格数据与所述样本人脸三维网格数据之间的损失值；若基于所述第一目标损失值确定第一训练模型不收敛，则调整所述第一编码器、第一生成器和第一判别器的模型参数，继续训练；若基于所述第一目标损失值确定第一训练模型收敛，则训练完成，将第一判别器去除，得到训练完成的图片驱动模型；所述第一预设损失函数为：
其中，表示样本已驱动图片，x(t)表示样本目标图片；所述第二预设损失函数为：其中，S表示所述人脸三维网格数据中顶点的数量，表示样本已驱动图像中人脸的人脸三维网格数据中各顶点的坐标，m
i
(t)表示所述样本人脸三维网格数据中各顶点的坐标。4.根据权利要求3所述的方法，其特征在于，所述第一目标损失值，按照以下表达式对所述第一损失值和第二损失值进行数据融合：其中，为数据融合后得到的数值，表示所述第一损失值，表示所述第二损失值，α表示第一预设权重，β表示第二预设权重。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述目标图片为：目标视频的第一帧视频帧图像，所述基于所述人脸三维网格数据和所述身份特征信息，对所述目标图片进行特征融合，生成与所述人脸三维网格数据和所述身份特征信息均一致的已驱动图片，包括：基于所述第一帧视频帧图像中待驱动人脸的第一帧人脸三维网格数据和所述身份特征信息，对所述第一帧视频帧图像进行特征融合，生成与所述第一帧人脸三维网格数据和所述身份特征信息均一致的第一帧已驱动视频帧图像；所述方法还包括：获得所述目标视频中第一帧之后的当前视频帧图像，并获得上一帧已驱动视频帧图像，其中，所述上一帧已驱动视频帧图像为：所述当前视频帧图像的上一帧进行人脸驱动后生成的视频帧图像；获取所述当前视频帧图像中待驱动人脸的当前人脸三维网格数据；提取所述上一帧已驱动视频帧图像的当前身份特征信息；基于所述当前人脸三维网格数据和当前身份特征信息，对所述当前视频帧图像进行特征融合，生成与所述当前人脸三维网格数据和所述当前身份特征信息均一致的当前已驱动视频帧图像。6.根据权利要求5所述的方法，其特征在于...

【专利技术属性】
技术研发人员：郑义，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：