面部图像处理方法和面部图像处理模型的训练方法技术

本申请实施例公开了面部图像处理方法和面部图像处理模型的训练方法；可以获取源面部的面部图像和模板面部的面部模板图像；对面部图像和面部模板图像进行三维面部建模，得到面部图像的三维面部图像特征和面部模板图像的三维面部模板图像特征；将三维面部图像特征和三维面部模板图像特征进行融合处理，得到融合后三维面部图像特征；基于面部模板图像，对所述面部图像进行面部替换特征提取处理，得到初始面部替换特征；基于融合后三维面部图像特征对初始面部替换特征进行转换处理，得到目标面部替换特征；基于目标面部替换特征和面部图像的面部特征，将面部模板图像中的模板面部替换为源面部，得到替换后面部图像，从而提高面部图像处理的准确性。图像处理的准确性。图像处理的准确性。

【技术实现步骤摘要】
面部图像处理方法和面部图像处理模型的训练方法


[0001]本申请涉及计算机
，具体涉及面部图像处理方法和面部图像处理模型的训练方法。

技术介绍

[0002]近年来，随着技术的发展，在电影特效和互联网社交等应用中，存在保持将面部图像中对象的风格的情况下，将对象的面部替换为其他对象的面部的需求，针对这种需求，就需要对面部图像进行处理，现有的面部图像处理方法主要通过三维建模的方式或者生成对抗网络的来实现对象的面部替换。
[0003]在对现有技术的研究和实践中，本申请的专利技术人发现现有的对面部进行替换的方法只考虑了面部的身份的保持，而面部轮廓作为面部的边缘区域，往往会被忽略掉，这会降低面部图像处理的准确性。

技术实现思路

[0004]本申请实施例提出了面部图像处理方法和面部图像处理模型的训练方法，提高了面部图像处理的准确性。
[0005]本申请实施例提供了一种面部图像处理方法，包括：
[0006]获取源面部的面部图像和模板面部的面部模板图像；
[0007]对所述面部图像和所述面部模板图像进行三维面部建模，得到所述面部图像的三维面部图像特征和所述面部模板图像的三维面部模板图像特征；
[0008]将所述三维面部图像特征和所述三维面部模板图像特征进行融合处理，得到融合后三维面部图像特征；
[0009]基于所述面部模板图像，对所述面部图像进行面部替换特征提取处理，得到初始面部替换特征；
[0010]基于所述融合后三维面部图像特征对所述初始面部替换特征进行转换处理，得到目标面部替换特征；
[0011]利用训练后面部图像处理模型基于所述目标面部替换特征和所述面部图像的面部特征，将所述面部模板图像中的模板面部替换为所述源面部，得到替换后面部图像。
[0012]相应的，本申请实施例还提供了一种面部图像处理装置，包括：
[0013]第一获取单元，用于获取源面部的面部图像和模板面部的面部模板图像；
[0014]三维面部建模单元，用于对所述面部图像和所述面部模板图像进行三维面部建模，得到所述面部图像的三维面部图像特征和所述面部模板图像的三维面部模板图像特征；
[0015]第一融合单元，用于将所述三维面部图像特征和所述三维面部模板图像特征进行融合处理，得到融合后三维面部图像特征；
[0016]特征提取单元，用于基于所述面部模板图像，对所述面部图像进行面部替换特征
提取处理，得到初始面部替换特征；
[0017]转换单元，用于基于所述融合后三维面部图像特征对所述初始面部替换特征进行转换处理，得到目标面部替换特征；
[0018]第一替换单元，用于利用训练后面部图像处理模型基于所述目标面部替换特征和所述面部图像的面部特征，将所述面部模板图像中的模板面部替换为所述源面部，得到替换后面部图像。
[0019]在一实施例中，所述第一融合单元，包括：
[0020]第一提取子单元，用于在所述三维面部图像特征中提取出所述面部图像对应的源面部身份参数；
[0021]第二提取子单元，用于在所述三维面部模板图像特征中提取出所述面部模板图像对应的模板面部图像参数；
[0022]第一融合子单元，用于将所述源面部身份参数和所述模板面部图像参数进行融合，得到所述融合后三维面部图像特征。
[0023]在一实施例中，所述特征提取单元，包括：
[0024]第一编码子单元，用于对所述面部模板图像进行编码处理，得到所述面部模板图像的第一编码特征；
[0025]第二编码子单元，用于对所述面部图像进行编码处理，得到所述面部图像的第二编码特征；
[0026]第一调整子单元，用于基于所述第二编码特征，对所述第一编码特征进行调整，得到所述初始面部替换特征。
[0027]在一实施例中，所述转换单元，包括：
[0028]第一统计子单元，用于对所述融合后三维面部图像特征进行统计处理，得到统计后三维面部图像特征，以及对所述初始面部替换特征进行统计处理，得到统计后面部替换特征；
[0029]第二统计子单元，用于将所述初始面部替换特征和所述统计后面部替换特征进行逻辑运算处理，得到运算后面部替换特征；
[0030]逻辑运算处理子单元，用于将所述运算后面部替换特征和所述统计后三维面部图像特征进行逻辑运算处理，得到所述目标面部替换特征。
[0031]本申请实施例还提供了一种面部图像处理模型的训练方法，包括：
[0032]获取训练图像样本组，所述训练图像样本组包括面部图像样本、面部模板图像样本和面部参考图像样本；
[0033]利用预设面部图像处理模型将所述面部模板图像样本中的模板面部替换为所述面部图像样本中的源面部，得到预测面部图像；
[0034]对所述预测面部图像进行三维面部轮廓点检测，得到所述预测面部图像的三维面部轮廓点，以及对所述面部参考图像样本进行三维面部轮廓点检测，得到所述面部参考图像样本的三维面部轮廓点；
[0035]计算所述预测面部图像的三维面部轮廓点和所述面部参考图像样本的三维面部轮廓点之间的差异，得到所述预测面部图像和所述面部参考图像样本之间的面部轮廓损失信息；
[0036]基于所述面部轮廓损失信息对所述预设面部图像处理模型进行调整，得到训练后面部图像处理模型。
[0037]相应的，本申请实施例还提供了一种面部图像处理模型的训练装置，包括：
[0038]第二获取单元，用于获取训练图像样本组，所述训练图像样本组包括面部图像样本、面部模板图像样本和面部参考图像样本；
[0039]第二替换单元，用于利用预设面部图像处理模型将所述面部模板图像样本中的模板面部替换为所述面部图像样本中的源面部，得到预测面部图像；
[0040]三维面部轮廓点检测单元，用于对所述预测面部图像进行三维面部轮廓点检测，得到所述预测面部图像的三维面部轮廓点，以及对所述面部参考图像样本进行三维面部轮廓点检测，得到所述面部参考图像样本的三维面部轮廓点；
[0041]计算单元，用于计算所述预测面部图像的三维面部轮廓点和所述面部参考图像样本的三维面部轮廓点之间的差异，得到所述预测面部图像和所述面部参考图像样本之间的面部轮廓损失信息；
[0042]调整单元，用于基于所述面部轮廓损失信息对所述预设面部图像处理模型进行调整，得到训练后面部图像处理模型。
[0043]在一实施例中，所述三维面部轮廓点检测单元，包括：
[0044]三维面部建模子单元，用于对所述预测面部图像进行三维面部建模，得到所述预测面部图像的三维预测面部图像特征；
[0045]三维关键点投影子单元，用于对所述三维预测面部图像特征进行三维关键点投影，得到所述预测面部图像的三维面部关键点；
[0046]筛选子单元，用于基于所述三维面部关键点，从所述三维面部关键点中筛选出所述三维面部轮廓点。
[0047]在一实施例中，所述三维关键点投影子单元，包括：...

【技术保护点】

【技术特征摘要】
1.一种面部图像处理方法，其特征在于，包括：获取源面部的面部图像和模板面部的面部模板图像；对所述面部图像和所述面部模板图像进行三维面部建模，得到所述面部图像的三维面部图像特征和所述面部模板图像的三维面部模板图像特征；将所述三维面部图像特征和所述三维面部模板图像特征进行融合处理，得到融合后三维面部图像特征；基于所述面部模板图像，对所述面部图像进行面部替换特征提取处理，得到初始面部替换特征；基于所述融合后三维面部图像特征对所述初始面部替换特征进行转换处理，得到目标面部替换特征；利用训练后面部图像处理模型基于所述目标面部替换特征和所述面部图像的面部特征，将所述面部模板图像中的模板面部替换为所述源面部，得到替换后面部图像。2.如权利要求1所述的面部图像处理方法，其特征在于，所述将所述三维面部图像特征和所述三维面部模板图像特征进行融合处理，得到融合后三维面部图像特征，包括：在所述三维面部图像特征中提取出所述面部图像对应的源面部身份参数；在所述三维面部模板图像特征中提取出所述面部模板图像对应的模板面部图像参数；将所述源面部身份参数和所述模板面部图像参数进行融合，得到所述融合后三维面部图像特征。3.如权利要求1所述的面部图像处理方法，其特征在于，所述基于所述面部模板图像，对所述面部图像进行面部替换特征提取处理，得到初始面部替换特征，包括：对所述面部模板图像进行编码处理，得到所述面部模板图像的第一编码特征；对所述面部图像进行编码处理，得到所述面部图像的第二编码特征；基于所述第二编码特征，对所述第一编码特征进行调整，得到所述初始面部替换特征。4.如权利要求1所述的面部图像处理方法，其特征在于，所述基于所述融合后三维面部图像特征对所述初始面部替换特征进行转换处理，得到目标面部替换特征，包括：对所述融合后三维面部图像特征进行统计处理，得到统计后三维面部图像特征，以及对所述初始面部替换特征进行统计处理，得到统计后面部替换特征；将所述初始面部替换特征和所述统计后面部替换特征进行逻辑运算处理，得到运算后面部替换特征；将所述运算后面部替换特征和所述统计后三维面部图像特征进行逻辑运算处理，得到所述目标面部替换特征。5.如权利要求1所述的面部图像处理方法，其特征在于，所述将所述三维面部图像特征和所述三维面部模板图像特征进行融合处理，得到融合后三维面部图像特征，包括：利用所述训练后面部图像处理模型将所述三维面部图像特征和所述三维面部模板图像特征进行融合处理，得到融合后三维面部图像特征；所述基于所述面部模板图像，对所述面部图像进行面部替换特征提取处理，得到初始面部替换特征，包括：利用所述训练后面部图像处理模型基于所述面部模板图像，对所述面部图像进行面部替换特征提取处理，得到初始面部替换特征；
所述基于所述融合后三维面部图像特征对所述初始面部替换特征进行转换处理，得到目标面部替换特征，包括：利用所述训练后面部图像处理模型基于所述融合后三维面部图像特征对所述初始面部替换特征进行转换处理，得到目标面部替换特征。6.一种面部图像处理模型的训练方法，其特征在于，包括：获取训练图像样本组，所述训练图像样本组包括面部图像样本、面部模板图像样本和面部参考图像样本；利用预设面部图像处理模型将所述面部模板图像样本中的模板面部替换为所述面部图像样本中的源面部，得到预测面部图像；对所述预测面部图像进行三维面部轮廓点检测，得到所述预测面部图像的三维面部轮廓点，以及对所述面部参考图像样本进行三维面部轮廓点检测，得到所述面部参考图像样本的三维面部轮廓点；计算所述预测面部图像的三维面部轮廓点和所述面部参考图像样本的三维面部轮廓点之间的差异，得到所述预测面部图像和所述面部参考图像样本之间的面部轮廓损失信息；基于所述面部轮廓损失信息对所述预设面部图像处理模型进行调整，得到训练后面部图像处理模型。7.如权利要求6所述的训练方法，其特征在于，所述对所述预测面部图像进行三维面部轮廓点检测，得到所述预测面部图像的三维面部轮廓点，包括：对所述预测面部图像进行三维面部建模，得到所述预测面部图像的三维预测面部图像特征；对所述三维预测面部图像特征进行三维关键点投影，得到所述预测面部图像的三维面部关键点；基于所述三维面部关键点，从所述三维面部关键点中筛选出所述三维面部轮廓点。8.如权利要求7所述的训练方法，其特征在于，所述对所述三维预测面部图像特征进行三维关键点投影，得到所述预测面部图像的三维面部关键点，包括：从所述三维预测面部图像特征中提取出所述预测面部图像的预测面部身份参数和预测面部表情参数；利用预设传递参数将所述预测面部身份参数和预测面部表情参数进行三维关键点投影，...

【专利技术属性】
技术研发人员：贺珂珂，朱俊伟，赵艳丹，陈旭，邰颖，汪铖杰，李季檩，黄飞跃，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：