基于属性全解耦的人脸替换方法和设备技术

本发明专利技术提供一种基于属性全解耦的人脸替换方法和设备，属于图像处理技术领域，该方法包括：获取源人脸图像和目标人脸图像；获取所述目标人脸图像的光照参数和姿态参数；根据所述源人脸图像的身份信息向量，所述目标人脸图像的背景信息向量和表情向量，以及所述目标人脸图像的光照参数和姿态参数，利用训练得到的人脸图像生成模型进行人脸生成，得到换脸图像；所述源人脸图像的身份信息向量，所述目标人脸图像的背景信息向量和表情向量为利用所述人脸图像生成模型对所述源人脸图像和目标人脸图像进行反演得到的。上述方案中显式地对人脸图像的面部光照、姿态、背景信息、身份信息等特征进行全解耦，提升了换脸效果。

【技术实现步骤摘要】

本专利技术涉及图像处理，尤其涉及一种基于属性全解耦的人脸替换方法和设备。

技术介绍

1、人脸交换技术因其在电影制作、虚拟数字人、隐私保护等多个领域的广泛应用而得到工业界和学术界的广泛关注。人脸替换任务的目的是将人脸的身份信息从源人脸图像转移到目标人脸图像，同时保留目标人脸图像中的其他人脸属性信息，包括姿态、表情、照明条件、发型服饰等。

2、目前人脸换脸研究大多通过设计特定的损失函数，通过简单地对换脸前后的2d图像表观和目标身份信息进行约束来隐式地训练换脸网络，但由于人脸图像具有较多复杂的属性信息，因此，通过上述方案得到的换脸网络进行换脸时，容易出现人脸相似度不足的问题，换脸效果较差。

技术实现思路

1、本专利技术提供一种基于属性全解耦的人脸替换方法和设备，用以解决现有技术中换脸效果较差的缺陷，实现一种基于属性全解耦的人脸替换方法。

2、本专利技术提供一种基于属性全解耦的人脸替换方法，包括：

3、获取源人脸图像和目标人脸图像；

4、获取所述目标人脸图像的光照参数和本文档来自技高网...

【技术保护点】

1.一种基于属性全解耦的人脸替换方法，其特征在于，包括：

2.根据权利要求1所述的基于属性全解耦的人脸替换方法，其特征在于，所述人脸图像生成模型包括：面部动作编码层、映射网络、三平面特征生成模型，光线解耦模型，体积渲染模块，以及图像判别器和视频判别器；所述面部动作编码层用于对输入的时间因子和表情向量进行编码得到表情潜向量；所述映射网络用于对输入光照参数、姿态参数和外观向量进行编码得到外观潜向量；所述人脸图像生成模型为通过第一阶段和第二阶段训练得到的；所述第一阶段的训练过程如下：

3.根据权利要求2所述的基于属性全解耦的人脸替换方法，其特征在于，根据两组所述三平面特...

【技术特征摘要】

1.一种基于属性全解耦的人脸替换方法，其特征在于，包括：

2.根据权利要求1所述的基于属性全解耦的人脸替换方法，其特征在于，所述人脸图像生成模型包括：面部动作编码层、映射网络、三平面特征生成模型，光线解耦模型，体积渲染模块，以及图像判别器和视频判别器；所述面部动作编码层用于对输入的时间因子和表情向量进行编码得到表情潜向量；所述映射网络用于对输入光照参数、姿态参数和外观向量进行编码得到外观潜向量；所述人脸图像生成模型为通过第一阶段和第二阶段训练得到的；所述第一阶段的训练过程如下：

3.根据权利要求2所述的基于属性全解耦的人脸替换方法，其特征在于，根据两组所述三平面特征利用所述光线解耦模型和所述体积渲染模块，生成两张第二人脸图像，包括：

4.根据权利要求2所述的基于属性全解耦的人脸替换方法，其特征在于，所述人脸图像生成模型的训练过程还包括：

5.根据权利要求2所述的基于属性全解耦的人脸替换方法，其特征在于，所述人脸图像生成模型的训练过程还包括：

【专利技术属性】
技术研发人员：王金桥，李碧莹，刘智威，
申请(专利权)人：中科视语句容科技有限公司，
类型：发明
国别省市：