当前位置: 首页 > 专利查询>上海大学专利>正文

一种基于风格化生成对抗网络的高清换脸方法技术

技术编号:40148207 阅读:30 留言:0更新日期:2024-01-24 00:46
本发明专利技术涉及一种基于风格化生成对抗网络的高清换脸方法,包括以下步骤:获取源人脸‑目标人脸图像对;将所述人脸图像对输入预先构建好的特征提取网络模型中,输出预测的换脸图像,并将目标人脸图像输入目标遮罩预测器中,输出预测的目标遮罩,其中特征提取网络模型包含身份编码器、属性编码器、映射网络和StyleGAN2生成器;将所述换脸图像和目标遮罩输入FS‑Net网络模型中进行换脸图像重建;提取所述目标遮罩的背景部分为背景遮罩,与重建后换脸图像进行线性计算得到高清换脸图像。与现有技术相比,本发明专利技术具有显著提高了换脸图像的质量等优点。

【技术实现步骤摘要】

本专利技术涉及图像处理技术与人脸属性编辑领域,尤其是涉及一种基于风格化生成对抗网络的高清换脸方法


技术介绍

1、换脸旨将源人脸的身份实体转换到目标人脸,同时保持目标人脸属性特征(如表情、姿势、灯光等)不变,是视觉特效中一个长期存在且具有挑战性的问题。随着超高清视频时代的到来,高清换脸方法的研究价值和市场价值受到了电影、游戏和虚拟数字人等数字互娱领域的高度关注。

2、然而,目前的换脸方法仍无法满足实际工业需求。其一,主流的换脸方法受限于编解码器的信息压缩,难以生成高清的换脸图像。最新的一些研究利用风格化生成对抗网络实现了高清换脸,但这些方法不能充分解耦潜在空间,使得生成的换脸图像特征缠结。并且训练过程需要耗费极大的计算资源。其次,主流换脸方法采用泊松融合来缝合生成人脸与背景,极易产生融合伪影。因此,如何生成充分解耦的且具有高视觉质量的换脸图像仍是目前的研究重点。


技术实现思路

1、本专利技术的目的就是为了提供一种提高换脸图像质量的基于风格化生成对抗网络的高清换脸方法。

<p>2、本专利技术的本文档来自技高网...

【技术保护点】

1.一种基于风格化生成对抗网络的高清换脸方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于风格化生成对抗网络的高清换脸方法,其特征在于,所述特征提取网络模型的构建过程具体包括:

3.根据权利要求2所述的一种基于风格化生成对抗网络的高清换脸方法,其特征在于,采用MTCNN人脸识别方法进行预处理。

4.根据权利要求1所述的一种基于风格化生成对抗网络的高清换脸方法,其特征在于,所述特征提取网络模型的损失函数的表达式为:

5.根据权利要求4所述的一种基于风格化生成对抗网络的高清换脸方法,其特征在于,所述身份损失的表达式为:

<...

【技术特征摘要】

1.一种基于风格化生成对抗网络的高清换脸方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于风格化生成对抗网络的高清换脸方法,其特征在于,所述特征提取网络模型的构建过程具体包括:

3.根据权利要求2所述的一种基于风格化生成对抗网络的高清换脸方法,其特征在于,采用mtcnn人脸识别方法进行预处理。

4.根据权利要求1所述的一种基于风格化生成对抗网络的高清换脸方法,其特征在于,所述特征提取网络模型的损失函数的表达式为:

5.根据权利要求4所述的一种基于风格化生成对抗网络的高清换脸方法,其特征在于,所述身份损失的表达式为:

6.根...

【专利技术属性】
技术研发人员:黄东晋刘传蔓刘金华
申请(专利权)人:上海大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1