【技术实现步骤摘要】
一种通用的快速换脸方法、装置、电子设备和存储介质
本专利技术涉及人工智能
,特别涉及一种通用的快速换脸方法、装置、电子设备和存储介质。
技术介绍
如何基于用户的单张图像实现换脸任务(将指定一张原图像中的人脸的身份特征迁移到目标图像的人上,并保持目标人物的属性:肤色,表情,发型,背景等)具有广泛的应用价值。例如,虚拟世界、电影特效、美发设计、娱乐短视频等。现有的换脸技术主要有基于人脸关键点的换脸算法,基于人脸3D模型的换脸算法以及基于生成对抗网络的换脸算法。这些算法均能够实现换脸任务,但是并不能实现原图像人脸身份和目标图像的人物属性的很好的剥离和融合,导致现有的换脸技术缺少真实感,不能很好的保留原图像的身份特征和目标图像的人物属性,并且大多数需要针对换脸的原图像人物和目标图像的人物单独训练,而不是通用的模型。
技术实现思路
基于此,有必要针对基于现有的换脸方法的缺少真实感、且需要针对换脸的原图像人物和目标图像的人物单独训练的问题,提供一种通用的快速换脸方法、装置、电子设备和存储介质。第 ...
【技术保护点】
1.一种通用的快速换脸方法,其特征在于,所述方法包括:/n获取第一人脸图像对应的第一人脸渲染图,以及获取第二人脸图像的预处理图像,所述第一人脸渲染图为基于所述第一人脸图像生成的具有所述第二人脸图像的预设属性特征信息的人脸渲染图;/n将所述第一人脸渲染图输入至第一编码器,输出第一编码,所述第一编码器用于提取所述第一人脸渲染图的身份特征;/n将所述第二人脸图像的预处理图像输入至第二编码器,输出第二编码,所述第二编码器用于提取所述第二人脸图像的预处理图像的背景特征;/n通过自适应网络,将所述第一编码器提取的所述身份特征转换为所述第二编码器提取的所述背景特征的偏移量和尺度变化因子; ...
【技术特征摘要】
1.一种通用的快速换脸方法,其特征在于,所述方法包括:
获取第一人脸图像对应的第一人脸渲染图,以及获取第二人脸图像的预处理图像,所述第一人脸渲染图为基于所述第一人脸图像生成的具有所述第二人脸图像的预设属性特征信息的人脸渲染图;
将所述第一人脸渲染图输入至第一编码器,输出第一编码,所述第一编码器用于提取所述第一人脸渲染图的身份特征;
将所述第二人脸图像的预处理图像输入至第二编码器,输出第二编码,所述第二编码器用于提取所述第二人脸图像的预处理图像的背景特征;
通过自适应网络,将所述第一编码器提取的所述身份特征转换为所述第二编码器提取的所述背景特征的偏移量和尺度变化因子;
根据所述偏移量和所述尺度变化因子,通过所述第二编码器进行特征融合处理,生成混合特征,所述混合特征为具有所述第一人脸渲染图的所述身份特征和所述预处理图像的所述背景特征;
生成器根据所述混合特征生成换脸图像,所述换脸图像为基于所述第一人脸渲染图生成的具有所述预处理图像的所述背景特征的图像。
2.根据权利要求1所述的方法,其特征在于,所述获取第二人脸图像的预处理图像包括:
识别所述第二人脸图像的人脸部分;
将所述人脸部分替换为白色图像,得到所述预处理图像。
3.根据权利要求1所述的方法,其特征在于,
所述背景特征包括以下至少一项:
所述第二人脸图像的预处理图像的人物背景特征、所述第二人脸图像的预处理图像的发型特征和所述第二人脸图像的预处理图像的身体特征。
4.根据权利要求1所述的方法,其特征在于,所述获取第一人脸图像对应的第一人脸渲染图包括:
获取所述第一人脸图像的第三编码和第二人脸图像的第四编码,所述第三编码具有所述第一人脸图像的所述身份特征,所述第二编码具有所述第二人脸图像的预设属性特征;
基于所述第三编码获取第一控制参数,以及基于所述第四编码获取第二控制参数;
根据所述第一控制参数和所述第二控制参数生成第三控制参数;
根据第三控制参数,对所述第一人脸图像进行渲染,生成第一人脸图像渲染图。
5.根...
【专利技术属性】
技术研发人员:程斌,徐善,袁东东,张世豪,李萌,
申请(专利权)人:北京智源人工智能研究院,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。