图像处理方法、装置、计算机设备、存储介质及程序产品制造方法及图纸

本申请提供一种图像处理方法、装置、计算机设备、存储介质及程序产品，涉及人工智能、计算机视觉、地图、智慧交通领域。通过获取待换脸图像的属性参数，基于待换脸图像的属性参数和预存储的目标脸部的属性参数确定目标属性参数；基于目标属性参数和目标脸部的脸部特征得到目标综合特征；将待换脸图像编码为图像编码特征，得到待换脸图像在像素级的细化特征；将目标综合特征通过自适应实例正则化方式迁移至该图像编码特征，得到融合编码特征。本申请将像素级的编码特征和综合特征混合、且图像编码特征的特征分布向目标综合特征对齐，基于融合编码特征得到包括融合脸部的目标脸部图像，使得融合脸部的感官更接近于目标脸部，从而提高换脸的精确度。高换脸的精确度。高换脸的精确度。

【技术实现步骤摘要】
图像处理方法、装置、计算机设备、存储介质及程序产品


[0001]本申请涉及人工智能、计算机视觉等
，本申请涉及一种图像处理方法、装置、计算机设备、存储介质及程序产品。

技术介绍

[0002]换脸是计算机视觉领域的一项重要技术，换脸被广泛用于内容生产、影视人像制作、娱乐视频制作等场景。换脸是指给定图像A和图像B，将图像A中的脸部特征迁移到图像B中得到换脸图像。
[0003]相关技术中，图像处理方法可以包括：通常基于形状拟合的方式实现换脸；例如，可以基于检测到的图像A中脸部关键点与图像B中脸部关键点，计算两个图像之间关于脸部五官、轮廓等区域的形状变化关系，根据形状变换关系将图像A和图像B中脸部进行融合，得到换脸图像。
[0004]上述形状拟合过程是通过对脸部形变、融合过程实现换脸。然而，当图像A和图像B之间姿态存在较大差异时，简单的形状拟合无法满足差异较大的换脸需求，容易使得换脸图像中脸部形变不自然，换脸图像与图像A中脸部的相似度较低，导致换脸的精确度较低。

技术实现思路

[0005]本申请提供了一种图像处理方法、装置、计算机设备、存储介质及程序产品，可以解决相关技术中换脸图像中脸部相似度低、换脸方法精确度较低的问题。所述技术方案如下：
[0006]一方面，提供了一种图像处理方法，所述方法包括：
[0007]响应于接收到的换脸请求，获取待换脸图像的属性参数，所述换脸请求用于请求将所述待换脸图像中脸部替换为目标脸部，所述待换脸图像的属性参数指示所述待换脸图像中脸部的三维属性；
[0008]基于所述待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数；
[0009]基于所述目标属性参数和预存储的目标脸部的脸部特征，确定目标综合特征；
[0010]将所述待换脸图像进行编码，得到所述待换脸图像的图像编码特征；
[0011]将所述目标综合特征通过自适应实例正则化方式迁移至所述待换脸图像的图像编码特征中，得到融合编码特征；
[0012]将所述融合编码特征进行解码，得到包括融合脸部的目标换脸图像，所述融合脸部是对所述待换脸图像中脸部和所述目标脸部的融合。
[0013]另一方面，提供了一种图像处理装置，所述装置包括：
[0014]属性参数获取模块，用于响应于接收到的换脸请求，获取待换脸图像的属性参数，所述换脸请求用于请求将所述待换脸图像中脸部替换为目标脸部，所述待换脸图像的属性参数指示所述待换脸图像中脸部的三维属性；
[0015]目标属性参数确定模块，用于基于所述待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数；
[0016]综合特征确定模块，用于基于所述目标属性参数和预存储的目标脸部的脸部特征，确定目标综合特征；
[0017]编码模块，用于将所述待换脸图像进行编码，得到所述待换脸图像的图像编码特征；
[0018]迁移模块，用于将所述目标综合特征通过自适应实例正则化方式迁移至所述待换脸图像的图像编码特征中，得到融合编码特征；
[0019]解码模块，用于将所述融合编码特征进行解码，得到包括融合脸部的目标换脸图像，所述融合脸部是对所述待换脸图像中脸部和所述目标脸部的融合。
[0020]在一个可能实现方式中，所述图像的属性参数包括形状系数、表情系数、角度系数、纹理系数或光照系数中的至少一项；
[0021]所述目标属性参数确定模块，用于将所述目标脸部的形状系数和所述待换脸图像的预配置参数，确定为所述目标属性参数，所述预配置参数包括表情系数、角度系数、纹理系数或光照系数中的至少一项。
[0022]在一个可能实现方式中，所述迁移模块，用于：
[0023]获取所述图像编码特征在至少一个特征通道的均值和标准差，以及获取所述目标综合特征在至少一个特征通道的均值和标准差；
[0024]将所述图像编码特征在每个特征通道的均值和标准差，与所述目标综合特征在对应特征通道的均值和标准差进行对齐，得到所述融合编码特征。
[0025]在一个可能实现方式中，所述目标换脸图像是通过预训练的换脸模型得到的；所述换脸模型用于基于预存储的目标脸部的属性数据和脸部特征将所述目标脸部换至任一脸部图像中；
[0026]所述装置还包括模型训练模块，所述模型训练模块，包括：
[0027]获取单元，用于获取第一样本图像的脸部特征和属性参数，以及获取第二样本图像的属性参数，所述第一样本图像包括所述目标脸部，所述第二样本图像包括待被替换的脸部；
[0028]样本属性参数确定单元，用于基于所述第一样本图像的属性参数和所述第二样本图像的属性参数，确定样本属性参数，所述样本属性参数用于指示待生成的样本换脸图像中脸部的期望属性；
[0029]样本综合特征获取单元，用于基于所述样本属性参数和所述第一样本图像的脸部特征，确定样本综合特征；
[0030]编码单元，用于将所述第二样本图像输入初始模型的编码器进行编码，得到样本编码特征；
[0031]迁移单元，用于将所述样本综合特征通过自适应实例正则化方式迁移至所述第二样本图像的样本编码特征中，得到样本融合特征；
[0032]解码单元，用于将所述样本融合特征输入所述初始网络的解码器进行解码，得到样本换脸图像；
[0033]训练单元，用于基于所述样本换脸图像分别与所述样本属性参数、所述第一样本
图像的脸部特征、所述第二样本图像之间的差异，确定所述初始模型的总损失，并基于所述总损失对所述初始模型进行训练，直至符合目标条件时停止训练，得到所述换脸模型。
[0034]在一个可能实现方式中，所述训练单元，具体用于：
[0035]获取所述样本换脸图像的属性参数和所述样本属性参数之间的第一相似度；
[0036]获取所述样本换脸图像的脸部特征和所述第一样本图像的脸部特征之间的第二相似度；
[0037]通过所述初始网络的判别器，获取所述第二样本图像和所述样本换脸图像之间的第三相似度；
[0038]基于所述第一相似度、第二相似度和所述第三相似度，确定所述总损失。
[0039]在一个可能实现方式中，所述训练单元，还用于：
[0040]将所述第二样本图像作为真实图输入所述判别器，将所述样本换脸图像输入所述判别器；
[0041]通过所述判别器，分别获取所述第二样本图像在至少一个尺度的尺度图像，以及所述样本换脸图像在对应至少一个尺度的尺度图像；
[0042]获取所述第二样本图像的至少一个尺度图像对应的判别概率，以及，获取所述样本换脸图像的至少一个尺度图像对应的判别概率，图像的判别概率用于指示所述图像为真实图的概率；
[0043]基于所述第二样本图像对应的至少一个判别概率、以及所述样本换脸图像对应的至少一个判别概率，确定所述第三相似度。
[0044]在一个可能实现方式中，所述获取单元，具体用于：
[0045]获取至少两个姿态图像作为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：响应于接收到的换脸请求，获取待换脸图像的属性参数，所述换脸请求用于请求将所述待换脸图像中脸部替换为目标脸部，所述待换脸图像的属性参数指示所述待换脸图像中脸部的三维属性；基于所述待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数；基于所述目标属性参数和预存储的目标脸部的脸部特征，确定目标综合特征；将所述待换脸图像进行编码，得到所述待换脸图像的图像编码特征；将所述目标综合特征通过自适应实例正则化方式迁移至所述待换脸图像的图像编码特征中，得到融合编码特征；将所述融合编码特征进行解码，得到包括融合脸部的目标换脸图像，所述融合脸部是对所述待换脸图像中脸部和所述目标脸部的融合。2.根据权利要求1所述的图像处理方法，其特征在于，所述图像的属性参数包括形状系数、表情系数、角度系数、纹理系数或光照系数中的至少一项；所述基于所述待换脸图像的属性参数和预存储的目标脸部的属性参数，确定目标属性参数，包括：将所述目标脸部的形状系数和所述待换脸图像的预配置参数，确定为所述目标属性参数，所述预配置参数包括表情系数、角度系数、纹理系数或光照系数中的至少一项。3.根据权利要求1所述的图像处理方法，其特征在于，所述将所述目标综合特征通过自适应实例正则化方式迁移至所述待换脸图像的图像编码特征中，得到融合编码特征，包括：获取所述图像编码特征在至少一个特征通道的均值和标准差，以及获取所述目标综合特征在至少一个特征通道的均值和标准差；将所述图像编码特征在每个特征通道的均值和标准差，与所述目标综合特征在对应特征通道的均值和标准差进行对齐，得到所述融合编码特征。4.根据权利要求1所述的图像处理方法，其特征在于，所述目标换脸图像是通过预训练的换脸模型得到的；所述换脸模型用于基于预存储的目标脸部的属性数据和脸部特征将所述目标脸部换至任一脸部图像中；所述换脸模型的训练方式，包括：获取第一样本图像的脸部特征和属性参数，以及获取第二样本图像的属性参数，所述第一样本图像包括所述目标脸部，所述第二样本图像包括待被替换的脸部；基于所述第一样本图像的属性参数和所述第二样本图像的属性参数，确定样本属性参数，所述样本属性参数用于指示待生成的样本换脸图像中脸部的期望属性；基于所述样本属性参数和所述第一样本图像的脸部特征，确定样本综合特征；将所述第二样本图像输入初始模型的编码器进行编码，得到样本编码特征；将所述样本综合特征通过自适应实例正则化方式迁移至所述第二样本图像的样本编码特征中，得到样本融合特征；将所述样本融合特征输入所述初始网络的解码器进行解码，得到样本换脸图像；基于所述样本换脸图像分别与所述样本属性参数、所述第一样本图像的脸部特征、所述第二样本图像之间的差异，确定所述初始模型的总损失，并基于所述总损失对所述初始
模型进行训练，直至符合目标条件时停止训练，得到所述换脸模型。5.根据权利要求4所述的图像处理方法，其特征在于，所述基于所述样本换脸图像分别与所述样本属性参数、所述第一样本图像的脸部特征、所述第二样本图像之间的差异，确定所述初始模型的总损失，包括：获取所述样本换脸图像的属性参数和所述样本属性参数之间的第一相似度；获取所述样本换脸图像的脸部特征和所述第一样本图像的脸部特征之间的第二相似度；通过所述初始网络的判别器，获取...

【专利技术属性】
技术研发人员：贺珂珂，朱俊伟，张昕昳，邰颖，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：