图像变换方法和装置、电子设备、计算机存储介质、程序制造方法及图纸

本申请实施例公开了一种图像变换方法和装置、电子设备、计算机存储介质、程序，其中，方法包括：基于图像变换网络对图像进行特征提取，得到图像特征；基于所述图像特征中的部分或全部特征，确定目标图像特征；基于所述图像变换网络对所述目标图像特征进行解码，得到目标图像。基于本申请上述实施例，基于图像特征中全部或部分特征，使人脸属性改变，并保持生成图像中其他部分与原图像一致，从而达到变换人脸属性的同时不影响图像效果。

Image conversion method and device, electronic device, computer storage medium, and program

The embodiment of this application discloses an image transformation method and device, an electronic device, a computer storage medium and a program, wherein the method includes: extracting image features based on an image transformation network to obtain image features; determining target image features based on some or all of the features of the image features; and The image conversion network decodes the target image features and obtains the target image. Based on the above embodiments of the present application, face attributes are changed based on all or part of the features in the image features, and other parts of the generated image are kept consistent with the original image, so as to achieve the transformation of face attributes without affecting the image effect.

【技术实现步骤摘要】
图像变换方法和装置、电子设备、计算机存储介质、程序
本申请涉及计算机视觉技术，尤其是一种图像变换方法和装置、电子设备、计算机存储介质、程序。
技术介绍
图像变换是将图像中的某些部分进行变换，如：增加或减少特定的内容，通过变换可达到不同效果；应用到人脸图像中，产生人脸属性变换，此处人脸属性是指所有可以用于描述人脸的特征，比如：肤色、是否有胡须、是否带眼镜、年轻或年老等。人脸属性变换在多个领域都有重要的应用，比如生成数据库、跨年龄人脸识别、娱乐等。
技术实现思路
本申请实施例提供的一种图像变换技术。根据本申请实施例的一个方面，提供的一种图像变换方法，包括：基于图像变换网络对图像进行特征提取，得到图像特征；基于所述图像特征中的部分或全部特征，确定目标图像特征；基于所述图像变换网络对所述目标图像特征进行解码，得到目标图像。可选地，所述基于所述图像特征中的部分或全部特征，确定目标图像特征，包括：对所述图像特征中的部分或全部特征进行特征变换，得到目标图像特征。可选地，所述对所述图像特征中的部分或全部特征值进行数值变换，得到目标图像特征，包括：对所述图像特征中的部分或全部特征增加或减少设定数值，得到目标图像特征。可选地，所述对所述图像特征中的部分或全部特征进行数值变换，得到目标图像特征之前，还包括：基于所述图像变换网络中各网络层的参数，确定所述图像特征中待变换数值的有效特征；存储所述有效特征的位置信息；所述对所述图像特征中的部分或全部特征进行数值变换，得到目标图像特征，包括：对所述图像特征中的所述有效特征进行数值变换，得到目标图像特征。可选地，所述图像变换网络包括至少一个卷积层；基于所述图像变换网络中各网络层的参数，确定所述图像特征中待变换数值的有效特征，包括：基于所述至少一个卷积层中各卷积层的卷积核大小和步长，确定所述图像特征中能够表达所述图像的有效特征。可选地，所述基于所述至少一个卷积层中各卷积层的卷积核大小和步长，确定所述图像特征中能够表达所述图像的有效特征，包括：基于第一卷积层输出的第一卷积特征或所述图像，利用第二卷积层的卷积核大小和步长，确定所述第二卷积层输出的第二卷积特征中的有效特征；所述第一卷积层的输出特征为所述第二卷积层的输入。可选地，所述基于图像变换网络对图像进行特征提取，得到图像特征之前，还包括：基于样本图像，对所述图像变换网络进行训练。可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：基于所述图像变换网络对所述样本图像进行特征提取得到样本图像特征，基于样本图像特征获得待转换数值的样本特征构成的转换特征；对所述转换特征中各特征进行数值变换，得到目标样本图像特征；基于所述图像变换网络对所述目标样本图像特征进行解码，得到目标样本图像；基于所述样本图像、所述目标样本图像和所述转换特征确定所述编码损失；基于编码损失调整所述图像变换网络的参数。可选地，基于所述样本图像、所述目标样本图像和所述转换特征确定所述编码损失，包括：基于所述样本图像与所述转换特征确定第一损失；基于所述样本图像和所述目标样本图像确定第二损失；基于所述第一损失和所述第二损失确定编码损失，基于所述编码损失调整所述图像变换网络的参数。可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：基于所述图像变换网络对所述样本图像进行先增加后减少的数值变换，得到第一目标图像；基于所述图像变换网络对所述样本图像进行先减少后增加的数值变换，得到第二目标图像；基于所述第一目标图像、所述第二目标图像和其分别对应的所述样本图像，确定所述图像变换网络的循环一致损失；基于所述循环一致损失调整所述图像变换网络的参数。可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：基于所述编码损失和所述循环一致损失加权求和的结果调整所述图像变换网络的参数。可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：结合判别网络训练所述图像变换网络，所述判别网络用于判断输入图像是真实图像或图像变换网络得到的目标图像。可选地，所述结合判别网络训练所述图像变换网络，包括：基于所述图像变换网络对所述样本图像进行变换，得到目标图像；将所述目标图像和所述样本图像输入所述判别网络，得到判别结果，所述判别结果包括所述目标图像和所述样本图像分别是否为真实图像；基于所述判别结果确定所述判别网络和所述图像变换网络的判别损失；基于所述判别损失训练所述判别网络和所述图像变换网络。可选地，基于所述判别损失训练所述判别网络和所述图像变换网络，包括：基于第一判别损失调整所述图像变换网络的参数，基于第二判别损失调整所述判别网络的参数；所述第一判别损失和所述第二判别损失分别基于所述判别网络相邻两次判别得到的判别结果获得。可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：基于所述编码损失、所述循环一致损失和所述判别损失加权求和的结果调整所述图像变换网络的参数。可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：对样本图像进行特征提取得到样本图像特征；对经所述图像变换网络变换得到的目标样本图像进行特征提取，得到目标样本图像特征；基于所述样本图像特征和所述目标样本图像特征，调整所述图像变换网络的参数。可选地，所述基于所述样本图像特征和所述目标样本图像特征，调整所述图像变换网络的参数，包括：基于所述样本图像特征和所述目标样本图像特征之间的距离，确定所述图像变换网络的特征损失；基于所述特征损失调整所述图像变换网络的参数。可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：基于所述编码损失、所述循环一致损失、所述判别损失和所述特征损失加权求和的结果调整所述图像变换网络的参数。可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：对样本图像进行背景提取得到图像背景；对经所述图像变换网络变换得到的目标样本图像进行背景提取，得到目标图像背景；基于所述图像背景和所述目标图像背景，调整所述图像变换网络的参数。可选地，所述基于所述图像背景和所述目标图像背景，调整所述图像变换网络的参数，包括：基于所述图像背景和所述目标图像背景之间的距离，确定所述图像变换网络的背景损失；基于所述背景损失调整所述图像变换网络的参数。可选地，所述基于样本图像，对所述图像变换网络进行训练，包括：基于所述编码损失、所述循环一致损失、所述判别损失、所述特征损失和所述背景损失加权求和的结果调整所述图像变换网络的参数。根据本申请实施例的另一个方面，提供的一种图像变换装置，包括：编码单元，用于基于图像变换网络对图像进行特征提取，得到图像特征；变换单元，用于基于所述图像特征中的部分或全部特征，确定目标图像特征；解码单元，用于基于图像变换网络对所述目标图像特征进行解码，得到目标图像。可选地，所述变换单元，具体用于对所述图像特征中的部分或全部特征进行特征变换，得到目标图像特征。可选地，所述变换单元，具体用于对所述图像特征中的部分或全部特征增加或减少设定数值，得到目标图像特征。可选地，还包括：有效特征单元，用于基于所述图像变换网络中各网络层的参数，确定所述图像特征中待变换数值的有效特征；存储单元，用于存储所述有效特征的位置信息；所述变换单元，具体用于对所述图像特征中的所述有效特征进行数值变换，得到目标图像特征。可选地本文档来自技高网...

【技术保护点】
1.一种图像变换方法，其特征在于，包括：基于图像变换网络对图像进行特征提取，得到图像特征；基于所述图像特征中的部分或全部特征，确定目标图像特征；基于所述图像变换网络对所述目标图像特征进行解码，得到目标图像。

【技术特征摘要】
1.一种图像变换方法，其特征在于，包括：基于图像变换网络对图像进行特征提取，得到图像特征；基于所述图像特征中的部分或全部特征，确定目标图像特征；基于所述图像变换网络对所述目标图像特征进行解码，得到目标图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述图像特征中的部分或全部特征，确定目标图像特征，包括：对所述图像特征中的部分或全部特征进行特征变换，得到目标图像特征。3.根据权利要求1或2所述的方法，其特征在于，所述对所述图像特征中的部分或全部特征值进行数值变换，得到目标图像特征，包括：对所述图像特征中的部分或全部特征增加或减少设定数值，得到目标图像特征。4.根据权利要求3所述的方法，其特征在于，所述对所述图像特征中的部分或全部特征进行数值变换，得到目标图像特征之前，还包括：基于所述图像变换网络中各网络层的参数，确定所述图像特征中待变换数值的有效特征；存储所述有效特征的位置信息；所述对所述图像特征中的部分或全部特征进行数值变换，得到目标图像特征，包括：对所述图像特征中的所述有效特征进行数值变换，得到目标图像特征。5.根据权利要求4所述的方法，其特征在于，所述图像变换网络包括...

【专利技术属性】
技术研发人员：孙若琪，黄琛，石建萍，马利庄，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11