图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质。该方法包括：对待处理图像进行特征提取处理，得到待处理图像中第一目标对象的特征数据；根据第一目标对象的特征数据进行图像合成，得到第一合成图像。根据本公开的实施例，通过提取待处理图像中目标对象的特征数据，并根据特征数据得到合成图像，有利于提高图像合成效果。

Image processing method and device, electronic device and storage medium

The present disclosure relates to an image processing method and device, an electronic device and a storage medium. The method includes: extracting and processing the feature of the processed image to get the feature data of the first target object in the image to be processed; synthesizing the image according to the feature data of the first target object to get the first composite image. According to the embodiment of the present disclosure, it is advantageous to improve the image synthesis effect by extracting the feature data of the target object in the image to be processed and obtaining the composite image according to the feature data.

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
技术介绍
生成式模型是机器学习领域的重要分支，其目标在于产生服从真实数据分布，但并非真实存在的数据。在相关技术中，通过生成式模型进行图像处理时，合成图像无法保持图像中目标对象(例如人脸)的身份信息，导致合成图像的真实性较差。
技术实现思路
有鉴于此，本公开提出了一种图像处理技术方案。根据本公开的一方面，提供了一种图像处理方法，所述方法包括：对待处理图像进行特征提取处理，得到所述待处理图像中第一目标对象的特征数据；根据所述第一目标对象的特征数据进行图像合成，得到第一合成图像。可选地，可以将第一目标对象的特征数据输入到图像合成网络，得到第一合成图像。在一种可能的实现方式中，该待处理图像为真实图像。这样，与直接将图像输入到图像合成网络进行图像合成的方式相比，有利于提高图像合成效果。在一种可能的实现方式中，所述特征数据包括身份特征及状态特征中的至少一种。这样，基于第一目标对象的身份特征进行图像合成，有利于保持第一目标对象的身份信息。在一种可能的实现方式中，所述状态特征包括姿势特征及表情特征中的至少一种。在一种可能的实现方式中，根据所述第一目标对象的特征数据进行图像合成，得到第一合成图像，包括：基于期望目标对象状态，对所述第一目标对象的状态特征进行调整处理，获得期望状态特征；根据所述期望状态特征进行图像合成，得到第一合成图像。这样，基于期望状态特征进行图像合成，能够实现对合成图像中的目标对象状态的控制。对于上述方法，在一种可能的实现方式中，所述状态特征还包括形状信息，其中，根据所述期望状态特征进行图像合成，得到第一合成图像，包括：根据所述形状信息和所述期望状态特征进行图像合成，得到第一合成图像。在一种可能的实现方式中，可以使得所述第一合成图像中与所述第一目标对象对应的第二目标对象的状态为所述期望目标对象状态并且所述第二目标对象的形状与所述第一目标对象的形状保持一致。上述方法可以适用于网络训练，也可以适用于使用训练好的网络进行图像合成。对于上述方法，在一种可能的实现方式中，所述方法利用图像处理网络实现，根据所述第一目标对象的特征数据进行图像合成，得到第一合成图像，包括：将所述第一目标对象的特征数据输入到图像处理网络中的图像合成网络，得到第一合成图像，其中，所述方法还包括：基于所述第一合成图像，训练所述图像处理网络。对于上述方法，在一种可能的实现方式中，基于所述第一合成图像，训练所述图像处理网络，包括：对所述第一合成图像进行特征提取处理，得到所述第一合成图像中的第二目标对象的特征数据；基于所述第二目标对象的特征数据，训练所述图像处理网络。第二目标对象可以与第一目标对象对应，例如，第二目标对象是基于对第一目标对象进行图像合成得到的。在一种可能的实现方式中，可以基于第一目标对象的特征数据和第二目标对象的特征数据，训练图像处理网络。对于上述方法，在一种可能的实现方式中，对所述第一合成图像进行特征提取处理的神经网络与对所述待处理图像进行特征提取处理的神经网络相同。例如，对第一合成图像进行身份特征的提取的神经网络与对待处理图像进行身份特征的提取的神经网络具有相同的网络参数，或者对第一合成图像进行状态特征的提取的神经网络与对待处理图像进行状态特征的提取的神经网络具有相同的网络参数。此时，可选地，可以通过训练GAN，实现对图像处理网络的训练。在一种可能的实现方式中，GAN可以包括图像合成网络、身份识别网络和质量监测网络。其中，身份识别网络可以确定图像中目标对象的身份信息，质量监测网络可以确定图像合成的质量损失。可选地，在GAN中，身份识别网络和所述图像合成网络对抗，此时，可选地，图像合成网络同时与身份识别网络和质量监测网络进行对抗。对于上述方法，在一种可能的实现方式中，基于所述第二目标对象的特征数据，训练所述图像处理网络，包括：基于所述第二目标对象的特征数据，确定第一相似度和第二相似度中的至少一种，其中，所述第一相似度为所述第二目标对象的身份特征和所述第一目标对象的身份特征之间的相似度，所述第二相似度为所述第二目标对象的状态特征和所述第一目标对象的期望状态特征之间的相似度；基于所述第一相似度和所述第二相似度中的至少一种，调整所述图像合成网络的网络参数值。对于上述方法，在一种可能的实现方式中，所述方法还包括：对所述第一合成图像进行处理，得到所述第一合成图像的预测图像类别，其中，所述预测图像类别包括真实图像和合成图像；其中，所述基于所述第一相似度和所述第二相似度中的至少一种，调整所述图像合成网络的网络参数值，包括：基于所述第一合成图像的预测图像类别以及所述第一相似度和所述第二相似度中的至少一种，得到所述图像合成网络的模型损失；根据所述图像合成网络的模型损失，调整所述图像合成网络的网络参数值。对于上述方法，在一种可能的实现方式中，所述图像处理网络还包括身份识别网络，所述身份识别网络包括第一子网络和第二子网络，其中，对所述第一合成图像进行特征提取处理，得到所述第一合成图像中的第二目标对象的特征数据，包括：将所述第一合成图像输入到身份识别网络的第一子网络，得到所述第二目标对象的身份特征；其中，基于所述第二目标对象的特征数据，训练所述图像处理网络，包括：将所述第二目标对象的身份特征输入到所述第二子网络，得到所述第二目标对象的预测人物身份信息，其中，所述预测人物身份信息包括预测人物身份标识以及对应的预测图像类别；基于所述第二目标对象的预测人物身份信息，调整所述身份识别网络的网络参数值。对于上述方法，在一种可能的实现方式中，基于所述第二目标对象的预测人物身份信息，调整所述身份识别网络的网络参数值，包括：基于所述第一目标对象的身份特征，得到所述第一目标对象的预测人物身份信息；基于所述第一目标对象的身份特征和所述第二目标对象的身份特征，调整所述身份识别网络的网络参数值。对于上述方法，在一种可能的实现方式中，将所述第二目标对象的身份特征输入到所述第二子网络，得到所述第二目标对象的预测人物身份信息，包括：将所述第二目标对象的身份特征输入到所述第二子网络，得到预设的多个预测人物身份标识中与所述第二目标对象对应的预测人物身份标识，其中，所述多个预测人物身份标识中的多个第一预测人物身份标识对应的预测图像类别为真实图像，所述多个预测人物身份标识中的多个第二预测人物身份标识对应的预测图像类别为合成图像。根据本公开的另一方面，提供了一种图像处理装置，所述装置包括：特征提取模块，用于对待处理图像进行特征提取处理，得到所述待处理图像中第一目标对象的特征数据，其中，所述特征数据包括身份特征及状态特征中的至少一种；图像合成模块，用于根据所述第一目标对象的特征数据，得到第一合成图像。对于上述装置，在一种可能的实现方式中，所述状态特征包括姿势特征及表情特征中的至少一种，其中，所述图像合成模块包括：期望状态获得子模块，用于基于期望目标对象状态，对所述第一目标对象的状态特征进行调整处理，获得期望状态特征；第一图像合成子模块，用于根据所述期望状态特征，得到第一合成图像。对于上述装置，在一种可能的实现方式中，所述状态特征还包括形状信息，其中，所述第一图像合本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：对待处理图像进行特征提取处理，得到所述待处理图像中第一目标对象的特征数据，其中，所述特征数据包括身份特征及状态特征中的至少一种；根据所述第一目标对象的特征数据进行图像合成，得到第一合成图像。

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：对待处理图像进行特征提取处理，得到所述待处理图像中第一目标对象的特征数据，其中，所述特征数据包括身份特征及状态特征中的至少一种；根据所述第一目标对象的特征数据进行图像合成，得到第一合成图像。2.根据权利要求1所述的方法，其特征在于，所述状态特征包括姿势特征及表情特征中的至少一种，其中，根据所述第一目标对象的特征数据进行图像合成，得到第一合成图像，包括：基于期望目标对象状态，对所述第一目标对象的状态特征进行调整处理，获得期望状态特征；根据所述期望状态特征进行图像合成，得到第一合成图像。3.根据权利要求2所述的方法，其特征在于，所述状态特征还包括形状信息，其中，根据所述期望状态特征进行图像合成，得到第一合成图像，包括：根据所述形状信息和所述期望状态特征进行图像合成，得到第一合成图像，以使得所述第一合成图像中与所述第一目标对象对应的第二目标对象的状态为所述期望目标对象状态并且所述第二目标对象的形状与所述第一目标对象的形状保持一致。4.根据权利要求1所述的方法，其特征在于，所述方法利用图像处理网络实现，根据所述第一目标对象的特征数据进行图像合成，得到第一合成图像，包括：将所述第一目标对象的特征数据输入到所述图像处理网络的图像合成网络，得到第一合成图像，其中，所述方法还包括：基于所述第一合成图像，训练所述图像处理网络。5.根据权利要求4所述的方法，其特征在于，基于所述第一合成图像，训练所述图像处理网络，包括：对所述第一合成...

【专利技术属性】
技术研发人员：沈宇军，闫俊杰，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11