图像处理方法、装置、电子设备以及存储介质制造方法及图纸

本申请实施例提供了一种图像处理方法、装置、电子设备以及存储介质，涉及人工智能、云技术以及音视频等技术领域。该方法包括：获取目标对象的待处理图像；通过调用训练好的图像处理模型对待处理图像进行以下处理，得到待处理图像对应的目标图像，其中，目标图像的图像质量高于待处理图像的图像质量：对待处理图像进行下采样特征提取，得到待处理图像对应的图像特征图；根据图像特征图，确定待处理图像对应的风格特征图；基于风格特征图对图像特征图进行上采样特征提取，得到目标图像。在本申请中可以基于待处理图像的图像特征图获取待处理图像对应的风格特征图，并将风格特征图融入到上采样过程中，从而可以使得到的目标图像的质量得到提升。量得到提升。量得到提升。

【技术实现步骤摘要】
图像处理方法、装置、电子设备以及存储介质


[0001]本申请涉及人工智能、云技术以及音视频等
，具体而言，本申请涉及一种图像处理方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着科学技术的飞速发展以及人们的生活需求的提高，图像或视频(实质也是图像)已经出现在各种各样的生活场景中。比如，越来越多的年轻人喜欢通过图像(照片)或视频的方式来记录或分享自己的生活。但是人像在拍摄或者网络传输过程中，可能因为聚焦不准、噪声太大或者图片压缩比率太高等各种各样的原因问题导致图像不清晰，图像的质量较低，尤其是对于人物图像(比如用户的人脸图像)而言，会影响使用者的感受。如何通过图像处理技术来提升图像质量也就称为了研究者研究的重要问题之一。
[0003]目前，相关技术中虽然也已经有多种不同的图像质量提升方式，但是处理效率都不够理想，都有待提升。

技术实现思路

[0004]本申请实施例提供了一种图像处理方法、装置、电子设备以及存储介质，可以解决现有技术中对图像质量提升时，处理效率都不够理想的问题。所述技术方案如下：
[0005]根据本申请实施例的一个方面，提供了一种图像处理方法，该方法包括：
[0006]获取目标对象的待处理图像；
[0007]通过调用训练好的图像处理模型对待处理图像进行以下处理，得到待处理图像对应的目标图像，其中，目标图像的图像质量高于待处理图像的图像质量：
[0008]对待处理图像进行下采样特征提取，得到待处理图像对应的图像特征图；
[0009]根据图像特征图，确定待处理图像对应的风格特征图；
[0010]基于风格特征图对图像特征图进行上采样特征提取，得到目标图像。
[0011]可选的，对待处理图像进行下采样特征提取，得到待处理图像对应的图像特征图，包括：
[0012]对待处理图像进行下采样特征提取，得到待处理图像对应的至少一种尺度的图像特征图；
[0013]根据图像特征图，确定待处理图像对应的风格特征图，包括：
[0014]对于每种尺度，根据对应尺度的图像特征图确定该尺度对应的风格特征图；
[0015]基于风格特征图对图像特征图进行上采样特征提取，得到目标图像，包括：
[0016]通过至少一个上采样特征提取模块对目标特征图进行至少一次上采样特征提取，得到目标图像，其中，在每次上采样特征提取过程中，将相应尺度的风格特征图融合到每次上采样特征提取得到的相应尺度的特征图中，目标特征图为至少一种尺度的图像特征图中最小尺度的图像特征图，每个上采样特征提取模块对应一种尺度的风格特征图。
[0017]可选的，至少一种尺度的图像特征图包括至少两种尺度的图像特征图，至少一个
上采样特征提取模块包括级联的至少两个上采样特征提取模块；
[0018]通过至少一个上采样特征提取模块对目标特征图进行至少一次上采样特征提取，得到目标图像，包括：
[0019]对于每个上采样特征提取模块，将该上采样特征提取模块对应的风格特征图作为调整权重，对该上采样特征提取模块的网络参数进行调整，通过调整后的网络参数对该上采样特征提取模块对应的输入特征图进行上采样处理，得到该上采样特征提取模块的输出特征图，将最后一个输出特征图作为目标图像；
[0020]其中，第一个上采样特征提取模块的输入为目标特征图，除第一个上采样特征提取模块之外的模块的输入为该上采样特征提取模块的上一个上采样特征提取模块的输出特征图。
[0021]可选的，图像处理模型包括图像编码网络和图像生成网络，图像编码网络包括特征提取模块和特征映射模块，通过调用训练好的图像处理模型对待处理图像进行以下处理，得到待处理图像对应的目标图像，包括：
[0022]将待处理图像输入到特征提取模块，通过特征提取模块对待处理图像进行下采样特征提取，得到待处理图像对应的至少一种尺度的图像特征图；
[0023]将各尺度的图像特征图分别输入到特征映射模块，得到各尺度对应的风格特征图；
[0024]基于各尺度对应的风格特征图和目标特征图，通过图像生成网络对目标特征图进行至少一次上采样特征提取，得到待处理图像对应的目标图像。
[0025]可选的，图像处理模型是通过以下方式训练得到的：
[0026]获取第一训练数据和初始神经网络模型，训练数据包括多个图像对，每个图像对包括对应于相同图像内容的第一样本图像和第二样本图像，每个图像对中第二样本图像的图像质量高于第一样本图像的图像质量，初始神经网络模型包括初始图像处理模型和初始判别器；
[0027]基于第一训练数据对初始神经网络模型进行训练，直至模型对应的总损失函数的值满足训练结束条件，得到训练后的神经网络模型，将训练后的图像处理模型作为图像处理模型；
[0028]其中，初始图像处理模型的输入为各第一样本图像，输出为各第一样本图像对应的预测目标图像，初始判别器的输入为各第一样本图像对应的预测目标图像和第二样本图像，输出为各第一样本图像对应的预测目标图像和第二样本图像的判别结果；
[0029]总损失函数包括第一损失函数和第二损失函数，第一损失函数的值表征了各第一样本图像所对应的预测目标图像和第二样本图像之间的差异，第二损失函数的值表征了各第一样本图像对应的预测目标图像和第二样本图像的判别结果的准确程度。
[0030]可选的，初始图像处理模型的图像生成网络和初始判别器是采用第二训练数据预训练得到的，在基于第一训练数据对初始神经网络模型进行训练时，初始图像处理模型的图像编码网络的学习率大于初始图像处理模型的图像生成网络和初始判别器的学习率。
[0031]可选的，获取第一训练数据，包括：
[0032]获取各第二样本图像，对各第二样本图像分别进行图像退化处理，得到各处理后的图像；
[0033]将每个第二样本图像对应的处理后的图像作为第二样本图像对应的第一样本图像，基于各第二样本图像以及对应的处理后的图像，得到第一训练数据。
[0034]可选的，图像退化处理包括添加模糊处理、降低图像分辨率处理、添加噪声处理或图像格式压缩处理中的至少一项；第一训练数据中包括采用至少两种图像退化处理方式处理得到的图像。
[0035]根据本申请实施例的另一个方面，提供了一种图像处理装置，该装置包括：
[0036]图像获取模块，用于获取目标对象的待处理图像；
[0037]图像处理模块，用于通过调用训练好的图像处理模型对待处理图像进行下采样特征提取，得到待处理图像对应的图像特征图，根据图像特征图，确定待处理图像对应的风格特征图；基于风格特征图对图像特征图进行上采样特征提取，得到目标图像；其中，目标图像的图像质量高于待处理图像的图像质量。
[0038]可选的，图像处理模块在对待处理图像进行下采样特征提取，得到待处理图像对应的图像特征图时，具体用于：
[0039]对待处理图像进行下采样特征提取，得到待处理图像对应的至少一种尺度的图像特征图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取目标对象的待处理图像；通过调用训练好的图像处理模型对所述待处理图像进行以下处理，得到所述待处理图像对应的目标图像，其中，所述目标图像的图像质量高于所述待处理图像的图像质量：对所述待处理图像进行下采样特征提取，得到所述待处理图像对应的图像特征图；根据所述图像特征图，确定所述待处理图像对应的风格特征图；基于所述风格特征图对所述图像特征图进行上采样特征提取，得到所述目标图像。2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行下采样特征提取，得到所述待处理图像对应的图像特征图，包括：对所述待处理图像进行下采样特征提取，得到所述待处理图像对应的至少一种尺度的图像特征图；所述根据所述图像特征图，确定所述待处理图像对应的风格特征图，包括：对于每种尺度，根据对应尺度的图像特征图确定该尺度对应的风格特征图；所述基于所述风格特征图对所述图像特征图进行上采样特征提取，得到所述目标图像，包括：通过至少一个上采样特征提取模块对目标特征图进行至少一次上采样特征提取，得到所述目标图像，其中，在每次上采样特征提取过程中，将相应尺度的风格特征图融合到每次上采样特征提取得到的相应尺度的特征图中，所述目标特征图为所述至少一种尺度的图像特征图中最小尺度的图像特征图，每个所述上采样特征提取模块对应一种尺度的风格特征图。3.根据权利要求2所述的方法，其特征在于，所述至少一种尺度的图像特征图包括至少两种尺度的图像特征图，所述至少一个上采样特征提取模块包括级联的至少两个上采样特征提取模块；所述通过至少一个上采样特征提取模块对目标特征图进行至少一次上采样特征提取，得到所述目标图像，包括：对于每个所述上采样特征提取模块，将该上采样特征提取模块对应的风格特征图作为调整权重，对该上采样特征提取模块的网络参数进行调整，通过调整后的网络参数对该上采样特征提取模块对应的输入特征图进行上采样处理，得到该上采样特征提取模块的输出特征图，将最后一个输出特征图作为目标图像；其中，第一个上采样特征提取模块的输入为所述目标特征图，除第一个上采样特征提取模块之外的模块的输入为该上采样特征提取模块的上一个上采样特征提取模块的输出特征图。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述图像处理模型包括图像编码网络和图像生成网络，所述图像编码网络包括特征提取模块和特征映射模块，所述通过调用训练好的图像处理模型对所述待处理图像进行以下处理，得到所述待处理图像对应的目标图像，包括：将所述待处理图像输入到所述特征提取模块，通过所述特征提取模块对所述待处理图像进行下采样特征提取，得到所述待处理图像对应的至少一种尺度的图像特征图；将各尺度的图像特征图分别输入到所述特征映射模块，得到各所述尺度对应的风格特
征图；基于各所述尺度对应的风格特征图和所述目标特征图，通过所述图像生成网络对所述目标特征图进行至少一次上采样特征提取，得到所述待处理图像对应的目标图像。5.根据权利要求4所述的方法，其特征在于，所述图像处理模型是通过以下方式训练得到的：获取第一训练数据和初...

【专利技术属性】
技术研发人员：朱飞达，朱俊伟，邰颖，汪铖杰，李季檩，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：