图像处理方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质。所述方法包括：获取待处理图像以及所述待处理图像的缩放倍率值；对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。能够实现任意缩放倍率的分辨率重建任务，避免了在分辨率调整后直接输出图像带来的伪影问题，提高了图像分辨率调整后图像的质量。

【技术实现步骤摘要】
图像处理方法、装置、电子设备和计算机可读存储介质
本申请涉及图像处理
，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
技术介绍
图像处理包括图像分辨率调整，例如，将低分辨率图像调整为高分辨率图像，称为图像超分辨率(Super-Resolution，简称SR)重建；或者将高分辨率图像调整为低分辨率。SR算法可以有效提升图像或视频分辨率。SR重建算法主要分为两大类，一类是基于卷积神经网络(ConvolutionalNeuralNetworks，简称CNN)的SR算法，另一类是非CNN的SR算法，又称为传统SR算法，鉴于网络的强大学习能力，基于CNN的SR算法在重建结果性能上取得了绝对的优势。目前基于CNN的SR算法对图像进行缩放处理后得到的目标图像存在伪影。
技术实现思路
本申请实施例提供了一种方法、装置、电子设备、计算机可读存储介质，可以消除图像伪影，提高图像质量。一种图像处理方法，包括：获取待处理图像以及所述待处理图像的缩放倍率值；对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。一种图像处理装置，包括：获取模块，用于获取待处理图像以及所述待处理图像的缩放倍率值；提取模块，用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；分辨率调整模块，用于根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；处理模块，用于将所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取待处理图像以及所述待处理图像的缩放倍率值；对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取待处理图像以及所述待处理图像的缩放倍率值；对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。上述图像处理方法、装置、电子设备、计算机可读存储介质，对获取的待处理图像进行特征提取后得到第一分辨率特征图及对应的尺寸，根据第一分辨率特征图的尺寸和缩放倍率值可以得到预测的卷积核，采用预测的卷积核对第一分辨率特征图进行卷积处理得到分辨率调整后的第二分辨率特征图，再对第二分辨率特征图进行特征学习处理，可以得到第二分辨率图像，通过对待处理图像提取第一分辨率特征图，再对第一分辨率特征图进行分辨率调整，能够实现任意缩放倍率的分辨率重建任务，可以尽量保留待处理图像的特征信息，然后将分辨率调整后的特征图输入到后续特征网络进行学习，得到第二分辨率图像，避免了在分辨率调整后直接输出图像带来的伪影问题，提高了图像分辨率调整后图像的质量。一种图像处理方法，包括：获取待处理图像以及所述待处理图像的缩放倍率值；对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；根据所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。一种图像处理装置，包括：获取模块，用于获取待处理图像以及所述待处理图像的缩放倍率值；提取模块，用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；分辨率调整模块，用于将所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；处理模块，用于对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：获取待处理图像以及所述待处理图像的缩放倍率值；对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；根据所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取待处理图像以及所述待处理图像的缩放倍率值；对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；根据所述第一分辨率特征图的尺寸和所述缩放倍率值对所述第一分辨率特征图进行插值处理，得到插值结果，并将所述插值结果进行卷积计算，得到第二分辨率特征图；对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。上述图像处理方法、装置、电子设备、计算机可读存储介质，对获取的待处理图像进行特征提取后得到第一分辨率特征图及对应的尺寸，根据第一分辨率特征图的尺寸和缩放倍率值对第一分辨率特征图进行插值处理得到插值结果，然后对插值结果进行卷积处理得到第二分辨率特征图，再对第二分辨率特征图进行特征提取处理，可以得到第二分辨率图像，通过对待处理图像提取第一分辨率特征图，再对第一分辨率特征图进行分辨率调整，能够实现任意缩放倍率的分辨率重建任务，可以尽量保留待处理图像的特征信息，然后将分辨率调整后的特征图输入到后续特征网络进行学习，得到第二分辨率图像，通过对提取得到的分辨率特征图进行缩放倍率调整，然后再将调整得到的分辨率特征图继续进行特征提取，得到最终的第二分辨率图，避免了在分辨率调整后直接输出图像带来的伪影问题，提高了图像分辨率调整后图像的质量。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取待处理图像以及所述待处理图像的缩放倍率值；/n对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；/n根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；/n对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取待处理图像以及所述待处理图像的缩放倍率值；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；
根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；
对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。


2.根据权利要求1所述的方法，其特征在于，
所述根据所述第一分辨率特征图的尺寸和缩放倍率值进行卷积核预测处理，得到预测的卷积核，包括：
根据所述第一分辨率特征图的尺寸和缩放倍率值，确定第二分辨率图像的尺寸；
根据所述第二分辨率图像的尺寸和缩放倍率值生成三维尺寸结果，所述三维尺寸结果的第一层中每个元素的值为所述第二分辨率图像中每个像素点所在行的行号，第二层中每个元素的值为所述第二分辨率图像中每个像素点所在列的列号，第三层中每个元素的值为所述缩放倍率值；
对所述三维尺寸结果进行卷积核预测处理，得到所述预测的卷积核。


3.根据权利要求2所述的方法，其特征在于，所述对所述三维尺寸结果进行卷积核预测处理，得到所述预测的卷积核，包括：
对所述三维尺寸结果进行卷积核预测处理，得到三维张量数据；所述三维张量数据包括卷积核以及卷积核对应的第一分辨率特征图中的行和列；
从所述三维张量数据中确定所述预测的卷积核。


4.根据权利要求1所述的方法，其特征在于，所述预测的卷积核为一组卷积核；所述采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图，包括：
采用一组卷积核中每个卷积核对所述第一分辨率特征图中对应的区域进行卷积处理，得到第二分辨率特征图。


5.根据权利要求4所述的方法，其特征在于，每个卷积核在所述第一分辨率特征图中的对应区域的确定方式，包括：
对第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的一组卷积核，以及所述一组卷积核中每个卷积核所需要处理的第一分辨率特征图中对应区域的区域信息，所述区域信息包括区域的中心坐标位置和起始坐标位置。


6.根据权利要求4所述的方法，其特征在于，每个卷积核在所述第一分辨率特征图中的对应区域的确定方式，包括：
对第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的一组卷积核，以及所述一组卷积核中每个卷积核的输出位置；
根据每个卷积核的输出位置和所述缩放倍率值计算对应的位于第一分辨率特征图中的区域。


7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采用分辨率调整网络块根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；
其中，所述分辨率调整网络块的训练方式，包括：
获取训练样本集，所述训练样本集包括至少两个批次图像样本，每个批次的图像样本对应一个缩放倍率值，每个批次包括预设数量的图像样本；
依次从每个批次中获取图像样本及对应的缩放倍率值输入到待训练的分辨率调整网络块，得到每个图像样本和缩放倍率值所对应的预测卷积核；
将所述图像样本的预测卷积核和标注卷积核进行比较，得到差异值；
根据所述差异值调整待训练的分辨率调整网络块的参数值，继续直到满足预设条件时，停止训练，得到分辨率调整网络块的目标参数值。


8.根据权利要求1所述的方法，其特征在于，分辨率重建网络包括依次相连的第一特征学习网络块、分辨率调整网络块和第二特征学习网络块；所述第一特征学习网络块用于对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸；所述分辨率调整网络块用于根据所述第一分辨率特征图的尺寸和所述缩放倍率值进行卷积核预测处理，得到预测的卷积核，并采用所述预测的卷积核对所述第一分辨率特征图进行卷积处理，得到第二分辨率特征图；所述第二特征学习网络块用于对所述第二分辨率特征图进行特征提取处理，得到第二分辨率图像。


9.根据权利要求8所述的方法，其特征在于，所述分辨率重建网络的训练方式包括：
获取训练样本集，所述训练样本集包括至少两个批次图像样本，每个批次的图像样本对应一个缩放倍率值，每个批次包括预设数量的图像样本；
依次从每个批次中获取图像样本及对应的缩放倍率值输入到待训练的分辨率重建网络，得到每个图像样本和缩放倍率值所对应的实际分辨率图像；
将所述实际分辨率图像与标注的分辨率图像进行比较，得到差异值；
根据所述差异值调整待训练的分辨率重建网络的参数值，继续训练直到满足预设条件时，停止训练，得到分辨率重建网络的目标参数值。


10.根据权利要求9所述的方法，其特征在于，所述根据所述差异值调整待训练的分辨率重建网络的参数值，包括：
根据所述差异值调整待训练的分辨率重建网络的除所述分辨率调整网络块外的其余网络块的参数值，所述分辨率调整网络块的参数值为预先训练得到的目标参数值。


11.根据权利要求1所述的方法，其特征在于，所述待处理图像为拍摄的图像、预览状态下的图像或视频帧图像。


12.根据权利要求1所述的方法，其特征在于，所述待处理图像为至少两帧图像；
对所述待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸，包括：
对所述至少两帧待处理图像进行特征提取，得到第一分辨率特征图及对应的尺寸。


13.根据权利要求1所述的方法，其特征在于，所述方法还...

【专利技术属性】
技术研发人员：李兴龙，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44