图像处理方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种图像处理方法、装置、存储介质及电子设备。该图像处理方法包括：响应于用户的输入操作，获取所述用户输入的针对待处理图像的画质调整需求信息；将所述待处理图像以及所述画质调整需求信息输入训练完成的图像处理模型，得到所述图像处理模型输出的目标图像，以使所述目标图像的画质满足用户需求。本公开的这种方法，可基于用户的画质调整需求信息得到符合用户需求的目标图像。信息得到符合用户需求的目标图像。信息得到符合用户需求的目标图像。

【技术实现步骤摘要】
图像处理方法、装置、存储介质及电子设备


[0001]本公开涉及图像处理
，尤其涉及一种图像处理方法、装置、存储介质及电子设备。

技术介绍

[0002]智能手机上的相机与单反相机相比较，手机相机因受手机物理尺寸的限制导致手机相机的图像传感器尺寸较小，而图像传感器的尺寸越小拍摄得到的图像的分辨率越低。并且，手机相机的光圈也因手机物理尺寸的限制而无法做到足够大，使得手机相机镜头通光量较少、聚光能力较弱，这导致用手机拍摄得到的图像的信噪比更低。此外，利用相机拍摄得到的图像可以认为是利用光学成像设备对原始高分辨率场景进行观测的结果，而观测过程不可避免的会受到镜头光学模糊、欠釆样(即传感器像素大于细节所需要的像素，也就是采样率没有达到奈奎斯特频率)、噪声等降质因素的影响。这些客观因素均导致使用手机相机拍摄得到的图像画质不高。
[0003]相关技术中，为了提升智能手机拍摄的图像的画质，常对拍摄的原始图像进行去噪处理，但是图像去噪处理伴随着图像细节的模糊，因而去噪后的图像可能因细节丢失而不符合用户的画质需求。

技术实现思路

[0004]为克服相关技术中存在的问题，本公开提供一种图像处理方法、装置、存储介质及电子设备，以解决相关技术中存在的问题，得到符合用户需求的图像画质。
[0005]根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：
[0006]响应于用户的输入操作，获取所述用户输入的针对待处理图像的画质调整需求信息；
[0007]将所述待处理图像以及所述画质调整需求信息输入训练完成的图像处理模型，得到所述图像处理模型输出的目标图像，以使所述目标图像的画质满足用户需求。
[0008]可选地，所述画质调整需求信息包括噪声抑制值，所述噪声抑制值是所述用户参考噪声抑制参考值输入的，其中，所述噪声抑制参考值是根据拍摄所述待处理图像的摄像机的感光度，和/或所述待处理图像的像素方差值确定的；
[0009]其中，所述噪声抑制值的大小与所述图像处理模型对图像中的噪声抑制程度成正相关。
[0010]可选地，所述画质调整需求信息包括图像细节增强值，所述图像细节增强值是所述用户参考所述待处理图像的模糊程度进行确定的，所述模糊程度表征所述待处理图像的锐化程度、亮度、对比度中的至少一种图像参数。
[0011]可选地，所述画质调整需求信息还包括图像细节增强值，所述图像细节增强值是所述用户参考图像细节增强参考值输入的，所述图像细节增强参考值是根据所述用户输入的所述噪声抑制值，以及噪声抑制值与图像细节增强值之间预设的对应关系进行确定的。
[0012]可选地，所述图像处理模型的训练包括：
[0013]获取样本待处理图像，以及与所述样本待处理图像对应的高画质样本待处理图像；
[0014]计算所述样本待处理图像的噪声强度；
[0015]对所述高画质样本待处理图像进行图像细节增强处理，得到图像细节增强后的样本目标图像以及细节增强强度；
[0016]将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入，将所述样本目标图像作为所述待训练的图像处理模型的输出，以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
[0017]可选地，所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的，或者，所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。
[0018]可选地，所述画质调整需求信息包括噪声抑制值和图像细节增强值，所述图像处理模型为深度卷积神经网络模型，包括卷积模块、图像细节增强模块、图像重建模块；
[0019]所述卷积模块用于，根据所述噪声抑制值、所述图像细节增强值对所述待处理图像进行卷积处理，得到第一特征数据；
[0020]所述图像细节增强模块用于，对所述第一特征数据进行归一化处理，得到目标特征数据；
[0021]所述图像重建模块用于，根据所述目标特征数据重建得到所述目标图像。
[0022]可选地，所述图像细节增强模块包括特征提取层、归一化处理层、同位点乘处理层、同位相加处理层，其中，所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联；
[0023]所述特征提取层用于，提取该图像细节增强模块的输入数据的特征信息，得到第二特征数据；
[0024]所述归一化处理层用于，对该图像细节增强模块的输入数据进行归一化处理，得到归一化特征数据；
[0025]所述同位点乘处理层用于，对所述归一化特征数据与所述第二特征数据进行同位点乘处理，得到第三特征数据；
[0026]所述同位相加处理层用于，将所述第三特征数据与所述第二特征数据进行同位相加处理，得到该图像细节增强模块的输出数据。
[0027]可选地，所述图像细节增强模块为串联的多个图像细节增强模块，所述多个图像细节增强模块中的首个图像细节增强模块的输入数据为所述第一特征数据，所述多个图像细节增强模块中的非首个图像细节增强模块的输入数据为上一图像细节增强模块的输出数据，所述目标特征数据为所述多个图像细节增强模块中的最后一个图像细节增强模块的输出数据。
[0028]根据本公开实施例的第二方面，提供一种图像处理模型的训练方法，所述方法包括：
[0029]获取样本待处理图像，以及与所述样本待处理图像对应的高画质样本待处理图像；
[0030]计算所述样本待处理图像的噪声强度；
[0031]对所述高画质样本待处理图像进行图像细节增强处理，得到图像细节增强后的样本目标图像以及细节增强强度；
[0032]将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入，将所述样本目标图像作为所述待训练的图像处理模型的输出，以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
[0033]可选地，所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的，或者，所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。
[0034]可选地，所述图像处理模型为深度卷积神经网络模型，包括卷积模块、图像细节增强模块、图像重建模块；
[0035]所述卷积模块用于，根据所述噪声强度、所述细节增强强度对所述样本待处理图像进行卷积处理，得到样本第一特征数据；
[0036]所述图像细节增强模块用于，对所述样本第一特征数据进行归一化处理，得到样本目标特征数据；
[0037]所述图像重建模块用于，根据所述样本目标特征数据重建得到模型生成的样本目标图像。
[0038]可选地，所述图像细节增强模块包括特征提取层、归一化处理层、同位点乘处理层、同位相加处理层，其中，所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联；
[0039]所述特征提取层用于，提取该图像细节增强模块的输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：响应于用户的输入操作，获取所述用户输入的针对待处理图像的画质调整需求信息；将所述待处理图像以及所述画质调整需求信息输入训练完成的图像处理模型，得到所述图像处理模型输出的目标图像，以使所述目标图像的画质满足用户需求。2.根据权利要求1所述的方法，其特征在于，所述画质调整需求信息包括噪声抑制值，所述噪声抑制值是所述用户参考噪声抑制参考值输入的，其中，所述噪声抑制参考值是根据拍摄所述待处理图像的摄像机的感光度，和/或所述待处理图像的像素方差值确定的；其中，所述噪声抑制值的大小与所述图像处理模型对图像中的噪声抑制程度成正相关。3.根据权利要求1所述的方法，其特征在于，所述画质调整需求信息包括图像细节增强值，所述图像细节增强值是所述用户参考所述待处理图像的模糊程度进行确定的，所述模糊程度表征所述待处理图像的锐化程度、亮度、对比度中的至少一种图像参数。4.根据权利要求2所述的方法，其特征在于，所述画质调整需求信息还包括图像细节增强值，所述图像细节增强值是所述用户参考图像细节增强参考值输入的，所述图像细节增强参考值是根据所述用户输入的所述噪声抑制值，以及噪声抑制值与图像细节增强值之间预设的对应关系进行确定的。5.根据权利要求1所述的方法，其特征在于，所述图像处理模型的训练包括：获取样本待处理图像，以及与所述样本待处理图像对应的高画质样本待处理图像；计算所述样本待处理图像的噪声强度；对所述高画质样本待处理图像进行图像细节增强处理，得到图像细节增强后的样本目标图像以及细节增强强度；将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入，将所述样本目标图像作为所述待训练的图像处理模型的输出，以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。6.根据权利要求5所述的方法，其特征在于，所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的，或者，所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。7.根据权利要求1所述的方法，其特征在于，所述画质调整需求信息包括噪声抑制值和图像细节增强值，所述图像处理模型为深度卷积神经网络模型，包括卷积模块、图像细节增强模块、图像重建模块；所述卷积模块用于，根据所述噪声抑制值、所述图像细节增强值对所述待处理图像进行卷积处理，得到第一特征数据；所述图像细节增强模块用于，对所述第一特征数据进行归一化处理，得到目标特征数据；所述图像重建模块用于，根据所述目标特征数据重建得到所述目标图像。8.根据权利要求7所述的方法，其特征在于，所述图像细节增强模块包括特征提取层、归一化处理层、同位点乘处理层、同位相加处理层，其中，所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联；所述特征提取层用于，提取该...

【专利技术属性】
技术研发人员：万韶华，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：