图像处理方法、图像处理装置及存储介质制造方法及图纸

本公开是关于一种图像处理方法、图像处理装置及存储介质，图像处理方法应用于电子设备，电子设备中安装有图像采集装置，图像处理方法包括：获取图像采集装置采集的包括噪声的原始图像；将原始图像输入多尺度去噪网络模型，得到去除噪声的目标图像；多尺度去噪网络模型为基于图像采集装置采集的原始图像，以及对原始图像进行下间隔采样后的图像训练得到。本公开实施例通过基于图像采集装置采集的包括噪声的原始图像，以及对原始图像进行下间隔采样后的图像训练，得到多尺度去噪网络模型，将待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像，有效地去除图像采集装置采集的待处理图像中包括的噪声，提高图像质量。提高图像质量。提高图像质量。

【技术实现步骤摘要】
图像处理方法、图像处理装置及存储介质


[0001]本公开涉及图像处理领域，尤其涉及图像处理方法、图像处理装置及存储介质。

技术介绍

[0002]随着终端
的发展，终端的配置越来越高，终端的拍摄功能渐渐成为终端的必备功能。用户使用终端的拍摄需求也随之日益增加，利用终端拍摄视频、图像由于其便利性。成为日常生活的一部分，希望通过终端拍摄具有高质量的图像。
[0003]进行图像以及视频的拍摄时，在图像采集、传输、压缩等各个步骤中，不可避免的会引入噪声。消除图片中的噪声，恢复高清的图像是目前广受关注的焦点问题。
[0004]终端由于其设计的限制，摄像头光圈较小，导致在亮度低的环境进行拍摄时，例如，夜景拍摄时，由于环境光线暗，相对于正常亮度拍摄的图像，图像中的噪声，尤其低频噪声更加严重。当前技术中，对于低频噪声的无法进行有效处理，降低了图像质量，影响用户体验。

技术实现思路

[0005]为克服相关技术中存在的问题，本公开提供一种图像处理方法、图像处理装置及存储介质。
[0006]根据本公开实施例的第一方面，提供一种图像处理方法，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理方法包括：获取所述图像采集装置采集的包括噪声的待处理图像；将所述待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像；所述多尺度去噪网络模型为基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像训练得到。
[0007]在一实施例中，所述多尺度去噪网络模型采用如下方式基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像得到：基于所述图像采集装置采集预设数量的原始图像，并基于所述预设数量的原始图像构建第一训练样本对集合，所述第一训练样本对集合中的第一样本对包括基于所述原始图像确定的第一噪声图像以及第一无噪声图像；对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后获得的训练样本对集合，训练得到所述多尺度去噪网络模型。
[0008]在一实施例中，对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后的训练样本对集合，训练得到所述多尺度去噪网络模型，包括：对所述第一训练样本对集合中的第一训练样本对进行下间隔采样，得到第二训练样本对集合和第三训练样本对集合，所述第二训练样本对集合中的第二训练样本对包括第二噪声图像和第二无噪声图像，且相对所述第一训练样本对具有第一下间隔采样倍数，所述第三训练样本对集合中的第三训练样本对包括第三噪声图像和第三无噪声图像，且相对所述第一训练样本对具有第二下间隔采样倍数，所
述第一下间隔采样倍数与所述第二下间隔采样倍数不同；基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型。
[0009]在一实施例中，所述基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型，包括：确定所述第一训练样本对集合对应的第一目标损失函数，所述第二训练样本对集合对应的第二目标损失函数，以及所述第三训练样本对集合对应的第三目标损失函数；对所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数进行加权求和，得到用于训练所述多尺度去噪网络模型的多尺度目标损失函数，其中，所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数各自对应的权重依次减小；基于所述多尺度目标损失函数训练所述多尺度去噪网络模型。
[0010]在一实施例中，所述基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型，包括：分别对所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合进行特征提取，得到第一特征、第二特征以及第三特征；将所述第三特征以第二间隔倍数进行上间隔采样后与所述第二特征进行特征融合，得到第一融合特征，并将所述第二特征以第一间隔倍数进行上间隔采样后与所述第一特征进行特征融合，得到第二融合特征；将所述第一融合特征和所述第二融合特征进行特征融合得到第三融合特征；基于所述第一特征，所述第一融合特征以及所述第三融合特征，训练得到所述多尺度去噪网络模型。
[0011]在一实施例中，基于所述预设数量的原始图像构建第一训练样本对集合，包括：基于所述图像采集装置采集的预设数量的原始图像中，选择清晰度最高的原始图像作为参考图像；基于所述参考图像进行对齐融合，得到与所述原始图像对应的无噪声图像；将所述参考图像和所述无噪声图像作为第一训练样本对，构建第一训练样本对集合。
[0012]在一实施例中，所述基于所述图像采集装置采集预设数量的原始图像，包括：基于所述图像采集装置针对同一场景目标采集预设数量的原始图像。
[0013]根据本公开实施例的第二方面，提供一种图像处理装置，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理装置包括：获取模块，用于获取所述图像采集装置采集的包括噪声的待处理图像；图像处理模块，用于将所述待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像；所述多尺度去噪网络模型为基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像训练得到。
[0014]在一实施例中，所述多尺度去噪网络模型采用如下方式基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像得到：基于所述图像采集装置采集预设数量的原始图像，并基于所述预设数量的原始图像构建第一训练样本对集合，所述第一训练样本对集合中的第一样本对包括基于所述原始图像确定的第一噪声图像以及第一无噪声图像；对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后获得的训练样本对集合，训练得到所述多尺度去噪网络模型。
[0015]在一实施例中，所述多尺度去噪网络模型采用如下方式对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进
行至少一次下间隔采样后的训练样本对集合，训练得到：对所述第一训练样本对集合中的第一训练样本对进行下间隔采样，得到第二训练样本对集合和第三训练样本对集合，所述第二训练样本对集合中的第二训练样本对包括第二噪声图像和第二无噪声图像，且相对所述第一训练样本对具有第一下间隔采样倍数，所述第三训练样本对集合中的第三训练样本对包括第三噪声图像和第三无噪声图像，且相对所述第一训练样本对具有第二下间隔采样倍数，所述第一下间隔采样倍数与所述第二下间隔采样倍数不同；基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型。
[0016]在一实施例中，所述多尺度去噪网络模型采用如下方式基于所述第一训练样本对集合、所述第二训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理方法包括：获取所述图像采集装置采集的包括噪声的待处理图像；将所述待处理图像输入多尺度去噪网络模型，得到去除噪声的目标图像；所述多尺度去噪网络模型为基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像训练得到。2.根据权利要求1所述的图像处理方法，其特征在于，所述多尺度去噪网络模型采用如下方式基于所述图像采集装置采集的原始图像，以及对所述原始图像进行下间隔采样后的图像得到：基于所述图像采集装置采集预设数量的原始图像，并基于所述预设数量的原始图像构建第一训练样本对集合，所述第一训练样本对集合中的第一样本对包括基于所述原始图像确定的第一噪声图像以及第一无噪声图像；对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后获得的训练样本对集合，训练得到所述多尺度去噪网络模型。3.根据权利要求2所述的图像处理方法，其特征在于，对所述第一训练样本对集合中的第一训练样本进行至少一次下间隔采样，并基于所述第一训练样本对集合，以及进行至少一次下间隔采样后的训练样本对集合，训练得到所述多尺度去噪网络模型，包括：对所述第一训练样本对集合中的第一训练样本对进行下间隔采样，得到第二训练样本对集合和第三训练样本对集合，所述第二训练样本对集合中的第二训练样本对包括第二噪声图像和第二无噪声图像，且相对所述第一训练样本对具有第一下间隔采样倍数，所述第三训练样本对集合中的第三训练样本对包括第三噪声图像和第三无噪声图像，且相对所述第一训练样本对具有第二下间隔采样倍数，所述第一下间隔采样倍数与所述第二下间隔采样倍数不同；基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型。4.根据权利要求3所述的图像处理方法，其特征在于，所述基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去噪网络模型，包括：确定所述第一训练样本对集合对应的第一目标损失函数，所述第二训练样本对集合对应的第二目标损失函数，以及所述第三训练样本对集合对应的第三目标损失函数；对所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数进行加权求和，得到用于训练所述多尺度去噪网络模型的多尺度目标损失函数，其中，所述第一目标损失函数、所述第二目标损失函数以及所述第三目标损失函数各自对应的权重依次减小；基于所述多尺度目标损失函数训练所述多尺度去噪网络模型。5.根据权利要求3或4所述的图像处理方法，其特征在于，所述基于所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合，训练得到所述多尺度去
噪网络模型，包括：分别对所述第一训练样本对集合、所述第二训练样本对集合以及所述第三训练样本对集合进行特征提取，得到第一特征、第二特征以及第三特征；将所述第三特征以第二间隔倍数进行上间隔采样后与所述第二特征进行特征融合，得到第一融合特征，并将所述第二特征以第一间隔倍数进行上间隔采样后与所述第一特征进行特征融合，得到第二融合特征；将所述第一融合特征和所述第二融合特征进行特征融合得到第三融合特征；基于所述第一特征，所述第一融合特征以及所述第三融合特征，训练得到所述多尺度去噪网络模型。6.根据权利要求2所述的图像处理方法，其特征在于，基于所述预设数量的原始图像构建第一训练样本对集合，包括：基于所述图像采集装置采集的预设数量的原始图像中，选择清晰度最高的原始图像作为参考图像；基于所述参考图像进行对齐融合，得到与所述原始图像对应的无噪声图像；将所述参考图像和所述无噪声图像作为第一训练样本对，构建第一训练样本对集合。7.根据权利要求6所述的图像处理方法，其特征在于，所述基于所述图像采集装置采集预设数量的原始图像，包括：基于所述图像采集装置针对同一场景目标采集预设数量的原始图像。8.一种图像处理装置，其特征在于，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理装置包括：获取模块，用于获取所述图像采集装置采集的包括噪声的待处理图像；图像处理模块，用于将所述待处理图像输入多尺度去噪网络模型...

【专利技术属性】
技术研发人员：张亮，
申请(专利权)人：北京小米松果电子有限公司，
类型：发明
国别省市：