一种图像降噪系统、方法及降噪神经网络训练方法技术方案

本申请提供一种图像降噪系统、方法及降噪神经网络训练方法，涉及图像处理技术领域。采用本申请提供的图像降噪系统，降噪神经网络不直接输出降噪后的图像，而是输出n张残差图像，每一残差图像的像素值为不同频段的噪声的负值，即降噪神经网络输出不同频段的噪声的残差。通过相应配置不同频段的残差对应衰减因子，上述残差乘上各自对应的衰减因子，再将该残差加回降噪前的图像，得到最终的降噪后的图像。由于衰减因子为相应配置，可以根据需求对最终降噪图像的噪声形态进行控制，从而实现对多种不同的应用场景进行适配。多种不同的应用场景进行适配。多种不同的应用场景进行适配。

【技术实现步骤摘要】
一种图像降噪系统、方法及降噪神经网络训练方法


[0001]本申请涉及图像处理
，具体而言，涉及一种图像降噪系统、方法及降噪神经网络训练方法。

技术介绍

[0002]图像降噪是指利用特定的处理手段，去除图像中的噪声，估计并恢复出图像的真实信号值。近年来，利用神经网络训练，进行图像降噪的技术越来越普遍，该技术的优势在于克服了传统人工设计的降噪算法的一些缺点，例如降噪后的图像模糊，降噪效果不够明显等。
[0003]神经网络的训练依赖大量的训练数据集，以及复杂庞大的模型结构，如此的复杂度通常使得训练中的人为干预变得不可能或者结果无法预估。因此，常见的降噪神经网络都是“端到端”的结构。所谓“端到端”的结构，即降噪神经网络的输入为降噪前的图像，输出为降噪后的图像。
[0004]实际的应用中通常对噪声的形态有比较具体的要求，并且，这种对噪声形态的要求对不同的应用，不同的场景来说也是各不相同的，例如：对于消费电子类的相机用户，通常会期望降噪后的图像中依然保留一部分高频噪声，使得整体的图像看上去更有颗粒感；而对于安防监控类的应用，通常会期待降噪后的图像干净，没有多与的噪声。
[0005]然而由于现有的降噪神经网络是一个“端到端”的降噪网络，无法根据需求对中间的计算过程进行控制或者调参，导致图像降噪的结果完全由网络来决定，降噪后的噪声形态不可控，不能适配多种不同的应用不同的场景中。

技术实现思路

[0006]本申请实施例的目的在于提供一种图像降噪系统、方法及降噪神经网络训练方法，用以解决现有的降噪方案，无法人为对中间的计算过程进行控制或者调参，导致图像降噪的结果完全由网络来决定，降噪后的噪声形态不可控，不能适配多种不同的应用不同的场景中的问题。
[0007]本申请实施例提供的一种图像降噪系统，包括：
[0008]神经网络降噪模块，用于利用训练后的降噪神经网络模型对待处理图像进行降噪处理，并得到n张残差图像；其中，每一残差图像的像素值为不同频段的噪声的负值；
[0009]降噪后处理模块，用于将每一残差图像与对应的衰减因子相乘，将所有残差图像与对应衰减因子相乘的结果与待处理图像叠加，得到降噪图像。
[0010]上述技术方案中，降噪神经网络不直接输出降噪后的图像，而是输出n张残差图像，每一残差图像的像素值为不同频段的噪声的负值，即降噪神经网络输出不同频段的噪声的残差。通过相应配置不同频段的残差对应衰减因子，上述残差乘上各自对应的衰减因子，再将该残差加回降噪前的图像，得到最终的降噪后的图像。由于衰减因子为相应配置，可以根据需求对最终降噪图像的噪声形态进行控制(例如通过人工进行人为的控制)，图像
降噪系统从而实现对多种不同的应用场景进行适配。
[0011]在一些可选的实施方式中，降噪神经网络模型包括n个缩小层和n个残差生成层；其中，每一缩小层用于控制残差图像的频段，每一残差生成层包括至少一个卷积层和激活层。
[0012]在一些可选的实施方式中，还包括：
[0013]图像传感器，用于通过镜头的光信号转换为数字信号并进行成像，得到原始图像；
[0014]图像前处理模块，用于对原始图像进行预处理，得到待处理图像；其中，预处理包括黑电平矫正、坏点矫正、镜头阴影矫正、白平衡矫正和图像位宽压缩中的至少一个。
[0015]上述技术方案中，图像传感器，通常为半导体器件，常见的有CMOS图像传感器，CCD图像传感器等，其功能是将通过镜头的光信号转换为数字信号，输入至ISP(Image Signal Processing，图像信号处理)进行成像。图像前处理模块，通常是半导体集成电路，其功能是对图像进行一些预处理，例如黑电平矫正，坏点矫正，镜头阴影矫正，白平衡矫正，图像位宽压缩等，图像前处理模块的输出图像是一张带有噪声的图像。
[0016]在一些可选的实施方式中，还包括：
[0017]图像后处理模块，用于对降噪图像进行矫正处理，其中，矫正处理包括颜色矫正、锐化和畸变矫正中的至少一个。
[0018]上述技术方案中，图像后处理模块，通常是半导体集成电路，其功能是将降噪后处理模块输出的降噪图像进行必要的图像处理，进行进一步的成像，上述处理包括颜色矫正，锐化，畸变矫正等。
[0019]在一些可选的实施方式中，还包括：
[0020]存储模块，用于存储待处理图像和所有残差图像。
[0021]上述技术方案中，存储模块，通常是DRAM，SRAM等存储器件，其功能为保存处理后的图像，如待处理图像、残差图像等。
[0022]本申请实施例提供的一种降噪神经网络模型的训练方法，包括：
[0023]获取没有噪声的图像作为目标图像；
[0024]将目标图像与噪声图像叠加，得到具有噪声的输入图像；
[0025]将输入图像输入降噪神经网络模型，得到n张训练残差图像；
[0026]根据n张训练残差图像与噪声图像对应的噪声分量，得到整体误差；
[0027]判断整体误差是否达到收敛条件，若否，则通过参数的梯度反向传播，迭代更新降噪神经网络模型中的参数，直到达到收敛条件，则训练结束，得到训练后的降噪神经网络模型。
[0028]其中，收敛条件包括整体误差的值足够小或者训练次数到达上限阈值等。
[0029]上述技术方案中，降噪神经网络模型的输出不是降噪后的图像，而是不同频段的噪声的残差，在面对不同应用场景时，可以根据实际需要设置这些残差对应的衰减因子，以控制噪声的形态。
[0030]在一些可选的实施方式中，根据n张训练残差图像与噪声图像对应的频段图像，得到整体误差，包括：
[0031]对噪声图像进行图像分频处理，得到n个频段的噪声分量；
[0032]将每一训练残差图像与对应频段的噪声分量叠加，得到每一频段的误差值；
[0033]根据所有频段的误差值，得到整体误差。
[0034]上述技术方案中，在降噪神经网络训练时，利用图像分频技术创造训练数据对，利用上述数据对进行网络训练，使网络不直接输出降噪后的图像，而是输出不同频段的噪声的残差。其中，图像分频技术可以采用构建图像金字塔、构建DoG(Difference of Gaussian)、傅里叶变换等。
[0035]在一些可选的实施方式中，对噪声图像进行图像分频处理，得到n个频段的噪声分量，包括：
[0036]对噪声图像进行高斯滤波，得到滤波后图像；
[0037]将噪声图像与滤波后图像做差，得到第一频段的噪声分量；
[0038]将上一频段的噪声分量进行高斯滤波，得到下一滤波后图像，将上一频段的噪声分量与下一滤波后图像做差，得到下一频段的噪声分量，重复该步骤，直到得到第n频段的噪声分量。
[0039]在一些可选的实施方式中，根据所有频段的误差值，得到整体误差，包括：
[0040]根据所有频段的误差值，计算均方误差，得到整体误差；
[0041]或，根据所有频段的误差值，计算峰本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像降噪系统，其特征在于，包括：神经网络降噪模块，用于利用训练后的降噪神经网络模型对待处理图像进行降噪处理，并得到n张残差图像；其中，每一残差图像的像素值为不同频段的噪声的负值；降噪后处理模块，用于将每一残差图像与对应的衰减因子相乘，将所有残差图像与对应衰减因子相乘的结果与待处理图像叠加，得到降噪图像。2.如权利要求1所述的系统，其特征在于，所述降噪神经网络模型包括n个缩小层和n个残差生成层；其中，每一缩小层用于控制残差图像的频段，每一残差生成层包括至少一个卷积层和激活层。3.如权利要求1所述的系统，其特征在于，还包括：图像传感器，用于通过镜头的光信号转换为数字信号并进行成像，得到原始图像；图像前处理模块，用于对原始图像进行预处理，得到待处理图像；其中，所述预处理包括黑电平矫正、坏点矫正、镜头阴影矫正、白平衡矫正和图像位宽压缩中的至少一个。4.如权利要求1所述的系统，其特征在于，还包括：图像后处理模块，用于对降噪图像进行矫正处理，其中，矫正处理包括颜色矫正、锐化和畸变矫正中的至少一个。5.如权利要求1所述的系统，其特征在于，还包括：存储模块，用于存储待处理图像和所有残差图像。6.一种降噪神经网络模型的训练方法，其特征在于，包括：获取没有噪声的图像作为目标图像；将目标图像与噪声图像叠加，得到具有噪声的输入图像；将输入图像输入降噪神经网络模型，得到n张训练残差图像；根据n张训练残差图像与噪声图像对应的噪声分量，得到整体误差；判断整体...

【专利技术属性】
技术研发人员：周杰旻，
申请(专利权)人：爱芯元智半导体上海有限公司，
类型：发明
国别省市：