基于离散小波变换的神经网络进行原始图像处理的方法技术

本发明专利技术公开了一种基于离散小波变换的神经网络进行原始图像处理的方法，不同于其他的端到端网络直接将图像整体进行输入以及输出，本发明专利技术采用的网络首先将输入图像利用离散小波变换分离出图像低频部分以及图像高频部分，然后使用两个不同的网络分别对这两部分进行处理，最后采用离散小波逆变换将这两部分信息合成为输出图像。本发明专利技术充分利用了智能手机算力上的优势，实验表明，本发明专利技术所采用的模型相较于其他模型得到的图像细节更加清晰，可以具有与单反相机得到的图像相同的动态范围以及鲜明的色彩。鲜明的色彩。鲜明的色彩。

【技术实现步骤摘要】
restoration with neural networks,”IEEE Transactions on computational imaging,vol.3,no.1,pp.47
‑
57,2016.。

技术实现思路

[0009]本专利技术要解决的技术问题是：智能手机相机模组中的传感器大小通常只有单反相机全画幅传感器尺寸的十分之一，而镜头的光学素质更是无法达到单反相机镜头的水平，同时传统ISP管线的各个模块需要独立进行测试，十分耗时，并且传统图像处理算法在降噪以及动态范围方面表现不如深度学习模型。
[0010]为了解决上述技术问题，本专利技术的技术方案是提供了一种基于离散小波变换的神经网络进行原始图像处理的方法，其特征在于，采用端到端RAW to RGB的卷积神经网络来代替智能手机相机模组的整个图像处理管线对所输入的图像进行处理，包括以下步骤：
[0011]利用离散小波变换从输入图像中分离出图像低频部分以及图像高频部分；
[0012]对于图像高频部分，利用具有N1个残差块、每个残差块具有M1个通道的残差网络一进行处理；
[0013]对于图像低频部分，利用具有N2个残差块、每个残差块具有M2个通道的残差网络二进行处理，N2>N1，M2>M1；
[0014]采用离散小波逆变换将残差网络一以及残差网络二输出的数据信息合成为输出图像。
[0015]优选地，对所述残差网络一进行训练时，利用L1损失来进行优化。
[0016]优选地，对所述残差网络二进行训练时，同时利用L1损失、感知损失和结构相似度损失来共同进行优化。
[0017]优选地，所述残差块只有卷积层和ReLU组成。
[0018]不同于其他的端到端网络直接将图像整体进行输入以及输出，本专利技术采用的网络首先将输入图像利用离散小波变换分离出图像低频部分以及图像高频部分，然后使用两个不同的网络分别对这两部分进行处理，最后采用离散小波逆变换将这两部分信息合成为输出图像。本专利技术充分利用了智能手机算力上的优势，实验表明，本专利技术所采用的模型相较于其他模型得到的图像细节更加清晰，可以具有与单反相机得到的图像相同的动态范围以及鲜明的色彩。
[0019]相比于已有的一些端到端RAWtoRGB网络结构，本专利技术的优势在于：
[0020]1.本专利技术没有将图像整体作为输入以及输出，而是将图像的高频部分以及低频部分分离后在两个结构不同的网络中进行联合训练，最后再将这两部分合成，有效地避免了卷积神经网络导致的图像细节模糊问题。
[0021]2.采用的网络参数量明显小于其他网络，能够达到轻量级的神经网络标准，易于后期部署在智能手机设备上。
[0022]3.在本专利技术的基础上，针对不同的数据集以及不同的任务，可以对高频网络以及低频网络进行独立修改而不会影响网络整体的架构以及特性。
附图说明
[0023]图1为本专利技术的模型结构图，阐述了本专利技术的基本流程。
[0024]图2为本专利技术网络中采用的残差块的结构图。
[0025]图3为离散小波变化与双线性插值的结果对比图，表明了本专利技术中使用的离散小波变换相较于传统方法的优势。
具体实施方式
[0026]下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
[0027]本实施例公开的一种基于离散小波变换的神经网络进行原始图像处理的方法包括以下步骤：
[0028]利用离散小波变换的特性，首先将输入图像分成高频部分以及低频部分。对高频部分，由于其结构简单，因此采用了具有8个残差块的高频残差网络进行处理，每个残差块具有64个通道。训练高频残差网络时，利用L1损失来进行优化。对于低频部分，由于其包含了图像大部分信息，因此采用了具有16个残差块的低频残差网络进行处理，每个残差块拥有256个通道。训练低频残差网络时，同时利用L1损失，感知损失和结构相似度损失来共同进行优化。
[0029]图1给出了本实施例中整个端到端RAWtoRGB模型的结构，拜耳RAW图像预先被处理为四通道RGGB图像，这种图像的尺寸为原始图像尺寸的一半，因此先对该图像进行上采样，使其恢复为原始图像尺寸以及通道数，然后对图像采用哈尔离散小波变换。变换后的图像分为高频部分和低频部分，其中低频部分为三通道图像，而高频部分包含了水平、垂直以及对角线方向的高频细节，因此通道数为9。然后将这两部分图像分别放入高频残差网络以及低频残差网络得到输出。将单反相机图像也使用离散小波变换得到高频以及低频部分，使用这两部分真实图像与高频网络和低频网络的输出分别计算损失。其中高频部分的损失为L1损失函数，低频部分的损失函数是由感知损失、L1损失和结构相似度损失组成的混合损失函数。
[0030]图2给出了两种不同的ResBlock结构，本专利技术中高频残差网络及低频残差网络所使用的残差块是EDSRResblock(见参考文献：B.Lim,S.Son,H.Kim,S.Nah,and K.Mu Lee,”Enhanced deep residual networks for single image super
‑
resolution,”in Proceedings of the IEEE conference on computer vision and pattern recognition workshops,2017,pp.136
‑
144.)。传统的残差块中由卷积层、批量归一化层以及ReLU构成。但是批量归一化更适合高级计算机视觉任务，如图像分类以及目标检测。对于图像处理等低级计算机视觉任务只会增加计算资源消耗，同时还会影响到图像的颜色和对比度，因此本专利技术采用了只有卷积层和ReLU组成的残差块。
[0031]图3阐述了采用传统方法进行降采样以及双线性插值上采样和采用离散小波变换进行降采样和上采样的对比。可以很明显地看出来，传统方法降采样后只保留了图像的一部分信息，而采用离散小波变换降采样后可以保留图像的所有信息，并且利用这些信息进行离散小波逆变换便可以无损地还原图像。在二维离散小波变换中，输入图像分别经过低通滤波器和高通滤波器后需要进行下采样。然后在低通滤波器的下采样部分执行相同的处
理。对于哈尔小波，低通滤波器f
LL
定义为：
[0032][0033]我们可以得知，低通滤波器和下采样操作实际上是总和池化操作。同样地，可以得到三个高通滤波器的定义，分别表示图像水平、垂直和对角线方向的高频滤波：
[0034][0035]给定图像x尺寸为m
×
n，低通滤波器的结果可以写为：
[0036]x1(i,j)＝x(2i
‑
1,2j
‑
1)+x(2i
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于离散小波变换的神经网络进行原始图像处理的方法，其特征在于，采用端到端RAW to RGB的卷积神经网络来代替智能手机相机模组的整个图像处理管线对所输入的图像进行处理，包括以下步骤：利用离散小波变换从输入图像中分离出图像低频部分以及图像高频部分；对于图像高频部分，利用具有N1个残差块、每个残差块具有M1个通道的残差网络一进行处理；对于图像低频部分，利用具有N2个残差块、每个残差块具有M2个通道的残差网络二进行处理，N2>N1，M2>M1；采用离散小波逆变换将残...

【专利技术属性】
技术研发人员：董孟川，娄鑫，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：