一种基于深度学习的稀疏颜色传感器图像重建方法技术

本发明专利技术公开了一种基于深度学习的稀疏颜色传感器图像重建方法，步骤包括：步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素W

【技术实现步骤摘要】
一种基于深度学习的稀疏颜色传感器图像重建方法
本专利技术属于图像处理
，涉及一种基于深度学习的稀疏颜色传感器图像重建方法。
技术介绍
在过去的十年中，数码相机有了很大的发展。数码相机的基本原理是，采用单个传感器的成像结构，一次曝光获得一幅图像，传感器表面覆盖滤光片，曝光成像时，传感器的每个像素位置只采集一种颜色，这种直接采样获取的图像称为raw图像，需通过软件方法重建出每个像素位置上没有直接采样的颜色，这个重建过程被称为图像去马赛克。当前RGB数码相机中，传感器表面最常见的滤光片阵列是Bayer阵列，成像区域由2×2的重复阵列组成，每组2×2阵列包含2个绿色像素(G)、1个红色像素(R)、1个蓝色像素(B)。近些年针对Bayer阵列raw图像的去马赛克技术取得了一定进步，但采用Bayer阵列的相机在拍摄弱光场景图像时仍存在图像不清晰、细节丢失等缺陷。为了克服Bayer阵列成像在弱光条件下的成像缺陷，Kodak公司提出了RGBW滤光片阵列，在RGB基础上加入了W全色像素。与表面覆盖了滤光片的R、G、B三色像素不同，W全色像素没有覆盖滤光片，从而意味着可接收更多光线进入传感器，从而引发传感器的光电响应，利于捕捉弱光条件下的图像信息，但是其技术效果还是不够理想。
技术实现思路
本专利技术的目的是提供一种基于深度学习的稀疏颜色传感器图像重建方法，解决了现有技术在采用Bayer阵列的相机拍摄弱光场景图像时，仍存在图像不清晰、细节丢失，弱光条件下的成像质量差的问题。本专利技术采用的技术特征是，一种基于深度学习的稀疏颜色传感器图像重建方法，按照以下步骤具体实施：步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素WS恢复出100％的全色像素图像WR；步骤2、构建生成对抗网络WGAN；步骤3、更新对抗模块参数；步骤4，更新颜色重建网络参数；步骤5，建立非线性映射关系，训练对抗模块和颜色重建网络，直到对抗模块的损失值达到最大，颜色重建网络的损失值达到最小；保存训练好的颜色重建网络的结构及各层参数，得到建立好的非线性映射关系；步骤6，获取RGB彩色图像，将测试数据输入到训练好的颜色重建网络中，得到RGB彩色图像。本专利技术的有益效果是，首先建立一个亮度恢复网络，从占96％空间的W全色像素中恢复出其余4％空间位置上的W颜色值，得到完整的W颜色值(将其称为W亮度通道图像)，并根据W通道图像提取边缘信息的低级特征。然后利用亮度恢复网络的输出和raw图像中的RGB采样值，重建所有位置上的RGB值，获得完整的RGB彩色图像。采用本专利技术所提出的RGBW滤光片阵列获取的raw图像，每个像素位置只采样了一种颜色，可用于恢复单传感器相机raw图像的完整彩色信息，从而解决单传感器快照式成像存在的颜色丢失和颜色伪影等问题；同时，能够有效提高低光照条件下的成像质量，较传统方法获得更清晰的彩色图像细节。附图说明图1是本专利技术方法采用的传感器表面的RGBW滤光片阵列示意图；图2是本专利技术方法的颜色重建模型示意图；图3是本专利技术方法的流程示意图；图4是本专利技术方法构建的亮度恢复网络模型结构示意图；图5是本专利技术方法构建的颜色重建网络模型结构示意图；图6是本专利技术方法构建的对抗模块示意图。具体实施方式下面结合附图和具体实施方式对本专利技术进行详细说明。参照图1，为进一步提高彩色相机的弱光环境成像能力，本专利技术方法参考人眼视觉特征，设计了一种RGBW传感器表面滤光片阵列，即用10×10像素的栅格表示RGBW阵列；具体来说，全色像素W类似于人视觉中的杆状细胞用来获取亮度信息，而RGB像素类似视觉中的视锥细胞来获取色度信息，而在人类视网膜中，95％的感光细胞是杆状细胞，只有5％是视锥细胞。因此，为了模拟特别是在弱光条件下的类人视觉性能，本专利技术方法采用了一种类似人眼视觉系统的RGBW滤光片阵列，W表示全色像素、R表示红色像素、G表示绿色像素、B表示蓝色像素；在传感器平面内R、G、B、W四种颜色像素的空间比例参考人眼系统，即W像素占96％，G像素占2％，R像素和B像素各占1％。因此，这种参照人眼视觉系统的阵列成像方式，能够提高弱光条件下的成像质量，在车辆自动驾驶、机器人和安全摄像机等方面具有广泛应用前景。利用上述的RGBW滤光片阵列进行成像得到raw图像，即每个像素位置只采集了一种颜色，本专利技术利用深度学习方法提出一种颜色重建模型，将每个像素位置的其他三种未采样颜色信息进行重建，参照图2，重建过程可描述为：{WS,CS}→IR，其中WS表示raw图像中的全色像素，CS表示raw图像中的稀疏RGB像素，最后输出一个完整三通道的RGB彩色图像IR。参照图3，本专利技术的方法，按照以下步骤具体实施：步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素WS恢复出100％的全色像素图像WR，参照图4，本步骤采用的亮度恢复网络，是利用raw图像中占96％空间的全色像素WS计算出全部空间上的全色像素图像WR，亮度恢复网络的结构依次为：全色像素WS作为输入→第一个卷积层Conv1→第二个卷积层Conv2→第三个卷积层Conv3→第四个卷积层Conv4→第五个卷积层Conv5→第六个卷积层Conv6→输出全色像素图像WR，其中Conv1、Conv2和Conv3的特征映射图的总数均为64个，Conv4和Conv5的特征映射图的总数均为128个；前五个卷积层的卷积核大小均为3×3，卷积步长均为1，并通过ReLU函数激活；网络的最后一层卷积层的尺寸为H×W×1，其中H和W分别代表输入图像的高度和宽度；输出层通过双曲正切函数激活；在恢复100％的全色像素图像WR的同时，采用Canny边缘提取算法提取出边缘特征ER作为低级特征，表达式为ER∈[0,1]H×W×1，亮度恢复网络的每一层均使用批量归一化函数进行归一化处理，在训练亮度恢复网络时，考虑到L1损失函数在目标轮廓的对比度、均匀区域的平滑效果方面表现较好，同时SSIM损失函数引入结构约束能够很好地恢复图像的结构和局部细节，本步骤采用将L1+SSIM损失函数组合在一起作为最终的网络训练损失函数，表达式为：式(1)中，L(WG,WR)表示真实图像的全色像素图像WG和恢复出来的全色像素图像WR之间的损失；p表示像素，P表示整个图像块，N表示图像块中像素的总数，WG(p)和WR(p)分别是WG和WR的像素值；其中，和分别表示WG和WR的平均值，和是标准偏差，是真实图像的全色像素图像WG和恢复出来的全色像素图像WR的协方差，C1和C2是常量，l是亮度分量，c是对比度分量，s是结构分量；步骤2、构建生成对抗网络WGAN，构建一个颜色重建网络CRN并设置该网络的每层参数，将其作为生成对抗网络WGAN中的生成器，该网络的输入数据包含：步骤1获得的100％全色像素图像WR、边缘特征ER、以及raw图像中的占4％空间的稀疏RG本文档来自技高网...

【技术保护点】
1.一种基于深度学习的稀疏颜色传感器图像重建方法，其特征在于，按照以下步骤具体实施：/n步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素W

【技术特征摘要】
1.一种基于深度学习的稀疏颜色传感器图像重建方法，其特征在于，按照以下步骤具体实施：
步骤1、构建亮度恢复网络，根据raw图像中占96％的全色像素WS恢复出100％的全色像素图像WR；
步骤2、构建生成对抗网络WGAN；
步骤3、更新对抗模块参数；
步骤4，更新颜色重建网络参数；
步骤5，建立非线性映射关系，
训练对抗模块和颜色重建网络，直到对抗模块的损失值达到最大，颜色重建网络的损失值达到最小；保存训练好的颜色重建网络的结构及各层参数，得到建立好的非线性映射关系；
步骤6，获取RGB彩色图像，
将测试数据输入到训练好的颜色重建网络中，得到RGB彩色图像。


2.根据权利要求1所述的基于深度学习的稀疏颜色传感器图像重建方法，其特征在于：所述的步骤1中，具体过程是，
利用raw图像中占96％空间的全色像素WS计算出全部空间上的全色像素图像WR，亮度恢复网络的结构依次为：全色像素WS作为输入→第一个卷积层Conv1→第二个卷积层Conv2→第三个卷积层Conv3→第四个卷积层Conv4→第五个卷积层Conv5→第六个卷积层Conv6→输出全色像素图像WR，
其中Conv1、Conv2和Conv3的特征映射图的总数均为64个，Conv4和Conv5的特征映射图的总数均为128个；前五个卷积层的卷积核大小均为3×3，卷积步长均为1，并通过ReLU函数激活；网络的最后一层卷积层的尺寸为H×W×1，其中H和W分别代表输入图像的高度和宽度；输出层通过双曲正切函数激活；在恢复100％的全色像素图像WR的同时，采用Canny边缘提取算法提取出边缘特征ER作为低级特征，表达式为ER∈[0,1]H×W×1，
亮度恢复网络的每一层均使用批量归一化函数进行归一化处理，在训练亮度恢复网络时，采用将L1+SSIM损失函数组合在一起作为最终的网络训练损失函数，表达式为：



式(1)中，L(WG,WR)表示真实图像的全色像素图像WG和恢复出来的全色像素图像WR之间的损失；

p表示像素，P表示整个图像块，N表示图像块中像素的总数，WG(p)和WR(p)分别是WG和WR的像素值；



其中，和分别表示WG和WR的平均值，和是标准偏差，是真实图像的全色像素图像WG和恢复出来的全色像素图像WR的协方差，C1和C2是常量，l是亮度分量，c是对比度分量，s是结构分量。


3.根据权利要求1所述的基于深度学习的稀疏颜色传感器图像重建方法，其特征在于：所述的步骤2中，具体过程是，
构建一个颜色重建网络CRN并设置该网络的每层参数，作为生成对抗网络WGAN中的生成器，该网络的输入数据包含：步骤1获得的100％全色像素图像WR、边缘特征ER、以及raw图像中的占4％空间的稀疏RGB像素CS，网络输出为重建的RGB彩色图像IR，
颜色重建过程采用对抗训练，颜色重建网络CRN作为生成器，对抗模块作为判别器，颜色重建网络CRN的结构依次为：集合K＝{WR,CS,ER}作为输入→第一个卷积块ConvB1→第一个密集-过渡块Dense1-Tran1→第二个密集-过渡块Dense2-Tran2→第三个密集-过渡块Dense3-Tran3→第二个卷积块ConvB2→第三个卷积块ConvB3→第四个卷积块ConvB4→第五个卷积块ConvB5→第六个卷积块ConvB6→第七个卷积块ConvB7→第八个卷积块ConvB8→输出RGB彩色图像IR，
其中，Dense1-Tran1与ConvB7相连，Dense2-Tran2与ConvB6相连，Dense3-Tran3与ConvB5相连，ConvB1的特征映射图的总数为15个，卷积核大小为3×3，卷积步长为1，通过ReLU函数激活；
ConvB1首先处理全色像素图像WR和稀疏RGB像素CS，然后将边缘特征图像PR与ConvB1的...

【专利技术属性】
技术研发人员：孙帮勇，袁年曾，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61