【技术实现步骤摘要】
空间自适应的真实图像去马赛克方法及系统
[0001]本专利技术属于计算摄像学领域，尤其涉及一种用于真实图像去马赛克的真实成对数据采集系统和空间自适应去马赛克方法。
技术介绍
[0002]为了降低成本，大多数数码相机通过单一的CCD/CMOS传感器和彩色滤波器阵列捕获图像，例如RGGB Bayer模式，其中三分之二的信息丢失，其余三分之一的信息可能会受到各种噪声的干扰。现代数码相机采用图像信号处理流程从原始数据创建高质量的彩色图像。图像信号处理流程中的第一步也是最关键的一步是去马赛克。图像信号处理流程中早期的恢复误差会对最终结果的视觉效果产生负面影响。
[0003]由于去马赛克是不确定的，通常利用自然图像的先验知识以正则化恢复过程。传统方法将启发式手工先验编码到局部滤波器中，并插值马赛克图像。这些局部滤波器根据局部彩色滤波器阵列信息和/或图像内容自适应地进行滤波。此外，优化方法通过将手工先验嵌入到优化中迭代恢复彩色图像，如非局部先验。但是手工制作的先验并不足以代表真实世界的各种噪声数据，一些具有挑战性的高频区域出现了一...
【技术保护点】
【技术特征摘要】
1.空间自适应的真实图像去马赛克方法，其特征在于：包括以下步骤，步骤101：使用像素偏移相机搭建数据采集模块，并利用所述数据采集模块采集真实成对去马赛克数据集，该数据包含成对的马赛克图像和全彩RGB图像；步骤102：分析马赛克图像的数据特性，根据空间不一致的数据特性设计空间自适应卷积计算，分解卷积计算以降低参数量，减少显存消耗；步骤103：使用步骤102设计的空间自适应卷积计算构建空间自适应去马赛克网络，根据输入图像的滤波阵列信息自适应的对每一个空间位置产生卷积参数；步骤104：输入学习率、优化方法、迭代次数和步骤101采集的真实成对数据集，建立真实图像去马赛克的训练目标函数，对网络参数θ进行训练，得到马赛克图像和全彩RGB图像之间的映射关系f；步骤105：输入需要测试的马赛克图像，并输入步骤104得到的马赛克图像与全彩RGB图像间的映射关系f，通过马赛克图像与全彩RGB图像间的映射关系f将马赛克图像映射成全彩RGB图像，实现高效率和高精度图像去马赛克，提高成像质量。2.如权利要求1所述的空间自适应的真实图像去马赛克方法，其特征在于：步骤101中所述真实成对去马赛克数据集包含成对的干净或者带噪马赛克图像和干净的全彩RGB图像；为采集全彩RGB图像，需使用像素偏移相机；对于每一幅全彩RGB图像的采集，像素偏移相机物理地控制相机传感器水平或垂直移动一个像素至少四次，并在每次移动中采集一幅马赛克图像；经过多次采集，充分采集到每个像素的颜色信息；固定相机的设置，并将拍着模式从像素偏移模式转换到正常模式，以采集相应的马赛克图像；除此之外，能够减少曝光时间采集带噪的马赛克图像；所述数据采集模块在拍摄时首先调整相机设置以采集高质量的全彩RGB图像，所述相机设置包括光圈、焦距、曝光时间；然后，使用远程控制软件将拍摄模式从像素偏移模式转换到正常模式；如需采集带噪马赛克图像，则将曝光时间缩短；采集干净或者带噪的马赛克图像，采集真实成对的去马赛克数据集。3.如权利要求2所述的空间自适应的真实图像去马赛克方法，其特征在于：步骤102所述马赛克图像的数据特性为马赛克图像不同空间位置的邻域内含有不同的RGB信息，需要不同的插值滤波器或者映射函数；传统的卷积计算表示为其中p表示空间位置，表示p的邻域；传统卷积计算对不同的空间位置使用相同的卷积参数；为了对不同空间位置使用不同的卷积参数，空间自适应卷积计算表示为其中该空间自适应卷积计算的显存消耗是传统卷积计算的H
×
W倍，是输入特征的C
o
×
K
×
K倍，输出特征的C
i
×
K
×
K倍；为降低空间自适应卷积的显存消耗，将分解为两个卷积操作分解为两个卷积操作和并且K1+K2＝K；卷积关注于挖掘自适应的空间相关性，并且在不同通道间共享参数；卷积关注于挖掘通道间相关性，并在不同空间位置间共享参
数；在卷积分解之后，空间自适应卷积的显存消耗是未分解卷积的倍，是传统卷积的倍；分解后的空间自适应卷积计算表示为其中和分别是空间位置p关于和卷积的邻域；因为是空间一致的卷积核，因此只对产生空间自适应的卷积参数；使用φ表示参数生成函数，的参数生成表示为其中P表示滤波阵列的信息；使用K
×
K大小的卷积从P挖掘特征，并通过激活层和全连接层产生大小的向量，将该向量变形为K1×
K1大小的卷积核；至此，完成空间自适应卷积计算的设计，并完成显存消耗的削减。4.如权利要求3所述的空间自适应的真实图像去马赛克方法，其特征在于：；步骤103所述的空间自适应去马赛克网络由N个编码器阶段...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。