一种基于注意模块的Bayer图像恢复方法技术

本发明专利技术公开了一种基于注意模块的Bayer图像恢复方法，步骤包括：1)构建绿通道恢复网络，该绿通道恢复网络的输入为Bayer图像通道分离出来的绿采样图，输出为重建的绿通道图；2)构建特征引导模块，该特征引导模块的输入为重建的绿通道图和编码

【技术实现步骤摘要】
一种基于注意模块的Bayer图像恢复方法


[0001]本专利技术属于图像处理与深度学习
，涉及一种基于注意模块的Bayer图像恢复方法。

技术介绍

[0002]彩色图像一般是由红(R)绿(G)蓝(B)三种颜色成分表示出来的，每种颜色成分称为一个颜色通道。现如今RGB数码相机记录彩色图像最普遍，而大部分的数码相机采用单个传感器的成像结构。单传感器彩色数码相机中的图像传感器通常是感光耦合元件或互补金属氧化物半导体芯片，它们只能感受光的强度而非色彩，因此需要在传感器前面放置滤光片，只允许某个波长的光通过，曝光成像时，传感器的每个像素位置只采集一种颜色，这种直接采样获取的图像称为Bayer图像，而重建出每个像素位置上没有直接采样到的其他两种颜色成分信息的过程被称为图像去马赛克。
[0003]当前RGB数码相机中，最常见的彩色滤光片阵列是Bayer滤光片阵列，其成像区域是由2
×
2的重复阵列组成，每组2
×
2阵列包含2个绿(G)、1个红(R)、1个蓝(B)像素。这样就会造成2/3的颜色信息丢失，而采样到的1/3的颜色信息大部分被噪声所污染，从而影响重建图像的质量。图像去马赛克处于图像处理流程中的第一步，应为后续一系列的图像处理任务打好基础，因此通过重建得到高质量的图像具有重要意义。
[0004]当前图像去马赛克的方法可大致分为三类：基于插值的方法、基于稀疏表示的方法和基于深度学习的方法。基于插值的方法中，有的算法忽略了通道间的相关性，而有的算法即使考虑到通道间的相关性，其在边缘、纹理等区域的重建效果也不令人满意。基于稀疏表示的方法，虽然精度高，但是也具有较高的复杂度，在实际应用中有所限制。基于深度学习的方法，通过设计神经网络，学习raw图中的特征以及各通道各相邻像素之间的相关性，进行重建图像，取得了一定的进步；但有的网络会先将raw图下采样到半尺寸的四通道图，使得分辨率降低，图像细节丢失，RGB之间的相对位置信息丢失，使重建图像不准确；而且有的网络模型存在复杂且训练困难的问题。

技术实现思路

[0005]本专利技术的目的是提供一种基于注意模块的Bayer图像恢复方法，解决了现有技术基于深度学习去马赛克时，网络模型训练困难和重建精度低的问题。
[0006]本专利技术的技术方案是，一种基于注意模块的Bayer图像恢复方法，按照以下步骤实施：
[0007]步骤1，构建绿通道恢复网络，该绿通道恢复网络的输入为Bayer图像通道分离出来的绿采样图，输出为重建的绿通道图；
[0008]步骤2，构建特征引导模块，该特征引导模块的输入为重建的绿通道图和编码
‑
解码器的输出，输出为引导图；
[0009]步骤3，构建红通道恢复网络，该红通道恢复网络的输入为红采样图和引导图，输
出为重建的红通道图；
[0010]步骤4，构建蓝通道恢复网络，蓝通道恢复网络与红通道恢复网络的结构流程相似，区别是，输入为蓝采样图和引导图，输出为重建的蓝通道图；
[0011]步骤5，将重建得到的红通道图、绿通道图和蓝通道图融合，得到重建的RGB图；
[0012]步骤6，根据上述搭建的基于注意模块的网络模型，计算重建的RGB图与图像对中真实图像之间的平均绝对误差，以最小化L1损失函数为目标，优化该网络模型。
[0013]本专利技术的有益效果是，包括以下几个方面：
[0014]1)现有大部分方法将Bayer图像下采样成半尺寸的四个通道RGGB的图像，使分辨率降低，图像细节丢失，且RGB的相对位置信息丢失。本专利技术提出将Bayer图像进行通道分离的预处理，保留了图像分辨率和细节以及RGB的相对位置。
[0015]2)本专利技术提出将Bayer三个通道的图像进行分别重建处理，与大部分对所有位置所有通道应用相同网络结构的方法不同，考虑到了Bayer点阵结构特点，使RGB运用了不同的网络。
[0016]3)本专利技术利用注意模块原理，使特征图的每个通道学到不同种类的特征，让网络自主选择关注学习有用的特征，抑制无用特征。
[0017]4)现有技术中，将重建得到的绿通道图用作引导图像或作为先验信息来重建红通道和蓝通道的图像时，大多采用简单的操作，如拼接、加法和元素乘法等操作，但不能有效地挖掘先验信息的特征。本专利技术提出特征引导模块，在特征域里运用非齐次线性映射模型来有效地融合绿通道图的先验信息，从而能够获得高质量的重建图像。
附图说明
[0018]图1是本专利技术方法的总体流程框图；
[0019]图2是本专利技术方法构建的绿通道恢复网络的流程框图；
[0020]图3是本专利技术方法构建的注意模块的流程框图；
[0021]图4是本专利技术方法构建的特征引导模块的流程框图；
[0022]图5是本专利技术构建的红/蓝通道恢复网络的流程框图。
具体实施方式
[0023]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0024]本专利技术主要是一种基于注意模块的Bayer图像恢复方法，整体思路为：首先，将数据集中的真实图片进行预处理操作，运用Bayer滤光片阵列将真实图片进行采样操作，得到Bayer图像，从而与真实图像构成图像对，便于优化网络，再将得到的Bayer图像进行通道拆分得到红采样图、绿采样图和蓝采样图；然后，进行绿通道的恢复，绿采样图通过注意模块、编码
‑
解码器提取学习特征，重建绿通道图；其次，将重建得到的绿通道图作为先验信息，用于指导红通道和蓝通道的特征学习，分别重建红通道图和蓝通道图；最后，将得到的三种通道图进行合并，得到最终重建的RGB图。
[0025]如图1所示，本专利技术方法的过程包括四部分，分别为绿通道恢复、红通道恢复、蓝通道恢复、合并成重建的RGB图。绿通道恢复主要是通过注意模块学习不同通道的特征，通过编码
‑
解码器有效利用多尺度的特征，得到重建的绿通道图。红通道恢复充分利用重建的绿
通道图的先验信息，重建红通道图。蓝通道恢复的过程与红通道恢复的过程相同。最后将重建的红通道图、绿通道图和蓝通道图一起融合成RGB三通道图，最终得到重建的RGB图。
[0026]本专利技术的方法，利用上述原理及网络框架，按照以下步骤实施：
[0027]步骤1，构建绿通道恢复网络，绿通道恢复网络的主要作用是重建绿通道图。
[0028]该绿通道恢复网络的输入为Bayer图像通道分离出来的绿采样图，大小为H
×
W
×
3，其中H和W分别表示输入图像的高度和宽度；输出为重建的绿通道图，大小为H
×
W
×
1；
[0029]如图2所示，绿通道恢复网络包括卷积操作、注意模块和编码
‑
解码器，图2中的表示用双线性插值和1
×
1卷积进行下采样操作，为用双线性插值和1
×
1卷积进行上采样操作，表示在维度为1上进行拼接操作。绿通道恢复网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意模块的Bayer图像恢复方法，其特征在于，按照以下步骤实施：步骤1，构建绿通道恢复网络，该绿通道恢复网络的输入为Bayer图像通道分离出来的绿采样图，输出为重建的绿通道图；步骤2，构建特征引导模块，该特征引导模块的输入为重建的绿通道图和编码
‑
解码器的输出，输出为引导图；步骤3，构建红通道恢复网络，该红通道恢复网络的输入为红采样图和引导图，输出为重建的红通道图；步骤4，构建蓝通道恢复网络，蓝通道恢复网络与红通道恢复网络的结构流程相似，区别是，输入为蓝采样图和引导图，输出为重建的蓝通道图；步骤5，将重建得到的红通道图、绿通道图和蓝通道图融合，得到重建的RGB图；步骤6，根据上述的网络模型，计算重建的RGB图与图像对中真实图像之间的平均绝对误差，以最小化L1损失函数为目标，优化该网络模型。2.根据权利要求1所述的基于注意模块的Bayer图像恢复方法，其特征在于：所述的绿通道恢复网络包括卷积操作、注意模块和编码
‑
解码器；绿通道恢复网络的流程结构依次为：绿采样图作为输入
→
第一个卷积层Conv1
→
注意模块
→
第二个卷积层Conv2
→
第三个卷积层Conv3
→
第四个卷积层Conv4
→
第五个卷积层Conv5
→
第六个卷积层Conv6
→
第七个卷积层Conv7
→
第八个卷积层Conv8
→
输出为重建的绿通道图；其中，第一个卷积层Conv1卷积核大小为3
×
3，步长为3，特征映射总数为64个；第二个卷积层Conv2
‑
第七个卷积层Conv7组成编码
‑
解码器，卷积核大小均为3
×
3，步长均为3，特征映射总数均为64个，并且均通过ReLU激活；第二个卷积层Conv2、第三个卷积层Conv3、第四个卷积层Conv4的输出尺寸分别为H
×
W、1/2(H
×
W)、1/4(H
×
W)；第五个卷积层Conv5、第六个卷积层Conv6、第七个卷积层Conv7的输出尺寸分别为1/4(H
×
W)、1/2(H
×
W)、H
×
W；第八个卷积层Conv8卷积核大小为1
×
1，步长为1，特征映射总数为1个。3.根据权利要求2所述的基于注意模块的Bayer图像恢复方法，其特征在于：所述的注意模块的流程结构依次为：输入
→
第一卷积层Conv1
→
第二卷积层Conv2
→
全局平均池化操作
→
第三卷积层Conv3
→
第四卷积层Conv4
→
第二卷积层Conv2的输出与第四卷积层Conv4的输出进行按元...

【专利技术属性】
技术研发人员：孙帮勇，魏凌云，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：