一种模板信息辅助的彩色图像去马赛克方法技术

本发明专利技术属于图像去马赛克和图像质量增强领域，具体提供一种模板信息辅助的彩色图像去马赛克方法，用以有效提升图像去马赛克重建质量。本发明专利技术通过构建马赛克模板信息辅助的彩色图像去马赛克卷积神经网络，实现高效的图像去马赛克；具体通过引入RGB三通道马赛克模板和RGB三通道插值模板，分别与插值后的全彩色RGB图像做特征融合再卷积在一起，使网络针对真实值和恢复值采用不同的卷积方式，使真实值和噪声被有效区分，从而有效提高图像去马赛克效果；综上所述，本发明专利技术引入模板信息之后，能够显著提升图像去马赛克重建质量。著提升图像去马赛克重建质量。著提升图像去马赛克重建质量。

【技术实现步骤摘要】
一种模板信息辅助的彩色图像去马赛克方法


[0001]本专利技术属于图像去马赛克和图像质量增强领域，具体提供一种模板信息辅助的彩色图像去马赛克方法。

技术介绍

[0002]大多数数码相机使用带有彩色滤光片阵列（CFA）的单一图像传感器，只从全彩图像中为每个像素记录一种颜色；最常用的彩色滤光片阵列（CFA）是Bayer模板；在这种模板下，全彩色图像被子采样以生成马赛克图像，其每个像素只包含RGB中一种颜色的信息；为了获取RGB全彩色图像，通常需要对马赛克图像进行图像去马赛克；去马赛克方法越好，获取的全彩色图像质量就越好，再对全彩色图像进行后处理的效果也会越好。
[0003]当前常用的彩色图像去马赛克方法是bicubic等传统插值方法；不过随着实际应用中对图像质量的要求不断提升，bicubic等传统插值方法已无法满足实际应用需求；基于卷积神经网络的方法能提供更好的去马赛克效果，但目前的基于卷积神经网络的图像去马赛克方法并未考虑马赛克模板的信息，利用马赛克模板进一步提升图像去马赛克质量势在必行。

技术实现思路

[0004]本专利技术的目的在于针对上述现有技术存在的问题，提供一种模板信息辅助的彩色图像去马赛克方法，用以有效提升图像去马赛克重建质量。为实现该目的，本专利技术采用的技术方案如下：一种模板信息辅助的彩色图像去马赛克方法，其特征在于，包括以下步骤：步骤1、数据预处理，包括以下步骤：步骤1.1、将待处理马赛克图像通过插值方法插值为全彩色RGB图像Irgb；步骤1.2、将单通道bayer马赛克模板转换为RGB三通道马赛克模板Mask；步骤1.3、将RGB三通道马赛克模板Mask取反，得到RGB三通道插值模板Interpolation；步骤2、将全彩色RGB图像Irgb、RGB三通道马赛克模板Mask与RGB三通道插值模板Interpolation输入至彩色图像去马赛克网络，由彩色图像去马赛克网络输出重建全彩色去马赛克图像。
[0005]进一步的，所述步骤1.3中，所述彩色图像去马赛克网络由特征提取模块、特征融合模块和图像重建模块组成；其中，所述特征提取模块由RGB三通道马赛克模板分支、插值图像一分支、RGB三通道插值模板分支与插值图像二分支构成，每个分支的结构相同，具体为：CONV 3
×3×
64+ReLU+网络单元U；网络单元U的输入为Uin，Uin经过CONV 3
×3×
64+ReLU+Dilated
‑
CONV 3
×3×
64_2 +ReLU+ Dilated
‑
CONV 3
×3×
64_2+ ReLU后输出Umid，网络单元U的输出为Uout=Umid+Uin；所述RGB三通道马赛克模板分支的输入为RGB三通道马赛克模板Mask、输出为Fm，
所述插值图像一分支的输入为传统方法插值得到的全彩色RGB图像Irgb、输出为Frgb1，所述RGB三通道插值模板分支的输入为RGB三通道插值模板Interpolation、输出为Ft，所述插值图像二分支的输入为全彩色RGB图像Irgb、输出为Frgb2；所述特征融合模块由多级特征融合单元MFFU与带有残差的密集连接残差单元RRDU构成；所述多级特征融合单元MFFU的输入为Fm、Frgb1、Ft、Frgb2，输出为Fmffu，具体为：输入Fm、Frgb1、Ft和Frgb2分别经过CONV 1
×1×
64+ReLU后输出Fm*、Frgb1*、Ft*和Frgb2*，Frgb1与Frgb2分别经过CONV 3
×3×
64+ReLU+CONV 3
×3×
64+ReLU后输出Frgb1**和Frgb2**；Fm*与Frgb1*沿通道执行concatenation操作，再经过CONV 3
×3×
64+ReLU +CONV 3
×3×
64+ReLU后输出M1；Ft*和Frgb2*沿通道执行concatenation操作，再经过CONV 3
×3×
64+ReLU +CONV 3
×3×
64+ReLU后输出M2；Frgb1**与M1进行点乘得到Frgb1***，Frgb2**与M2进行点乘得到Frgb2***；Frgb1***与Frgb2***沿通道执行concatenation操作，再经过CONV 3
×3×
64+ReLU +CONV 3
×3×
64+ReLU后输出Fmffu；所述带有残差的密集连接残差单元RRDU由3个RDU构成，RDU1的输入为RDU1in、输出为RDU1out，RDU2的输入为RDU2in= RDU1out +RDU1in、输出为RDU2out，RDU3的输入为RDU3in=RDU2out+RDU2in、输出为RDU3out，RRDU的输出为RRDU out =RDU3out+RDU3in+RDU1in；Fmffu输入带有残差的密集连接残差单元RRDU后得到输出RRDU out1，RRDU out1再次输入带有残差的密集连接残差单元RRDU后得到输出RRDU out2，RRDU out2再次输入带有残差的密集连接残差单元RRDU后得到输出Frrdu；所述图像重建模块由网络单元U与卷积层构成，具体为：网络单元U +CONV 3
×3×
64+ReLU，图像重建模块的输入为Frrdu、输出为重建的全彩色去马赛克图像。
[0006]进一步的，所述RDU包括5个卷积层，其中，每个卷积层具体为：CONV 3
×3×
64+LeakReLU，第一个卷积层的输入为RDU in、输出为CONVout1，CONVout1与 RDU in沿通道执行concatenation操作后得到第二个卷积层的输入CONV in2，第二个卷积层输出为CONVout2，CONVout2与CONV in2沿通道执行concatenation操作后得到第三个卷积层的输入CONV in3，第三个卷积层的输出为CONVout3，CONVout3与CONV in3沿通道执行concatenation操作后得到第四个卷积层的输入CONV in4，第四个卷积层的输出为CONVout4，CONVout4与CONV in4沿通道执行concatenation操作后得到第五个卷积层的输入为CONV in5，第五个卷积层的输出为RDU out；进一步的，所述步骤1.1中，插值方法为bicubic插值方法。
[0007]进一步的，所述步骤1.2中，将单通道bayer马赛克模板转换为RGB三通道马赛克模板Mask的具体过程为：根据bayer马赛克模板在三通道RGB全彩色图像的采样位置，将采样位置的像素值置1，非采样位置的像素值置0，得到RGB三通道马赛克模板Mask。
[0008]与现有技术相比，本专利技术是有益效果在于：本专利技术提出了一种模板信息辅助的彩色图像去马赛克方法，通过构建马赛克模板信息辅助的彩色图像去马赛克卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模板信息辅助的彩色图像去马赛克方法，其特征在于，包括以下步骤：步骤1、数据预处理，包括以下步骤：步骤1.1、将待处理马赛克图像通过插值方法插值为全彩色RGB图像Irgb；步骤1.2、将单通道bayer马赛克模板转换为RGB三通道马赛克模板Mask；步骤1.3、将RGB三通道马赛克模板Mask取反，得到RGB三通道插值模板Interpolation；步骤2、将全彩色RGB图像Irgb、RGB三通道马赛克模板Mask与RGB三通道插值模板Interpolation输入至彩色图像去马赛克网络，由彩色图像去马赛克网络输出重建全彩色去马赛克图像。2.按权利要求1所述模板信息辅助的彩色图像去马赛克方法，其特征在于，所述步骤1.3中，彩色图像去马赛克网络由特征提取模块、特征融合模块和图像重建模块组成；其中，所述特征提取模块由RGB三通道马赛克模板分支、插值图像一分支、RGB三通道插值模板分支与插值图像二分支构成，每个分支的结构相同，具体为：CONV 3
×3×
64+ReLU+网络单元U；网络单元U的输入为Uin，Uin经过CONV 3
×3×
64+ReLU+Dilated
‑
CONV 3
×3×
64_2+ReLU+ Dilated
‑
CONV 3
×3×
64_2+ReLU后输出Umid，网络单元U的输出为Uout=Umid+Uin；所述RGB三通道马赛克模板分支的输入为RGB三通道马赛克模板Mask、输出为Fm，所述插值图像一分支的输入为传统方法插值得到的全彩色RGB图像Irgb、输出为Frgb1，所述RGB三通道插值模板分支的输入为RGB三通道插值模板Interpolation、输出为Ft，所述插值图像二分支的输入为全彩色RGB图像Irgb、输出为Frgb2；所述特征融合模块由多级特征融合单元MFFU与带有残差的密集连接残差单元RRDU构成；所述多级特征融合单元MFFU的输入为Fm、Frgb1、Ft、Frgb2，输出为Fmffu，具体为：输入Fm、Frgb1、Ft和Frgb2分别经过CONV 1
×1×
64+ReLU后输出Fm*、Frgb1*、Ft*和Frgb2*，Frgb1与Frgb2分别经过CONV 3
×3×
64+ReLU+CONV 3
×3×
64+ReLU后输出Frgb1**和Frgb2**；Fm*与Frgb1*沿通道执行concatenation操作，再经过CONV 3
×3×
64+ReLU +CONV 3
×3×
64+ReLU后输出M1；Ft*和Frgb2*沿通道执行concatenation操作，再经过CONV 3
×3×
64+ReLU +C...

【专利技术属性】
技术研发人员：朱树元，刘宇，王忠荣，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：