一种基于残余插值的卷积神经网络去马赛克算法制造技术

本发明专利技术属于图像处理技术领域，尤其涉及一种基于残余插值的卷积神经网络去马赛克算法。为解决当前图像恢复方法在斜边区域恢复不够准确以及图像整体分辨率较低的问题，本方法首先利用边缘检测算法恢复绿色通道，再采用残余插值方法恢复红蓝平面，得到残余插值结果后,最后采用卷积神经网络作为一个修正项进一步改进结果图像，将去马赛克结果作为卷积神经网络的输入,对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签,经过训练逐步修正卷积神经网络的权重。该方法不仅在水平和垂直方向检测边缘，而且增加了倾斜方向边缘的检测，使图像在斜边区域恢复更加准确，提升了图像的分辨率，得到的去马赛克图像边缘更清晰。

【技术实现步骤摘要】
一种基于残余插值的卷积神经网络去马赛克算法
本专利技术属于图像处理
，尤其涉及一种基于残余插值的卷积神经网络去马赛克算法。
技术介绍
单传感器彩色成像技术在数码相机行业领域得到广泛的应用，在一个具有单传感器相机中,在传感器表面覆盖了一层彩色滤波阵列(CFA:ColorFilterArray)，每个像素点仅采样红、绿、蓝三种颜色分量之一,如果恢复全彩色图像,需要对丢失的两种颜色分量进行估计,我们将估计丢失颜色的过程称为去马赛克。当今应用最广泛的彩色图像为BayerCFA模式的图像，在BayerCFA模式中,绿色像素点按梅花形网格采样,红色和蓝色像素点按矩形网格采样,其中，绿色样本是红色或蓝色样本数目的二倍。到目前为止,国内外的研究人员已提出了许多去马赛克算法。由于去马赛克的过程相当于一个图像插值的过程,通常采用双线性和双三次等简单的插值方法,在图像平滑区域也有较好的效果。然而这些方法相当于各向同性的低通滤波,会产生显著的边缘模糊、拉链效应等缺陷。针对该缺陷，可采用自适应方向插值算法，利用梯度检测水平和垂直边缘的方向,分别沿着水平和垂直的边缘方向进行插值,但采用这种方法会使图像的整本文档来自技高网...

【技术保护点】
一种基于残余插值的卷积神经网络去马赛克算法，其特征在于，包括以下步骤：步骤1：对训练图像去除马赛克；步骤101:在残余插值算法的基础上插值绿色平面，通过检测训练图像在水平、垂直和对角线方向的边缘恢复绿色通道；步骤102：将插值后的绿色平面作为红、蓝平面的引导图，采用残余插值算法分别插值红、蓝平面，恢复红色与蓝色通道，得到去马赛克后的低分辨率图像集；步骤2：采用卷积神经网络算法，将去马赛克结果作为卷积神经网络的输入,将对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签，修正去马赛克结果。

【技术特征摘要】
1.一种基于残余插值的卷积神经网络去马赛克算法，其特征在于，包括以下步骤：步骤1：对训练图像去除马赛克；步骤101:在残余插值算法的基础上插值绿色平面，通过检测训练图像在水平、垂直和对角线方向的边缘恢复绿色通道；步骤102：将插值后的绿色平面作为红、蓝平面的引导图，采用残余插值算法分别插值红、蓝平面，恢复红色与蓝色通道，得到去马赛克后的低分辨率图像集；步骤2：采用卷积神经网络算法，将去马赛克结果作为卷积神经网络的输入,将对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签，修正去马赛克结果。2.根据权利要求1所述的一种基于残余插值的卷积神经网络去马赛克算法，其特征在于，在所述步骤101插值绿色平面的过程中，采用边缘检测算法检测训练图像在水平、垂直和对角线方向的边缘，具体步骤为：步骤一：检测训练图像在水平、垂直方向的边缘，采用MLRI算法分别在水平和垂直方向对训练图像的红、绿、蓝平面进行插值；步骤二：分别计算训练图像的红、绿、蓝平面在水平方向的5×5邻域内色差σh和与垂直方向的5×5邻域内色差和σv；步骤三：利用水平和垂直方向的边缘检测算子σ1＝max(σh/σv,σv/σh)，检测训练图像在水平、垂直的边缘，若在水平和垂直方向均检测不到边缘，则计算对角线方向上的边缘检测算子σ2，检测训练图像对角线方向的边缘。3.根据权利要求2所述的一种基于残余插值的卷积神经网络去马赛克算法，其特征在于，所述红、绿、蓝平面在水平方向的5×5邻域内色差和σh与垂直方向的5×5邻域内色差和σv的计算公式为：水平方向:垂直方向：式中，表示水平方向红绿或蓝绿色差，i、j表示位置索引；表示水平方向绿色平面的估计值；表示水平方向红色平面的估计值；表示垂直方向红绿或蓝绿色差；表示垂直方向绿色平面的估计值；表示垂直方向红色平面的估计值。4.根据权利要求2所述的一种基于残余插值的卷积神经网络去马赛克算法，其特征在于，所述四个方向斜边的梯度和估计值分别表示为：d3,6＝|G3-G8|+|G6-G11|+|2R7-R1-R5|+|2B2-B4-B6|d3,8＝|G3-G8|+|G8-G11|+|2R7-R1-R9|+|2B4-B2-B12|d6,11＝|G3-G6|+|G8-G11|+|2R7-R5-R13|+|2B10-B2-B12|d8,11＝|G3-G8|+|G6-G11|+|2R7-R9-R13|+|2B12-B4-B10|式中，Gi,Ri,Bi分别表示去马赛克前的绿色、红色和蓝色平面中的第i个像素信息。5.根据权利要求2所述的一种基于残余插值的卷积神经网络去马赛克算法，其特征在于，在所述步骤三中利用对角线方向上的边缘检测算子σ2，检测训练图像对角线方向的边缘的具体步骤如下所述：1)假设与红色平面中的某个像素点R7相邻的4个绿色分量分别为G3、G6、G11、G8，分别定义这4个绿色分量在4个倾斜方向的斜边为G3，6、G3，8、G6，11和G8，11，计算这四个方向斜边的梯度d3,6、d3,8、d6,11、d8,11和估计值并对梯度求和,得到四个方向斜边的边缘检测算子σ3,6,σ3,8,σ6,11,σ8,11；2)令四个方向斜边的边缘检测算子的最小值m和均值n分别为：m＝min(σ3,6,σ3,8,σ6,11,σ8,11)n＝mean(σ3,6,σ3,8,σ6,11,σ8,11)得到对角线方向上的边缘检测算子σ2为...

【专利技术属性】
技术研发人员：贾慧秒，李春平，周登文，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：北京,11