图像传感器的去马赛克方法及装置制造方法及图纸

本发明专利技术公开了一种图像传感器的去马赛克方法及装置，该方法包括：将以2×2为最小采样周期，在每个最小采样周期中存在四个不同滤镜的图像传感器获得的原始的RAW图像看成为四个全幅面的原始色域图像经过采样函数相加后的输出结果；定义亮度及色度分量与图像传感器的四个滤镜对应的原始色域的转换关系，并将RAW图像看成四个全幅面的亮度和色度分量经过采样函数相加后的输出结果；分别对亮度及三个色度分量进行去马赛克运算，从输入的RAW数据中恢复出当前像素位置的亮度及色度信号；通过矩阵运算将去马赛克后当前像素位置的亮度和色度信号转换得到对应的原始色域图像信号，本发明专利技术可解决去马赛克后输出图像分辨率低、亮色混叠严重等问题。

【技术实现步骤摘要】
图像传感器的去马赛克方法及装置
本专利技术涉及图像信号处理领域，特别是涉及一种基于以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器的去马赛克方法及装置。
技术介绍
Bayer格式的图像传感器在每个像素位置上只采样红绿蓝三原色中的一种。为了提升去马赛克后输出图像的分辨率，Bayer格式图像传感器在其2×2的最小采样周期的对角线位置上采样绿色。某些应用要求成像设备能够同时提供被摄场景的RGB图像和红外图像，从降低成本的角度考虑，这就需要图像传感器在采样红绿蓝三原色的同时也采集红外光。在现有Bayer格式传感器基础上最简单的一种改进方法是将现有2×2最小采样周期对角线上的一个绿色滤镜换成红外滤镜。如图1所示，是一种改进型图像传感器。图2是这种改进型图像传感器对应的一个典型的量化响应曲线，横坐标是入射光波长，纵坐标是不同波长对应的量化效率。后续为了说明的方便，称这种改进型图像传感器为RGBIR传感器。由于红外(InfraredRadiation，IR)通道和绿色通道对入射光的量化响应曲线形状存在极大差异，导致了对角线位置上绿色和红外的采样值一般也差异较大。而传统针对Bayer格式的去马赛克方法的处理流程一般是首先利用Bayer采样对角线上的两个绿色通道的相关性，内插出全分辨率的绿色通道，然后再基于局部色差一致性的假设，内插出全分辨率的红色和蓝色通道。不难看出，将一个绿色通道替换成了红外通道之后，四个通道的采样率一致，所以这种先内插高采样率的绿色通道的去马赛克方法显然不再适用于改进型的图像传感器。虽然，将双线性(bilinear)、双三次(bicubic)等普通的内插方法分别作用于RGBIR传感器的四个通道可以完成RGBIR的去马赛克操作，输出四个全分辨率的图像。但是这类将每个通道独立内插的做法完全没有利用通道间的信息，去马赛克后输出图像的效果会存在分辨率低、亮色混叠严重等问题。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种图像传感器的去马赛克方法及装置，其能够在保证输入例如RGBIR格式的RAW(原始)图像经过去马赛克操作后输出图像分辨率较高的同时抑制高频部分的亮色混叠现象，同时弱化了去马赛克输出图像常见的“网格”等人工痕迹。为达上述及其它目的，本专利技术提出一种图像传感器的去马赛克方法，包括如下步骤：步骤一，将以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器获得的原始的RAW图像看成为四个全幅面的原始色域图像经过采样函数相加后的输出结果；步骤二，定义亮度分量(L)，色度分量(C1,C2,C3)与该图像传感器的四个滤镜的转换关系，并将步骤一中的全幅面的RAW图像看成为四个全幅面的亮度和色度分量经过采样函数相加后的输出结果；步骤三，分别对亮度分量及三个色度分量进行去马赛克运算，从输入的RAW数据中恢复出当前像素位置的亮度信号及色度信号；步骤四，通过矩阵运算将去马赛克后当前像素位置的亮度和色度信号转换得到当前像素位置对应的原始色域图像信号。进一步地，步骤三中，亮度分量的去马赛克运算通过一个亮度滤波器和输入的RAW数据进行卷积运算从RAW数据中恢复出亮度信号或在3个色度分量都完成去马赛克运算之后由原始RAW数据和卷积得到的色度分量之和相减获得。进一步地，所述亮度滤波器的参数预先设定或根据RAW图像中当前像素的局部特征动态调整。进一步地，所述根据RAW图像中当前像素的局部特征动态调整包括如下方法：先计算以当前像素为中心的n×n邻域在各方向上的梯度或其他等效信息，然后利用梯度值或其他等效信息作为检索值查找预定义查找表得到对应的滤波器参数；或者通过计算不同方向之间梯度差或比值并与预定义阈值比较，从而判断当前像素处于平坦区域还是边界区域或者是细节区域，若当前像素处于平坦区域，则选用对低频区域响应较好的亮度滤波器参数；若当前像素处于边界区域，则需要判断当前像素所在边界方向，并选用在此方向上响应较好的亮度滤波器参数；若当前像素处于细节区域时，则判断当前像素所在频段，并选用在该频段上响应较好的亮度滤波器参数。进一步地，所述对于平坦区域的判定，指计算各方向间的梯度差或比值并与预定义阈值比较，当结果小于预定义阈值且各方向的梯度绝对值也小于预定义阈值时，认为是平坦区域；所述对于边界区域的判定，是指计算各方向间的梯度差或比值并与预定义阈值比较，当结果大于预定义阈值且被减或被除梯度所示方向的梯度绝对值也大于预定义阈值时，认为是边界区域；若当前像素既不在平坦区域，也不在边界区域，则该像素处于细节区域。进一步地，所述判断当前像素所在频段由以下方法近似得到：预定义几组通过频率不同的带通滤波器和当前像素所在n×n邻域做卷积运算后取最大值，其对应的带通滤波器通过频率为当前像素所在频段。进一步地，步骤三中，所述色度分量去马赛克的运算通过三个高通滤波器分别和输入的RAW数据进行卷积运算，从RAW数据中分别恢复出色度信号或其中某一个色度分量的去马赛克输出在亮度和其他2个色度分量完成去马赛克运算之后由原始RAW数据与亮度和其他2个色度分量之和相减获得。进一步地，所述高通滤波器的参数预先设定或利用以当前像素为中心的n×n邻域在各方向上的梯度或其他等效信息作为检索值查找预定义查找表得到对应的滤波器参数或根据RAW图像中当前像素的局部特征以及该亮度滤波器参数动态调整。进一步地，所述根据RAW图像中当前像素的局部特征以及上述亮度滤波器参数动态调整色度滤波器参数为：若当前像素对应的亮度滤波器的通带接近默认色度滤波器的通带时，抑制色度滤波器的幅值；反之，则保留色度滤波器的幅值。进一步地，该图像传感器为RGBIR图像传感器，在步骤301之前，还包括对第四通道进行预校正运算的步骤，所述第四通道指RGB通道外的通道。进一步地，所述第四通道的预校正运算由校正因子和第四通道分量相乘完成，所述校正因子包括全局校正因子和局部校正因子，所述全局校正因子由输入的RAW图像中RGB通道的平均值和第四通道平均值相除获得，所述局部校正因子由当前第四通道邻域内的RGB通道的平均值和第四通道平均值相除获得，全局校正因子和局部校正因子通过加权系数融合得到所述校正因子。为达到上述目的，本专利技术还提供一种图像传感器的去马赛克装置，包括：原始RAW图像输入单元，用于获取以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器的原始RAW图像；前处理单元，将原始的RAW图像看成为四个全幅面的图像经过采样函数相加后的输出结果，并定义亮度分量(L)，色度分量(C1,C2,C3)与该图像传感器的四个滤镜对应的原始色域的转换关系，将全幅面的RAW图像看成为四个全幅面的亮度和色度分量经过采样函数相加后的输出结果；去马赛克单元，利用预设的参数或者内插参数生成单元动态生成的参数与RAW图像进行卷积运算内插至全幅面图像；全幅面图像输出单元，经过矩阵变换输出最终全幅面的原始色域图像。进一步地，该装置还包括：第一统计单元，用于统计输入的RAW图像中RGB均值和第四通道均值的比例关系；第二统计单元，用于计算以当前像素为中心的n×n邻域在各方向上的梯度信息；校正因子计算单元，根据局部和全局的统计信息生成当前位置第四通道校正因子；前本文档来自技高网...

【技术保护点】
一种图像传感器的去马赛克方法，包括如下步骤：步骤一，将以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器获得的原始的RAW图像看成为四个全幅面的原始色域图像经过采样函数相加后的输出结果；步骤二，定义亮度分量(L)，色度分量(C1,C2,C3)与该图像传感器的四个滤镜的转换关系，并将步骤一中的全幅面的RAW图像看成为四个全幅面的亮度和色度分量经过采样函数相加后的输出结果；步骤三，分别对亮度分量及三个色度分量进行去马赛克运算，从输入的RAW数据中恢复出当前像素位置的亮度信号及色度信号；步骤四，通过矩阵运算将去马赛克后当前像素位置的亮度和色度信号转换得到当前像素位置对应的原始色域图像信号。

【技术特征摘要】
1.一种图像传感器的去马赛克方法，包括如下步骤：步骤一，将以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器获得的原始的RAW图像看成为四个全幅面的原始色域图像经过采样函数相加后的输出结果；步骤二，定义亮度分量(L)，色度分量(C1,C2,C3)与该图像传感器的四个滤镜的转换关系，并将步骤一中的全幅面的RAW图像看成为四个全幅面的亮度和色度分量经过采样函数相加后的输出结果；步骤三，分别对亮度分量及三个色度分量进行去马赛克运算，从输入的RAW数据中恢复出当前像素位置的亮度信号及色度信号；步骤四，通过矩阵运算将去马赛克后当前像素位置的亮度和色度信号转换得到当前像素位置对应的原始色域图像信号。2.如权利要求1所述的一种图像传感器的去马赛克方法，其特征在于：步骤三中，亮度分量的去马赛克运算通过一个亮度滤波器和输入的RAW数据进行卷积运算从RAW数据中恢复出亮度信号或在3个色度分量都完成去马赛克运算之后由原始RAW数据和卷积得到的色度分量之和相减获得。3.如权利要求2所述的一种图像传感器的去马赛克方法，其特征在于：所述亮度滤波器的参数预先设定或根据RAW图像中当前像素的局部特征动态调整。4.如权利要求3所述的一种图像传感器的去马赛克方法，其特征在于，所述根据RAW图像中当前像素的局部特征动态调整包括如下方法：先计算以当前像素为中心的n×n邻域在各方向上的梯度或其他等效信息，然后利用梯度值或其他等效信息作为检索值查找预定义查找表得到对应的滤波器参数；或者通过计算不同方向之间梯度差或比值并与预定义阈值比较，从而判断当前像素处于平坦区域还是边界区域或者是细节区域，若当前像素处于平坦区域，则选用对低频区域响应较好的亮度滤波器参数；若当前像素处于边界区域，则需要判断当前像素所在边界方向，并选用在此方向上响应较好的亮度滤波器参数；若当前像素处于细节区域时，则判断当前像素所在频段，并选用在该频段上响应较好的亮度滤波器参数。5.如权利要求4所述的一种图像传感器的去马赛克方法，其特征在于：所述判断当前像素处于平坦区域，指计算各方向间的梯度差或比值并与预定义阈值比较，当结果小于预定义阈值且各方向的梯度绝对值也小于预定义阈值时，认为是平坦区域；所述判断当前像素处于边界区域，是指计算各方向间的梯度差或比值并与预定义阈值比较，当结果大于预定义阈值且被减或被除梯度所示方向的梯度绝对值也大于预定义阈值时，认为是边界区域；若当前像素既不在平坦区域，也不在边界区域，则该像素处于细节区域。6.如权利要求5所述的一种图像传感器的去马赛克方法，其特征在于：所述判断当前像素所在频段由以下方法得到：预定义几组通过频率不同的带通滤波器和当前像素所在n×n邻域做卷积运算后取最大值，其对应的带通滤波器通过频率为当前像素所在频段。7.如权利要求2所述的一种图像传感器的去马赛克方法，其特征在于：步骤三中，所述色度分量去...

【专利技术属性】
技术研发人员：董鹏宇，田景军，党韩兵，陈晓春，李源，章旭东，
申请(专利权)人：上海富瀚微电子股份有限公司，
类型：发明
国别省市：上海;31