重马赛克的实现方法及装置制造方法及图纸

本发明专利技术公开了重马赛克的实现方法及装置，包括：计算多单元CFA图像中需要进行绿色插值的像素点所在单元在多个方向的梯度并计算该单元及相邻单元的纹理梯度矩阵；根据该单元及相邻单元的纹理梯度矩阵计算纹理相似度系数，根据纹理相似度系数及在每个方向的梯度确定插值方向并对该单元的像素点进行绿色分量插值；根据插值得到的全分辨率绿色通道对红色及蓝色分量位置处的像素点分别进行蓝色分量插值及红色分量插值，根据插值得到的蓝色及红色通道，对绿色分量位置处的像素点进行红色及蓝色分量插值；组合所有颜色通道得到重马赛克图像。可见，本发明专利技术能够降低算法复杂度并减少硬件开销，有利于实现硬件化，且处理流程具有实时性。时性。时性。

【技术实现步骤摘要】
重马赛克的实现方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种重马赛克的实现方法及装置。

技术介绍

[0002]为了降低成本、减小体积和方便硬件处理，使用单图像传感器(Sensor)采集到的原始(Raw)图像叫颜色滤波阵列(Color Filter Array，CFA)图像，CFA图像是马赛克排列式的图像，单图像传感器前覆盖的颜色滤波阵列按波长对捕捉的光进行滤波，该方式能够在图像的每个像素点上有规律的只采集多个颜色分量中的某一个颜色分量，且某个特定的CFA类型存在与之对应的颜色分量排列方式。接着，图像信号处理器(Image Signal Processor，ISP)会处理单图像传感器捕捉到的CFA图像，经过去马赛克操作之后得到完整的全彩色图像，其中，通过将CFA图像中每个像素点上缺失的颜色分量重建出来，使其值能够与每个像素点相关联的过程叫去马赛克(或插值)。
[0003]随着技术的演进，图像传感器的分辨率越来与越高，为了增加信噪比，多单元颜色滤波阵列(multi
‑
cell CFA)应运而生，且多单元CFA的每个单元(包含N*N个像素点)具有相同的颜色分量，如图1中1a所示的每2*2个像素点构成一个单元的四单元CFA，如图1中1b所示的每3*3个像素点构成一个单元的九单元CFA，以及如图1中1c所示的每4*4个像素点构成一个单元的十六单元CFA。实践发现，为了能够让传统的单单元颜色滤波阵列(one
‑
cell CFA)的图像信号处理器的去马赛克模块兼容处理多单元CFA采集的图像(也即多单元CFA图像)，现有的实现方式中使用八方向进行绿色通道的插值，该方式存在算法复杂度高、硬件开销大的问题，或者，现有的实现方式中将多单元CFA图像拆分成多张相同排布模式的低分辨率拜耳格式的CFA图像，对这些低分辨率拜耳格式的CFA图像进行去马赛克处理之后变成RGB图像，最后融合成一张全分辨率的RGB图像，该方式存在算法复杂度高、硬件开销大的问题。可见，当前的图像信号处理器处理多单元CFA图像的方式存在算法复杂度高、硬件开销大的问题，不利于实现硬件化。

技术实现思路

[0004]本专利技术提供了一种重马赛克的实现方法及装置，能够在处理多单元CFA图像以保证图像视觉效果的同时，降低算法复杂度并减少硬件开销，有利于实现硬件化。
[0005]本专利技术第一方面公开了一种重马赛克的实现方法，所述方法包括：
[0006]获取待处理的多单元CFA图像，计算所述多单元CFA图像中需要进行绿色通道插值的当前像素点所在的单元在多个目标方向的梯度，并计算所述当前像素点所在的单元的纹理梯度矩阵以及所述当前像素点所在的单元的所有相邻单元中每个所述相邻单元的纹理梯度矩阵；
[0007]根据所述当前像素点所在的单元的纹理梯度矩阵以及每个所述相邻单元的纹理梯度矩阵计算纹理相似度系数，根据所述纹理相似度系数及所述当前像素点所在的单元在每个所述目标方向的梯度确定所述当前像素点所在单元的目标插值方向，并在所述目标插
值方向上对所述当前像素点所在单元的所有像素点执行绿色分量插值操作；
[0008]根据插值得到的全分辨率绿色通道，对确定出的红色分量位置处的像素点执行蓝色分量插值操作并对确定出的蓝色分量位置处的像素点执行红色分量插值操作，以及，根据插值得到的蓝色通道及红色通道，对确定出的绿色分量位置处的像素点执行红色分量插值操作及蓝色分量插值操作；
[0009]组合插值得到的所有颜色通道，得到重马赛克图像。
[0010]作为一种可选的实施方式，在本专利技术第一方面中，当确定出的红色分量位置为部分红色分量位置、确定出的蓝色分量位置为部分蓝色分量位置以及确定出的绿色分量位置为部分绿色分量位置时，对所述重马赛克图像执行去马赛克处理操作，得到全彩色图像；
[0011]当确定出的红色分量位置为所有红色分量位置、确定出的蓝色分量位置为所有蓝色分量位置以及确定出的绿色分量位置为所有绿色分量位置时，对所述重马赛克图像执行伪彩色去除操作，得到全彩色图像。
[0012]作为一种可选的实施方式，在本专利技术第一方面中，所述方法还包括：
[0013]在得到所述全彩色图像之后，将所述全彩色图像转化为目标格式的图像，并输出所述目标格式的图像；
[0014]其中，所有所述目标方向包括水平方向、垂直方向、对角线方向及反对角线方向。
[0015]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所述纹理相似度系数及所述当前像素点所在的单元在每个所述目标方向的梯度确定所述当前像素点所在单元的目标插值方向，包括：
[0016]根据所述当前像素点所在的单元在每个所述目标方向的梯度、所述纹理相似度系数以及每个所述目标方向对应的权重系数，计算每个所述目标方向对应的值；
[0017]根据所有所述目标方向对应的值中的目标最小值、预先确定出的阈值以及所有所述目标方向对应的值中除所述目标最小值之外的剩余值，确定所述当前像素点所在单元的目标插值方向。
[0018]作为一种可选的实施方式，在本专利技术第一方面中，所述根据所有所述目标方向对应的值中的目标最小值、预先确定出的阈值以及所有所述目标方向对应的值中除所述目标最小值之外的剩余值，确定所述当前像素点所在单元的目标插值方向，包括：
[0019]判断所有所述目标方向对应的值中的目标最小值与预先确定出的阈值之和是否小于所有剩余值中的最小值，所有所述剩余值包括所有所述目标方向对应的值中除所述目标最小值之外的值；
[0020]当判断结果为是时，将所述目标最小值对应的目标方向确定为所述当前像素点所在单元的目标插值方向；
[0021]当判断结果为否时，将空方向确定为所述当前像素点所在单元的目标插值方向。
[0022]作为一种可选的实施方式，在本专利技术第一方面中，所述在所述目标插值方向上对所述当前像素点所在单元的所有像素点执行绿色分量插值操作，包括：
[0023]根据所述目标插值方向，确定与所述目标插值方向相匹配的插值绿色分量计算公式，并获取所述插值绿色分量计算公式对应的计算参数；
[0024]根据所述插值绿色分量计算公式及所述插值绿色分量计算公式对应的计算参数，分别计算所述当前像素点所在的单元中每个像素点对应的插值绿色分量，并根据所述当前
像素点所在的单元中每个像素点对应的插值绿色分量在所述目标插值方向上对该像素点执行绿色分量插值操作。
[0025]作为一种可选的实施方式，在本专利技术第一方面中，当确定出的红色分量位置为部分红色分量位置、确定出的蓝色分量位置为部分蓝色分量位置以及确定出的绿色分量位置为部分绿色分量位置时，所述根据插值得到的全分辨率绿色通道，对确定出的红色分量位置处的像素点执行蓝色分量插值操作并对确定出的蓝色分量位置处的像素点执行红色分量插值操作之前，所述方法还包括：
[0026]根据确定出的重马赛克模式，将红色分量的单元中指定的红色分量位置确定为需要进行蓝色分量插值操作的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种重马赛克的实现方法，其特征在于，所述方法包括：获取待处理的多单元CFA图像，计算所述多单元CFA图像中需要进行绿色通道插值的当前像素点所在的单元在多个目标方向的梯度，并计算所述当前像素点所在的单元的纹理梯度矩阵以及所述当前像素点所在的单元的所有相邻单元中每个所述相邻单元的纹理梯度矩阵；根据所述当前像素点所在的单元的纹理梯度矩阵以及每个所述相邻单元的纹理梯度矩阵计算纹理相似度系数，根据所述纹理相似度系数及所述当前像素点所在的单元在每个所述目标方向的梯度确定所述当前像素点所在单元的目标插值方向，并在所述目标插值方向上对所述当前像素点所在单元的所有像素点执行绿色分量插值操作；根据插值得到的全分辨率绿色通道，对确定出的红色分量位置处的像素点执行蓝色分量插值操作并对确定出的蓝色分量位置处的像素点执行红色分量插值操作，以及，根据插值得到的蓝色通道及红色通道，对确定出的绿色分量位置处的像素点执行红色分量插值操作及蓝色分量插值操作；组合插值得到的所有颜色通道，得到重马赛克图像。2.根据权利要求1所述的重马赛克的实现方法，其特征在于，所述方法还包括：当确定出的红色分量位置为部分红色分量位置、确定出的蓝色分量位置为部分蓝色分量位置以及确定出的绿色分量位置为部分绿色分量位置时，对所述重马赛克图像执行去马赛克处理操作，得到全彩色图像；当确定出的红色分量位置为所有红色分量位置、确定出的蓝色分量位置为所有蓝色分量位置以及确定出的绿色分量位置为所有绿色分量位置时，对所述重马赛克图像执行伪彩色去除操作，得到全彩色图像。3.根据权利要求2所述的重马赛克的实现方法，其特征在于，所述方法还包括：在得到所述全彩色图像之后，将所述全彩色图像转化为目标格式的图像，并输出所述目标格式的图像；其中，所有所述目标方向包括水平方向、垂直方向、对角线方向及反对角线方向。4.根据权利要求3所述的重马赛克的实现方法，其特征在于，所述根据所述纹理相似度系数及所述当前像素点所在的单元在每个所述目标方向的梯度确定所述当前像素点所在单元的目标插值方向，包括：根据所述当前像素点所在的单元在每个所述目标方向的梯度、所述纹理相似度系数以及每个所述目标方向对应的权重系数，计算每个所述目标方向对应的值；根据所有所述目标方向对应的值中的目标最小值、预先确定出的阈值以及所有所述目标方向对应的值中除所述目标最小值之外的剩余值，确定所述当前像素点所在单元的目标插值方向。5.根据权利要求4所述的重马赛克的实现方法，其特征在于，所述根据所有所述目标方向对应的值中的目标最小值、预先确定出的阈值以及所有所述目标方向对应的值中除所述目标最小值之外的剩余值，确定所述当前像素点所在单元的目标插值方向，包括：判断所有所述目标方向对应的值中的目标最小值与预先确定出的阈值之和是否小于所有剩余值中的最小值，所有所述剩余值包括所有所述目标方向对应的值中除所述目标最小值之外的值；
当判断结果为是时，将所述目标最小值对应的目标方向确定为所述当前像素点所在单元的目标插值方向；当判断结果为否时，将空方向确定为所述当前像素点所在单元的目标插值方向。6.根据权利要求5所述的重马赛克的实现方法，其特征在于，所述在所述目标插值方向上对所述当前像素点所在单元的所有像素点执行绿色分量插值操作，包括：根据所述目标插值方向，确定与所述目标插值方向相匹配的插值绿色分量计算公式，并获取所述插值绿色分量计算公式对应的计算参数；根据所述插值绿色分量计算公式及所述插值绿色分量计算公式对应的计算参数，分别计算所述当前像素点所在的单元中每个像素点对应的插值绿色分量，并根据所述当前像素点所在的单元中每个像素点对应的插值...

【专利技术属性】
技术研发人员：李智，钟午，杨帆，
申请(专利权)人：珠海全志科技股份有限公司，
类型：发明
国别省市：