生成RGB图像的方法、装置和系统制造方法及图纸

本发明专利技术涉及一种生成RGBIR图像的方法、装置和系统，该方法包括：接收RGBIR传感器发送的RGBIR图像信号；通过内差值法对RGBIR图像信号进行插值得到第一图像信号；去除第一图像信号中每个像素点位置上的红外IR分量以得到第二图像信号；将第一图像信号和第二图像信号进行联合滤波以得到滤波后的RGB图像。利用未去除IR分量的RGBIR图像信号信噪比高的特点，依据高信噪比图像信号与去除IR分量的低信噪比图像信号的相关性对去除IR分量的低信噪比图像信号进行联合滤波，提高了RGB图像的信噪比，尤其改善了在低色温或低照度环境下得到的图像的信噪比。

【技术实现步骤摘要】

本专利技术涉及图像处理领域，尤其涉及一种生成RGB图像的方法、装置和系统。
技术介绍
RGBIR传感器是一种新型的传感器，是配置有RGBIR滤镜的图像传感器。RGBIR滤镜的阵列排列方式与传统彩色滤镜阵列(ColorFilterArray，CFA)，比如拜耳彩色滤镜阵列(BayerCFA)的排列方式不同，如图1和图2所示。图1为Bayer传感器的阵列示意图，R表示图像传感器上所有覆盖红色滤镜的像素，称为红色(Red，R)通道；G表示图像传感器上所有覆盖绿色滤镜的像素，称为绿色(Green，G)通道，B表示覆盖蓝色的像素，称为蓝色(Blue，B)通道。图2为RGBIR传感器的阵列示意图，RGBIR滤镜的阵列将Bayer彩色滤镜阵列中的一半的绿色分量由红外光(infrared)分量取代，该部分像素称为红外(Infrared，IR)通道，且RGBIR滤镜可以同时感应可见光和不可见光，这里将不可见光用红外光IR表示。为了基于RGBIR传感器得到正常的RGB彩色图像，需要将RGBIR传感器感知到的R、G、B通道像素中的IR成分去除。现有技术中，可以通过对输入的RGBIR图像进行图像插值，得到原始图像中每个像素点位置上的缺失的像素，计算出输出图像中的RGB通道和IR通道的数值，确定校正系数，根据校正系数分离RGB通道和红外IR通道，并校正RGB通道，最后输出RGB图像。但通过现有技术中的获取基于RGBIR传感器获取的RGBIR图像会造成输出的RGB图像的信噪比较低，尤其是在色温较高或者光照度较低的情况下。
技术实现思路
本专利技术提供了一种生成RGB图像的方法、装置和系统，以实现在色温较高或者光照度比较低的情况下，提高RGB图像的信噪比。第一方面，本专利技术提供了一种生成RGB图像的方法，该方法包括：接收RGBIR传感器发送的RGBIR图像信号；通过内插法对输入RGBIR图像信号进行插值得到信噪比比较高的第一图像信号，第一图像信号可以理解为每个像素点位置上带有红外IR分量的拜耳(Bayer)图像信号；去除第一图像中每个像素点位置上的红外IR分量，并对RGB通道进行校正，得到第二图像信号，其中，第二图像信号可以理解为相对RGBIR图像信号去除每个像素点位置上的IR分量后的Bayer图像；将第一图像信号和第二信号图像进行联合滤波得到滤波后的RGB图像。本专利技术提供的联合滤波，可以通过例如指导性滤波器(GuidedFilter)、联合双边滤波器(JointBilateralFilter)等滤波器，依据第一图像信号与第二图像信号的相关性，对第二图像信号进行滤波得到滤波后的RGB图像。通过本专利技术实施例提供的生成RGB图像的方法，利用未去除IR分量的RGBIR图像信噪比高的特点，在噪声去除的过程中，利用未去除IR分量的RGBIR图像信号与去除IR分量的RGBIR图像信号的相关性，对去除IR分量的低信噪比RGBIR图像信号进行联合滤波，实现了对基于RGBIR传感器获取的图像的处理，提高了处理后得到的RGB图像的信噪比；同时，也明显改善了在低色温或低照度环境下得到的图像的信噪比。结合第一方面，在第一方面的第一种可能实现的方式中，通过内插法对RGBIR图像信号进行插值以得到第一图像信号，包括：通过内插法计算RGBIR图像信号中每个像素点IR通道上的G像素值以得到第一图像信号。结合第一方面，在第一方面的第二种可能实现的方式中，通过内插法对所述RGBIR图像信号进行插值以得到第一图像信号，包括：通过内插法计算RGBIR图像信号中每个像素点上R、G、B、IR通道中的R像素值，G像素值和B像素值，以得到第一图像信号；其中，第一图像信号包括包括三个图像信号，一个图像信号的每个像素点的R、G、B和IR通道均为R像素值和IR像素值的图像信号；一个图像信号的每个像素点的R、G、B和IR通道均为G像素值和IR像素值的图像信号，另一个图像信号的每个像素点的R、G、B和IR通道均为B像素值和IR像素值的图像信号。结合第一方面的第一种可能实现的方式或者第一方面的第二种可能实现的方式中，在第一方面的第三种可能实现的方式中，去除第一图像信号中每个像素点位置上的红外IR分量以得到第二图像信号，包括：通过内插法计算RGBIR图像信号中每个像素点位置上的IR像素值以得到第三图像信号，第三图像信号为每个像素点的R、G、B和IR通道均为IR像素值的图像信号；将第一图像信号和第三图像信号相减以得到第二图像信号。通过该设计方案，可以将RGBIR传感器获取的RGBIR图像信号转换为传统的Bayer图像信号，易于以传统的图像信号处理器(ImageSignalProcessor，ISP)对接，可以采用传统算法进行处理，减少了开发的成本。结合第一方面的第三种可能实现的方式，在第一方面的第四种可能实现的方式中，将第一图像信号和第二图像信号进行联合滤波以得到滤波后的RGB图像，包括：根据第一图像信号中的第一像素点和第一参考像素点的距离或者像素值的差值确定权重，其中，第一参考像素点为所述第一像素点周围的像素点；确定第二图像信号中与第一像素点对应的第二像素点和与第一参考像素点对应的第二参考像素点；根据权重对第二图像信号中的第二参考像素点进行加权平均，确定第二像素点的像素值，以得到滤波后的RGB图像。结合第一方面至第一方面的第四种可能实现的方式，在第一方面的第五种可能实现的方式中，滤波后的RGB图像用于提供给图像信号处理器进行处理以得到输出的RGB图像。结合第一方面，在第一方面的第六种可能实现的方式中，通过图像信号处理器对滤波后的RGB图像进行处理以得到RGB图像，包括：对滤波后的RGB图像进行颜色校正矩阵、镜头阴影校正、自动白平衡或马赛克处理中的至少一个处理得到输出的RGB图像。结合第一方面，在第一方面的第七种可能实现的方式中，图像信号处理器对滤波后的RGB图像进行处理以得到输出的RGB图像，包括：通过内插法计算所述滤波后的RGB图像中每个像素点R、G和B通道上的R、G和B像素值，以得到第四图像信号；对第四图像信号进行颜色校正矩阵、镜头阴影校正、自动白平衡处理得到所述输出的RGB图像；其中，第四图像信号包括每个像素点的R、G、B和IR通道均为R像素值的图像信号，每个像素点的R、G、B和IR通道均为G像素值的图像信号，以及每个像素点的R、G、B和IR通道均为B像素值的图像信号。结合第一方面至第一方面中的任一可能实现的方式中的任一实现方式，在第一方面的第八种可能实现的方式中，内插法包括双线性插值方法。第二方面，本专利技术提供了一种生成RGB图像的装置，该装置包括：接收单元、插值单元、去除分量单元和滤波单元。接收单元用于接收RGBIR传感器发送的RGBIR图像信号；插值单元，用于通过内插法对RGBIR图像信号进行插值以得到第一图像信号；去除分量单元，用于去除第一图像信号中每个像素点位置上的红外IR分量以得到第二图像信号；滤波单元，用于将第一图像信号和第二图像信号进行联合滤波以得到滤波后的RGB图像。其中，第一图像信号可以理解为每个像素点位置上带有IR分量的Bayer图像信号；第二图像信号可以理解为RGBIR图像去除每个像素点位置上的IR分量后的Bayer图像信号。在本专利技术联合滤波可以通过例如Guid本文档来自技高网...

【技术保护点】
一种生成RGB图像的方法，其特征在于，所述方法包括：接收RGBIR传感器发送的RGBIR图像信号；通过内插法对所述RGBIR图像信号进行插值以得到第一图像信号；去除所述第一图像信号中每个像素点位置上的红外IR分量以得到第二图像信号；将所述第一图像信号和所述第二图像信号进行联合滤波以得到滤波后的RGB图像。

【技术特征摘要】
1.一种生成RGB图像的方法，其特征在于，所述方法包括：接收RGBIR传感器发送的RGBIR图像信号；通过内插法对所述RGBIR图像信号进行插值以得到第一图像信号；去除所述第一图像信号中每个像素点位置上的红外IR分量以得到第二图像信号；将所述第一图像信号和所述第二图像信号进行联合滤波以得到滤波后的RGB图像。2.根据权利要求1所述的方法，其特征在于，所述通过内插法对所述RGBIR图像信号进行插值以得到第一图像信号，包括：通过内插法计算所述RGBIR图像信号中每个像素点IR通道上的G像素值，以得到所述第一图像信号。3.根据权利要求1所述的方法，其特征在于，所述通过内插法对所述RGBIR图像信号进行插值以得到第一图像信号，包括：通过内插法计算所述RGBIR图像信号中每个像素点上R、G、B、IR通道中的R像素值，G像素值和B像素值，以得到所述第一图像信号；其中，所述第一图像信号包括每个像素点的R、G、B和IR通道均为R像素值和IR像素值的图像信号，每个像素点的R、G、B和IR通道均为G像素值和IR像素值的图像信号，以及每个像素点的R、G、B和IR通道均为B像素值和IR像素值的图像信号。4.根据权利要求2或3所述的方法，其特征在于，所述去除所述第一图像信号中每个像素点位置上的红外IR分量以得到第二图像信号，包括：通过内插法计算所述RGBIR图像信号中每个像素点位置上的IR像素值以得到第三图像信号，所述第三图像信号为每个像素点的R、G、B和IR通道均为IR像素值的图像信号；将所述第一图像信号和所述第三图像信号进行相减以得到所述第二图像信号。5.根据权利要求4所述的方法，其特征在于，所述将所述第一图像信号和所述第二图像信号进行联合滤波以得到滤波后的RGB图像，包括：根据所述第一图像信号中的第一像素点和第一参考像素点的距离或者像素值的差值确定权重，其中，所述第一参考像素点为所述第一像素点周围的像素点；确定所述第二图像信号中与所述第一像素点对应的第二像素点和与所述第一参考像素点对应的第二参考像素点；根据所述权重对所述第二图像信号中的所述第二参考像素点进行加权平均，确定所述第二像素点的像素值，以得到所述滤波后的RGB图像。6.根据权利要求1至5任一所述的方法，其特征在于，所述滤波后的RGB图像用于提供给图像信号处理器进行处理以得到输出的RGB图像。7.根据权利要求6所述的方法，其特征在于，所述图像信号处理器对所述滤波后的RGB图像进行处理以得到输出的RGB图像，包括：对所述滤波后的RGB图像进行颜色校正矩阵、镜头阴影校正、自动白平衡或马赛克处理中的至少一个处理得到所述输出的RGB图像。8.根据权利要求6所述的方法，其特征在于，所述图像信号处理器对所述滤波后的RGB图像进行处理以得到输出的RGB图像，包括：通过内插法计算所述滤波后的RGB图像中每个像素点R、G和B通道上的R、G和B像素值，以得到第四图像信号；对所述第四图像信号进行颜色校正矩阵、镜头阴影校正、自动白平衡处理得到所述输出的RGB图像；其中，所述第四图像信号包括每个像素点的R、G、B和IR通道均为R像素值的图像信号，每个像素点的R、G、B和IR通道均为G像素值的图像信号，以及每个像素点的R、G、B和IR通道均为B像素值的图像信号。9.根据权利要求1至8任一项所述的方法，其特征在于，所述内插法包括双线性插值方法。10.一种生成RGB图像的装置，其特征在于，所述装置包括：接收单元，用于接收RGBIR传感器发送的RGBIR...

【专利技术属性】
技术研发人员：魏哲，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44