一种RGB-IR图像的校正方法和装置制造方法及图纸

本申请公开了一种RGB‑IR图像的校正方法，包括如下步骤。步骤S10：输入RGB‑IR图像。步骤S20：对输入的RGB‑IR图像进行暗电平校正。步骤S30：按各颜色通道对IR分量进行增益补偿。步骤S40：计算各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数。步骤S50：根据IR分量的校正系数和增益补偿后的IR分量对RGB分量进行校正并输出。本申请通过图像处理的方式实现对RGB‑IR图像的校正，在图像的亮区、暗区自适应地去除或保留部分或全部的红外分量，从而在图像亮度与图像不偏色的两个指标上取得平衡。

A correction method and device for rgb-ir image

【技术实现步骤摘要】
一种RGB-IR图像的校正方法和装置
本申请涉及图像处理领域，特别涉及一种对图像数据进行处理的方法和装置。
技术介绍
随着多媒体技术的发展，视频监控和手机等装置的拍照功能越来越受到用户的重视。上述装置的拍照功能都是基于图像传感器实现的，当用户在白天光线充足时拍照，图像传感器可以接收到足够的光线，进而能够清晰地成像。但是当夜晚光线不足时，图像传感器无法正常成像，这些装置的使用范围会受到限制。为了解决低光照场景下拍照的问题，图像传感器会接收部分近红外线（NIR，Near-infrared）作为可见光的补充。但是如图1所示，RGB像素也会接收部分红外线（IR，infrared），因此近红外线会对成像的颜色造成干扰，导致偏色。因此，当光线充足时，需要去除红外线的干扰；光线不足时，再使用红外辅助成像。现有技术中，一般使用基于机械结构的红外滤光片（IR-Cut）装置进行切换。光线充足时，截止红外线，防止其干扰成像；光线不足时再移开红外滤光片，使红外线通过。然而，基于机械结构的红外滤光片装置体积较大，会造成焦距改变影响成像的清晰度；而且价格昂贵；当装配在手机等移动装置中时，日常碰撞容易导致其产生位移而影响使用效果。
技术实现思路
本申请所要解决的技术问题是提出了一种RGB-IR图像的校正方法。该方法不依赖于机械结构的红外滤光片，而是通过图像处理的方式实现对RGB-IR图像的校正。为解决上述技术问题，本申请提供了一种RGB-IR图像的校正方法，包括如下步骤。步骤S10：输入RGB-IR图像。步骤S20：对输入的RGB-IR图像进行暗电平校正。步骤S30：按各颜色通道对IR分量进行增益补偿。步骤S40：计算各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数。步骤S50：根据IR分量的校正系数和增益补偿后的IR分量对RGB分量进行校正并输出。进一步地，所述RGB-IR图像包括RGB图像和IR图像两部分；RGB图像为拜耳模式分布的，以2×2个像素作为一个基础单元，每个基础单元由一个R红色像素、一个Gb绿色像素、一个Gr绿色像素和一个B蓝色像素组成；IR图像与RGB图像大小一致，但所有像素均为IR像素。这是一种优选的实现方式。进一步地，所述步骤S20进一步包括如下步骤。步骤S22：将RGB图像和IR图像均按各颜色通道进行分离。步骤S24：对RGB图像和IR图像的每个基础单元按各颜色通道进行暗电平校正。这是一种优选的实现方式。进一步地，所述步骤S24中，根据公式一对RGB图像的一个基础单元的暗电平按各颜色通道进行校正。公式一：。其中，R'表示暗电平校正后的R红色像素的值，Gr'表示暗电平校正后的Gr绿色像素的值，B'表示暗电平校正后的B蓝色像素的值，Gb'表示暗电平校正后的Gb绿色像素的值，R表示输入图像的R红色像素的原始值、Gr表示输入图像的Gr绿色像素的原始值，B表示输入图像的B蓝色像素的原始值，Gb表示输入图像的Gb绿色像素的原始值，BLCbayer表示RGB图像传感器的暗电平。这是一种优选的实现方式。进一步地，所述步骤S24中，根据公式二对IR图像的一个基础单元的暗电平按各颜色通道进行校正。公式二：。其中，IR'表示暗电平校正后的IR红外像素的值，IR表示输入图像的IR红外像素的原始值，BLCIR表示IR图像传感器的暗电平。这是一种优选的实现方式。进一步地，所述步骤S30中，对不同颜色通道的IR分量分别乘以不同的增益系数以使RGB图像中各颜色通道的RGB分量与其对应位置的IR分量的数值大小保持一致，如公式三所示。公式三：。其中，表示增益补偿后的R红色通道的IR分量，表示增益补偿后的Gr绿色通道的IR分量，表示增益补偿后的B蓝色通道的IR分量，表示增益补偿后的Gb绿色通道的IR分量，GainR表示R红色通道的IR分量的增益系数，GainGr表示Gr绿色通道的IR分量的增益系数、GainB表示B蓝色通道的IR分量的增益系数、GainGb表示Gb绿色通道的IR分量的增益系数。这是一种优选的实现方式。进一步地，所述增益系数或者采用固定的数值，或者根据图像传感器的曝光时间和图像传感器的增益进行自适应变化；当t<t1时，增益系数Gain=a；当t>t2时，增益系数Gain=b；其他情况下，增益系数Gain=a+(b-a)×(t-t1)/(t2-t1)。这是一种优选的实现方式。进一步地，所述步骤S40进一步包括如下步骤。步骤S42：计算每个基础单元中各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，如公式四所示。公式四：。其中，RESR表示R红色通道的残差，RESGr表示Gr绿色通道的残差，RESB表示B蓝色通道的残差，RESGb表示Gb绿色通道的残差。步骤S44：得到其中的最小残差RESmin，如公式五所示。公式五：。其中，RESmin表示四个颜色通道的最小残差，min函数表示取最小值。步骤S46：根据每个基础单元内的最小残差RESmin；决定该基础单元中IR分量的的校正系数Ratio；一个基础单元内部采用同一个校正系数Ratio。这是一种优选的实现方式。进一步地，所述步骤S46中，最小残差RESmin越大，则增大IR分量的校正系数Ratio，减少保留的IR分量；最小残差RESmin越小，则降低IR分量的校正系数Ratio，增加保留的IR分量。这是一种优选的实现方式。进一步地，所述步骤S50中，根据公式六得到校正之后的图像作为最终的输出；输出图像是拜耳模式的RGB图像。公式六：。其中，R''表示最终输出的R红色像素的值，Gr''表示最终输出的Gr绿色像素的值，B''表示最终输出的B蓝色像素的值，Gb''表示最终输出的Gb绿色像素的值。这是一种优选的实现方式。本申请还提供了一种RGB-IR图像的校正装置，包括输入单元、暗电平校正单元、IR增益补偿单元、校正系数计算单元和校正单元；所述输入单元用于输入RGB-IR图像；所述暗电平校正单元用于对输入的RGB-IR图像进行暗电平校正；所述IR增益补偿单元用于按各颜色通道对IR分量进行增益补偿；所述校正系数计算单元用于计算各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数；所述校正单元用于根据IR分量的校正系数和增益补偿后的IR分量对RGB分量进行校正并输出。进一步地，所述暗电平校正单元进一步包括颜色通道分离子单元、RGB暗电平校正子单元和IR暗电平校正子单元；所述颜色通道分离子单元用于将RGB图像和IR图像均按各颜色通道进行分离；所述RGB暗电平校正子单元用于对RGB图像的每个基础单元按各颜色通道进行暗电平校正；所述IR暗电平校正子单元用于对IR图像的每个基础单元按各颜色通道进行暗电平校正。这是一种优选的实现方式。进一步地，所述IR增益补偿单元进本文档来自技高网...

【技术保护点】
1.一种RGB-IR图像的校正方法，其特征是，包括如下步骤：/n步骤S10：输入RGB-IR图像；/n步骤S20：对输入的RGB-IR图像进行暗电平校正；/n步骤S30：按各颜色通道对IR分量进行增益补偿；/n步骤S40：计算各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数；/n步骤S50：根据IR分量的校正系数和增益补偿后的IR分量对RGB分量进行校正并输出。/n

【技术特征摘要】
1.一种RGB-IR图像的校正方法，其特征是，包括如下步骤：
步骤S10：输入RGB-IR图像；
步骤S20：对输入的RGB-IR图像进行暗电平校正；
步骤S30：按各颜色通道对IR分量进行增益补偿；
步骤S40：计算各颜色通道的RGB分量减去增益补偿后的IR分量后的残差，并得到其中的最小残差，再根据最小残差计算IR分量的校正系数；
步骤S50：根据IR分量的校正系数和增益补偿后的IR分量对RGB分量进行校正并输出。


2.根据权利要求1所述的RGB-IR图像的校正方法，其特征是，所述RGB-IR图像包括RGB图像和IR图像两部分；RGB图像为拜耳模式分布的，以2×2个像素作为一个基础单元，每个基础单元由一个R红色像素、一个Gb绿色像素、一个Gr绿色像素和一个B蓝色像素组成；IR图像与RGB图像大小一致，但所有像素均为IR像素。


3.据权利要求1所述的RGB-IR图像的校正方法，其特征是，所述步骤S20进一步包括如下步骤：
步骤S22：将RGB图像和IR图像均按各颜色通道进行分离；
步骤S24：对RGB图像和IR图像的每个基础单元按各颜色通道进行暗电平校正。


4.据权利要求3所述的RGB-IR图像的校正方法，其特征是，所述步骤S24中，根据公式一对RGB图像的一个基础单元的暗电平按各颜色通道进行校正；
公式一：；
其中，R'表示暗电平校正后的R红色像素的值，Gr'表示暗电平校正后的Gr绿色像素的值，B'表示暗电平校正后的B蓝色像素的值，Gb'表示暗电平校正后的Gb绿色像素的值，R表示输入图像的R红色像素的原始值、Gr表示输入图像的Gr绿色像素的原始值，B表示输入图像的B蓝色像素的原始值，Gb表示输入图像的Gb绿色像素的原始值，BLCbayer表示RGB图像传感器的暗电平。


5.据权利要求3所述的RGB-IR图像的校正方法，其特征是，所述步骤S24中，根据公式二对IR图像的一个基础单元的暗电平按各颜色通道进行校正；
公式二：；
其中，IR'表示暗电平校正后的IR红外像素的值，IR表示输入图像的IR红外像素的原始值，BLCIR表示IR图像传感器的暗电平。


6.据权利要求1所述的RGB-IR图像的校正方法，其特征是，所述步骤S30中，对不同颜色通道的IR分量分别乘以不同的增益系数以使IR图像中的IR分量的数值大小与其对应位置的RGB图像中各颜色通道收到的IR分量的数值大小保持一致，如公式三所示；
公式三：；
其中，表示增益补偿后的R红色通道的IR分量，表示增益补偿后的Gr绿色通道的IR分量，表示增益补偿后的B蓝色通道的IR分量，表示增益补偿后的Gb绿色通道的IR分量，GainR表示R红色通道的IR分量的增益系数，GainGr表示Gr绿色通道的IR分量的增益系数、GainB表示B蓝色通道的IR分量的增益系数、GainGb表示Gb绿色通道的IR分量的增益系数。


7.据权利要求6所述的RGB-IR图像的校正方法，其特征是，所述增益系数或者采用固定的数值，或者根据图像传感器的曝光时间和图像传感器的增益进行自适应变化；当t<t1时，增益系数Gain=a；当t>t2时，增益系数Gain=b；其他情况下，增益系数Gain=a+(b-a)×(t-t1)/(t2-t1)；t、t1、t2均表示图像传感器的曝光时间×图像传感器的增益。

【专利技术属性】
技术研发人员：史汉臣，李成军，
申请(专利权)人：翱捷智能科技上海有限公司，
类型：发明
国别省市：上海;31