一种基于RGB-IR传感器的去噪增强装置及方法制造方法及图纸

本发明专利技术提出一种基于RGB‑IR传感器的去噪增强装置及方法，RGB‑IR传感器成像形成M*N色彩阵列输出到图像输入单元；颜色通道分离单元通过下采样实现将RGB‑IR数据各颜色分量和IR分量进行分离，得到R、G、B、IR分量并行送入滤波处理单元处理后输出为保留细节降噪处理的Rdn、Gdn、Bdn、IRdn分量，输入到颜色增强单元，通过计算处理得到去噪增强后的整体输出图；去噪强度控制单元根据去噪强度参数α决定去噪图像输出比例,图像输出单元对输出的去噪图像进行格式控制，输出去噪后的图像；本发明专利技术针对RGB‑IR传感器进行去噪增强处理，充分考虑传感器成像特性，在消除各分量噪声干扰同时，通过消除各颜色通道的红外干扰实现颜色增强。

A denoising enhancement device and method based on RGB-IR sensor

A denoising and enhancing device and method based on RGB_IR sensor are presented in this paper. The RGB_IR sensor imaging forms M*N color array and outputs it to the image input unit. The color channel separation unit separates the color components and the IR components of the RGB_IR data by downsampling, and obtains the R, G, B and IR components and sends them to the filter in parallel. After processing, the output of the processing unit is Rdn, Gdn, Bdn, IRdn components which preserve the details of the denoising process, and then input to the color enhancement unit, and get the whole output image after denoising and enhancement by calculating the processing; the denoising intensity control unit determines the output ratio of the denoised image according to the denoising intensity parameter alpha, and the image output unit denoises the output image. The image format is controlled to output the denoised image; the present invention denoises and enhances the RGB_IR sensor, fully considers the imaging characteristics of the sensor, eliminates the noise interference of each component, and achieves color enhancement by eliminating the infrared interference of each color channel.

【技术实现步骤摘要】
一种基于RGB-IR传感器的去噪增强装置及方法
本专利技术属于图像处理
，具体涉及一种基于RGB-IR传感器的去噪增强装置及方法。
技术介绍
RGB-IR传感器可同时感应可见光和红外光信号，比传统Bayer传感器更利于低光照条件成像。目前并没有针对RGB-IR传感器进行去噪处理的特定方法或装置。将现有的去噪方法直接运用到RGB-IR传感器，虽然能达到一定去噪效果，但是无法消除由于红外干扰带来的颜色失真。而现有RGB-IR颜色校正算法虽然能消除红外干扰，却很少对图像噪声进行关注。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于RGB-IR传感器的去噪增强装置及方法,针对RGB-IR传感器特殊感光特性进行去噪增强处理，先对各颜色分量和红外分量进行滤波去噪，再通过预实验配置参数以消除各颜色分量的红外干扰；在保留较多细节同时达到较好去噪效果，并且通过去干扰以增强各颜色分量，最终还可在各种成像环境通过配置控制参数实现去噪和细节均衡，以达到最佳成像效果。为了解决现有技术存在不足，本专利技术提供一种基于RGB-IR传感器的去噪增强装置，包括图像输入单元、颜色通道分离单元、滤波处理单元、颜色增强单元、去噪强度控制单元及图像输出单元；RGB-IR传感器成像形成M*N色彩阵列输出到图像输入单元；图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB-IR数据各颜色分量和IR分量进行分离，得到R分量、G分量、B分量以及IR分量，并行送入滤波处理单元；滤波处理单元处理后输出为保留细节降噪处理的4通道数据，Rdn分量、Gdn分量、Bdn分量以及IRdn分量；Rdn分量、Gdn分量、Bdn分量以及IRdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的IRdn分量数据进行内插值，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；对输出的去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。作为一种优选方式，所述M*N色彩阵列是2*2或4*4格式。作为一种优选方式，所述滤波处理单元包括滤波单元、细节信息检测单元，滤波单元包括R/B通道滤波单元、G通道滤波单元和IR通道滤波单元，不同单元邻域有效数据获取模块有所不同；细节信息检测单元包括内插单元和细节计算单元，最终将细节信息送入滤波单元。作为一种优选方式，所述颜色增强单元包括R、G、B分量增强单元、IR通道内插单元和分量整合单元；其中，R、G、B分量增强单元由内置参数除去各颜色通道红外干扰；IR内插单元对滤波模块输出的IR数据进行内插，恢复各颜色通道位置的IR分量以辅助图像增强；分量整合单元将各增强模块输出的颜色分量和去噪输出的IR分量按输入阵列格式进行整合，得到去噪增强后的整体输出图，输出格式与传感器阵列格式完全一致。本专利技术还提供一种基于RGB-IR传感器的去噪增强方法，包括以下步骤：S1:RGB-IR传感器成像形成M*N色彩阵列输出到图像输入单元；S2:图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB-IR数据各颜色分量和IR分量进行分离，得到R分量、G分量、B分量以及IR分量，并行送入滤波处理单元；S3:滤波处理单元处理后输出为保留细节降噪处理的4通道数据，Rdn分量、Gdn分量、Bdn分量以及IRdn分量；S4:Rdn分量、Gdn分量、Bdn分量以及IRdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的IRdn分量数据进行内插，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；S5:原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；S6:对上述去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。作为一种优选方法，S3步骤滤波处理单元处理方法包括以下步骤：1)细节信息检测单元通过内插单元的插值算法得到全幅G通道数据；2)将各通道数据送入对应的滤波单元，同时参考细节计算单元进行滤波处理。作为一种优选方法，所述步骤1)内插单元的插值算法是双线性插值或三次插值算法。作为一种优选方法，步骤2)滤波处理包括高斯滤波或双边滤波或三边滤波或非局部均值滤波或导向滤波或BM3D滤波。作为一种优选方法，S4步骤颜色增强单元处理方法包括以下步骤：1)红外去噪分量插值，其实现与细节内插单元一致，插值算法采用双线性插值或曲线插值；2)根据各颜色预置参数和颜色通道的IR插值分量进行去干扰，公式表达如下：Mout＝Mdn-kM*IRdn；其中，Mout为增强后输出的各颜色通道值，Mdn为去噪后的各颜色通道数据，IRdn为去噪后的红外去噪分量插值，kM为各颜色通道预置去干扰参数，其值通过预实验得到；3)将去干扰的各颜色分量和红外去噪分量按原始数据阵列排列整合。作为一种优选方法，步骤2)各颜色通道去干扰参数kM具体计算步骤包括：a)在相同环境针对同一场景采集RGB-IR原始数据和对比数据，在传感器上安装红外截止滤光片采集对比数据；b)求原始数据与对比数据差值；c)对原始数据红外通道内插，得到各颜色通道位置对应的红外数据；d)求b)步骤中各颜色通道差值与对应出c)步骤数据比值；e)将各颜色通道比值求均值，得到各颜色通道去干扰参数kM。作为一种优选方法，S5步骤根据去噪强度参数α决定去噪图像最终输出比例，其计算公式如下：Imgout＝(1-α)*Imgori+α*Imgfilt，其中，Imgout、Imgori和Imgfilt分别代表最终去噪图像，原始输入图像和滤波输出图像，其数据格式均与原始数据阵列格式相同，α为去噪强度参数，其值与各颜色通道、亮度控制及曝光参数相关。本专利技术与现有技术相比有益效果：本专利技术针对RGB-IR传感器进行去噪增强处理，充分考虑传感器成像特性，在消除各分量噪声干扰同时，通过消除各颜色通道的红外干扰实现颜色增强；去噪强度控制单元通过配置与亮度、曝光参数相关的控制曲线，可适应多种环境输出最优去噪增强效果；还能有效校正其色偏现象，使得后在对RGB-IR传感器数据实现上述去噪效果的同时，后续图像处理模块的颜色校正及白平衡处理均可按传统数据进行。附图说明图1是本专利技术装置系统结构图。图2是本专利技术滤波处理单元内部结构框图。图3是本专利技术颜色增强单元内部结构图。图4是本专利技术去噪强度控制参数曲线示意图。图5是本专利技术2*2Bayer格式数据阵列图。图6是本专利技术4*4Bayer格式数据阵列图。图7是本专利技术5*5滤波邻域图。图8是本专利技术5*5全幅细节数据图。具体实施方式下面对本专利技术的实施例作进一步的说明。以下实施例仅对本申请进行进一步说明，不应理解为对本申请的限制。如图1所示，本专利技术提供一种基于RGB-IR传感器的去噪增强装置实施例，包括图像输入单元、颜色通道分离单元、滤波处理单元、颜色增强单元、去噪强度控制单元及图像输出单元；RGB-IR传感器成像形成M*N色彩阵列输出到图像输入单元；图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB-IR数据各颜色分量和IR分量进行分离，得到R分量本文档来自技高网...

【技术保护点】
1.一种基于RGB‑IR传感器的去噪增强装置，其特征在于，包括图像输入单元、颜色通道分离单元、滤波处理单元、颜色增强单元、去噪强度控制单元及图像输出单元；RGB‑IR传感器成像形成M*N色彩阵列输出到图像输入单元；图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB‑IR数据各颜色分量和IR分量进行分离，得到R分量、G分量、B分量以及IR分量，并行送入滤波处理单元；滤波处理单元处理后输出为保留细节降噪处理的4通道数据，Rdn分量、Gdn分量、Bdn分量以及IRdn分量；Rdn分量、Gdn分量、Bdn分量以及IRdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的IRdn分量数据进行内插，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；对输出的去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。

【技术特征摘要】
1.一种基于RGB-IR传感器的去噪增强装置，其特征在于，包括图像输入单元、颜色通道分离单元、滤波处理单元、颜色增强单元、去噪强度控制单元及图像输出单元；RGB-IR传感器成像形成M*N色彩阵列输出到图像输入单元；图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB-IR数据各颜色分量和IR分量进行分离，得到R分量、G分量、B分量以及IR分量，并行送入滤波处理单元；滤波处理单元处理后输出为保留细节降噪处理的4通道数据，Rdn分量、Gdn分量、Bdn分量以及IRdn分量；Rdn分量、Gdn分量、Bdn分量以及IRdn分量数据输入到颜色增强单元，颜色增强单元通过对去噪后的IRdn分量数据进行内插，并通过预置参数实现各颜色通道红外干扰拟合，将消除干扰的各颜色分量和红外通道分量进行整合得到去噪增强后的整体输出图；原始输入数据和去噪增强后的整体输出图输入去噪强度控制单元处理，根据去噪强度参数α决定去噪图像输出比例；对输出的去噪图像进行格式控制，图像输出单元最终输出去噪后的图像。2.如权利要求1所述的基于RGB-IR传感器的去噪增强装置，其特征在于，所述M*N色彩阵列是2*2或4*4格式。3.如权利要求1所述的基于RGB-IR传感器的去噪增强装置，其特征在于，所述滤波处理单元包括滤波单元、细节信息检测单元，滤波单元包括R/B通道滤波单元、G通道滤波单元和IR通道滤波单元，不同单元邻域有效数据获取模块有所不同；细节信息检测单元包括内插单元和细节计算单元，最终将细节信息送入滤波单元。4.如权利要求1所述的基于RGB-IR传感器的去噪增强装置，其特征在于，所述颜色增强单元包括R、G、B分量增强单元、IR通道内插单元和分量整合单元；其中，R、G、B分量增强单元由内置参数除去各颜色通道红外干扰；IR内插单元对滤波模块输出的IR数据进行内插，恢复各颜色通道位置的IR分量以辅助图像增强；分量整合单元将各增强单元输出的颜色分量和去噪输出的IR分量按输入阵列格式进行整合，得到去噪增强后的整体输出图，输出格式与传感器阵列格式完全一致。5.一种基于RGB-IR传感器的去噪增强方法，其特征在于：它包括以下步骤：S1:RGB-IR传感器成像形成M*N色彩阵列输出到图像输入单元；S2:图像输入单元与颜色通道分离单元相连，通过下采样实现将RGB-IR数据各颜色分量和IR分量进行分离，得到R分量、G分量、B分量以及IR分量，并行送入滤波处理单元；S3:滤波处理单元处理后输出为保留细节降噪处理的4通道数据，Rdn分量、Gdn分量、Bdn分量以及IRdn分量；S4:Rdn分量、Gdn分量、Bdn分量以及IR...

【专利技术属性】
技术研发人员：曾勇，尚宇盟，
申请(专利权)人：杭州雄迈集成电路技术有限公司，
类型：发明
国别省市：浙江,33