一种基于彩色与黑白双摄像头的超分辨率重建方法技术

技术编号:15504528 阅读:81 留言:0更新日期:2017-06-04 00:28
本发明专利技术涉及是图像处理领域,具体公开了一种基于彩色与黑白双摄像头的超分辨率重建方法。彩色镜头得到高亮度、低噪点的图像,黑白镜头获取细节丰富的图像。在同样的退化条件下,对两幅图像进行精确地视差估计,通过视差估计将黑白图像的高频信息融合到彩色图像的亮度分量中,完成对彩色图像的超分辨率重建。该方法充分利用场景的深度信息,校正了不同景深区域的对比度和细节信息,同时避免了单摄像头拍摄多张低分辨率图像时的非同时性以及同一场景在连续拍摄时产生的运动位移带来的误差。

A super resolution reconstruction method based on color and black and white dual cameras

The invention relates to the field of image processing, in particular to a super-resolution reconstruction method based on color and black and white dual cameras. Image color lenses have high brightness, low noise, black and white lens to get the image with rich details. The degradation in the same conditions, the accurate disparity estimation of two images, the high frequency information of disparity estimation of black and white image fusion to the luminance component of a color image, complete the super-resolution reconstruction of color image. This method makes full use of the depth information of the scene, the contrast of different depth correction region and details, and avoid the error of single camera and a non low resolution image and the displacement of the same scene in the continuous shooting of the.

【技术实现步骤摘要】
一种基于彩色与黑白双摄像头的超分辨率重建方法
本专利技术主要涉及到数字图像处理领域,特指一种基于彩色与黑白双摄像头的超分辨率重建方法。
技术介绍
在大量的电子图像应用领域,人们经常期望得到高分辨率图像。目前,增加空间分辨率最直接的解决方法是通过传感器制造技术减少像素尺寸。然而随着像素尺寸的减少,光通量也随之减少,它所产生的散粒噪声使得图像质量严重恶化。另外一种办法是增加芯片的尺寸,从而增加图像的容量,然而很难提高大容量的耦合转换率。高精度光学和图像传感器的高价格也是一个必须考虑的重要因素。因此有必要采用一种新的方法来增加空间分辨率,从而克服传感器和光学制造技术的限制。一种很有前途的方法就是采用信号处理的方法从多个可观察到的低分辨率图像得到高分辨率图像。其基本前提是通过同一场景可以获取多幅低分辨率图像,每一幅低分辨率图像都为超分辨图像的重建提供一些不同的信息。目前,常用的方法是通过一台照相机的多次拍摄获取多张同一场景的低分辨率图像。但是这种方法存在缺陷:拍出来的多幅低分辨图像不具有同时性,同一场景间会存在一定的运动位移,对后续的配准、信息融合带来误差,进而降低超分辨率重建的效果。另一种是利用不同视点处的相机同时拍摄同一场景的多张照片进行超分辨率重建,这种方法,一旦不同视点间相机距离远,则很难达到亚像素精度的信息互补。因此本专利技术提出了一种利用双摄像头模组以及两个摄像头功能互补性的超分辨重建方法。
技术实现思路
本专利技术要解决的技术问题在于:如何利用以彩色与黑白双摄像头拍摄的彩色、黑白图像进行超分辨率重建。本专利技术提出一种基于彩色与黑白双摄像头的超分辨率重建方法,充分利用双摄像头中彩色相机亮度高、噪点低,黑白相机细节丰富,拍摄的图像具有同时性等特点,首先利用彩色图像的亮度分量与黑白图像的低频信号进行精确地视差估计,再利用视差信息对黑白图像的高频信号进行几何变化,对亮度分量进行高频信息补偿。将得到的高分辨率的亮度分量转化到RGB空间,即得到了彩色高分辨率图像。为解决上述技术问题,本专利技术提出的技术方案是:一种基于彩色与黑白双摄像头的超分辨率重建方法,包括以下步骤:S1:利用彩色与黑白双摄像头模组同时分别获取彩色与黑白图像;S2:对步骤S1中获取的彩色与黑白图像进行处理,分别获得彩色图像的亮度分量以及黑白图像的低频信息与高频信息;S3:对得到的亮度分量以及低频信号进行精确地视差估计,得到视差信息,该视差信息为亮度分量与低频信号间的像素对应关系。S4:根据步骤S3得到的视差信息,将步骤S2中获取的高频信息进行几何变换后,融合到亮度分量中,完成对亮度分量的超分辨率重建得到超分辨图。S5:将步骤S4中得到的亮度分量的超分辨图转换到RGB颜色空间,即完成了对彩色图像的超分辨率重建。作为本专利技术的优选技术方案,所述步骤S1中的双摄像头模组是由彩色镜头IMX278和黑白镜头IMX214组成,其中彩色镜头提高亮度,降低噪点;黑白镜头扩大进光亮,丰富细节信息。作为本专利技术的优选技术方案,所述步骤S2包括:步骤S21:将彩色图像由RGB颜色空间转换到HSV颜色空间,保留其饱和度分量和色调分量;步骤S22:将黑白图像分别使用低通和高通滤波器分解成低频信号和高频信号,其中,低通滤波器使用双边滤波器,而低通过滤后的图像与原图的残差作为高频信号。作为本专利技术的优选技术方案,所述步骤S3中的精确地视差估计是指,在经过双目标定,获得双摄像头的内外参数后,对亮度分量和低频信号进行双目校正与双目亚像素精度地视差计算。作为本专利技术的优选技术方案,所述步骤S4中根据步骤S3得到的视差信息,对黑白图像的高频信号进行几何变换,对于亮度分量高频信息的恢复,采用对应像素直接替换的方法。作为本专利技术的优选技术方案,所述步骤S5中将步骤S4中得到的亮度分量的超分辨图和步骤S1中获取的彩色图像的饱和度分量、色调分量转换到RGB颜色空间,得到彩色图的超分辨率图像。与现有技术相比,本专利技术具有以下有益效果:本专利技术基于彩色与黑白双摄像头模组,利用彩色摄像头高亮度、低噪度,黑白摄像头细节丰富等特性,在精确视差估计的基础上,利用彩色图像的亮度分量以及黑白图像的高频信号进行信息融合,得到彩色的高分辨率图像。该方法充分利用场景的深度信息,校正了不同景深区域的对比度和细节信息,同时避免了单摄像头拍摄多张低分辨率图像时的非同时性以及同一场景在连续拍摄时产生的运动位移带来的误差。附图说明图1为本专利技术基于彩色与黑白双摄像头的超分辨率重建方法流程图。图2为本专利技术双摄像头模组示意图。图3为本专利技术高频信息补偿示意图。具体实施方式下面结合附图,对本专利技术的具体实施方式进行详细描述:下面结合附图,对本专利技术的具体实施方式进行详细描述:如图1所示,本实例提供的一种基于彩色与黑白双摄像头的超分辨率重建方法,包括如下步骤:步骤一:利用图2所示的彩色与黑白双摄像头模组同时分别获取彩色与黑白图像,双摄像头由彩色镜头IMX278和黑白镜头IMX214组成,其中彩色镜头用于提高亮度,降低噪点;黑白镜头用于扩大进光亮,丰富细节信息。步骤二:将彩色图像由RGB颜色空间转换到HSV颜色空间,保留其饱和度分量和色调分量,并使用其亮度分量进行后续处理;将黑白图像分别使用低通和高通滤波器分解成低频信号和高频信号。其中,低通滤波器可以使用双边滤波器,而低通过滤后的图像与原图像的残差作为高频信号。步骤三:对步骤二得到的亮度分量以及低频信号进行精确地视差估计,得到亮度分量与低频信号间的像素对应关系。步骤四:如图3所示,根据步骤三得到的视差信息,将步骤二中获取的高频信息进行几何变换,融合到亮度分量中,完成对亮度分量的超分辨率重建。步骤五:将步骤四中得到的亮度分量的超分辨图转换到RGB颜色空间,即完成了对彩色图像的超分辨率重建。如上所述,本专利技术基于彩色与黑白双摄像头模组,利用彩色摄像头高亮度、低噪度,黑白摄像头细节丰富等特性,在精确视差估计的基础上,利用彩色图像的亮度分量以及黑白图像的高频信号进行信息融合,得到彩色的高分辨率图像。该方法充分利用场景的深度信息,校正了不同景深区域的对比度和细节信息,同时避免了单摄像头拍摄多张低分辨率图像时的非同时性以及同一场景在连续拍摄时产生的运动位移带来的误差。显然,本专利技术的上述实施例仅仅是为清楚地说明本专利技术所作的举例,而并非是对本专利技术的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本专利技术的精神和原则的内所作的任何修改、等同替换和改进等,均应包含在本专利技术权利要求的保护范围内。本文档来自技高网...
一种基于彩色与黑白双摄像头的超分辨率重建方法

【技术保护点】
一种基于彩色与黑白双摄像头的超分辨率重建方法,其特征在于,包括如下步骤:步骤S1:利用彩色与黑白双摄像头模组同时分别获取彩色与黑白图像;步骤S2:对步骤S1中获取的彩色与黑白图像进行处理,分别获得彩色图像的亮度分量以及黑白图像的低频信息与高频信息;步骤S3:对得到的亮度分量以及低频信号进行精确地视差估计,得到视差信息,该视差信息为亮度分量与低频信号间的像素对应关系;步骤S4:根据步骤S3得到的视差信息,将步骤S2中获取的高频信息进行几何变换后,融合到亮度分量中,完成对亮度分量的超分辨率重建得到超分辨图;步骤S5:将步骤S4中得到的亮度分量的超分辨图转换到RGB颜色空间,即完成了对彩色图像的超分辨率重建。

【技术特征摘要】
1.一种基于彩色与黑白双摄像头的超分辨率重建方法,其特征在于,包括如下步骤:步骤S1:利用彩色与黑白双摄像头模组同时分别获取彩色与黑白图像;步骤S2:对步骤S1中获取的彩色与黑白图像进行处理,分别获得彩色图像的亮度分量以及黑白图像的低频信息与高频信息;步骤S3:对得到的亮度分量以及低频信号进行精确地视差估计,得到视差信息,该视差信息为亮度分量与低频信号间的像素对应关系;步骤S4:根据步骤S3得到的视差信息,将步骤S2中获取的高频信息进行几何变换后,融合到亮度分量中,完成对亮度分量的超分辨率重建得到超分辨图;步骤S5:将步骤S4中得到的亮度分量的超分辨图转换到RGB颜色空间,即完成了对彩色图像的超分辨率重建。2.根据权利要求1所述基于彩色与黑白双摄像头的超分辨率重建方法,其特征在于,所述步骤一中的双摄像头模组是由彩色镜头IMX278和黑白镜头IMX214组成。3.根据权利要求1或2所述基于彩色与黑白双摄像头的超分辨率重建方法,其特征在于,所述步骤S2包括:步骤S...

【专利技术属性】
技术研发人员:赖世铭马俊磊刘煜熊志辉徐玮
申请(专利权)人:中国人民解放军国防科学技术大学
类型:发明
国别省市:湖南,43

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1