一种复眼相机图像融合方法技术

本发明专利技术公开了一种复眼相机图像融合方法，包括：将全局相机图像进行插值放大，得到放大后的全局相机图像；将放大后的全局相机图像进行区域划分，获取多个局部区域，并得到每个局部区域的坐标范围；将多幅子相机图像与对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对；基于最终的匹配点对构成的单应性矩阵配准各幅子相机图像和对应的局部区域，得到所有配准后的子相机图像组成的还原图像；基于梯度拟合的融合算法对还原图像进行色彩校正，以将还原图像融合到放大后的全局相机图像中，得到最终的融合图像。本发明专利技术解决了传统多图拼接算法拼接流程繁琐，图像画面拉伸畸变、照片亮度色度不一致的问题。亮度色度不一致的问题。亮度色度不一致的问题。

【技术实现步骤摘要】
一种复眼相机图像融合方法


[0001]本专利技术属于图像融合
，具体涉及一种复眼相机图像融合方法。

技术介绍

[0002]图像拼接技术是指将两幅或者多幅具有重叠区域的图像进行拼接，形成一幅具有超宽视野的高分辨率图像。随着社会与科技不断发展进步，人们对于大视场高分辨图像的需求也越来越多，复眼相机的应用越来越多，在交通监控、医学成像、军事领域以及虚拟现实领域应用广泛。主流的图像拼接方法可以大致分为特征提取、图像配准、图像融合三个步骤。根据不同步骤处理思想的不同，图像拼接可以分为三个方向：全局对齐方法、空域变化绘制方法、缝合线主导方法。
[0003]全局对齐方法：以一个单应性矩阵将图像对齐，这种方法要求重叠区域场景中没有深度变化，适合没有视差或者极小视差的场景。空域变化绘制方法：将图像划分为密集网格，每个网格都用一个单应性矩阵对齐，用网格优化来解决图像拼接问题，等价于每个局部单应性矩阵互相独立单独优化，具有更大的自由度，适合场景视差较小的情况。缝合线主导方法：以缝合线为主导，在待拼接图像的重叠区域，根据动态规划思想获得最佳缝合线，不用严格对齐整个重叠区域，而是仅对齐缝合线附近的区域，这类方法可以拼接大视差场景。
[0004]与此同时由于拼接使用的子图像是由多个图像传感器获得的，而子相机的位置和角度不同，因此导致所获得的子图像的亮度及色彩均存在差异性，需要考虑亮度和颜色的差异性对多幅子图像融合效果的影响。现有常用的色差及亮度校正主要分为全局校正和局部校正两种。全局校正，即对图像整体设定一个全局的校正系数，使图像各部分根据此系数对色彩和亮度进行调整，得到整体较为接近的图像。但该方法对所有的子图像进行同等程度的色彩调整，校正的细粒度较低，仅使用一个全局参数无法准确描述各子图像间不均匀的颜色差异，只适用于子图像色差不明显的情况，当色差较大时容易造成色彩失真。局部校正，则是将拼接后的图像再分为不同的子块，对每一个子块设定一个校正系数进行局部调整，该方法能够克服全局方法中不同子图像以同等程度校正的缺点，细粒度较高，能够在重叠区域取得较好的融合效果，但对于非重叠区域却不做校正，导致重叠区域与非重叠区域过渡不自然。

技术实现思路

[0005]为了解决现有技术中所存在的上述问题，本专利技术提供了一种复眼相机图像融合方法。
[0006]本专利技术要解决的技术问题通过以下技术方案实现：
[0007]一种复眼相机图像融合方法，所述复眼相机图像融合方法包括：
[0008]获取全局相机图像和多幅子相机图像，所述子相机图像和所述全局相机图像对应区域具有相同大小的分辨率；
[0009]将所述全局相机图像进行插值放大，得到放大后的全局相机图像；
[0010]将所述放大后的全局相机图像进行区域划分，获取与所述子相机图像相对应的多个局部区域，并得到每个所述局部区域的坐标范围；
[0011]将所述多幅子相机图像与所述放大后的全局相机图像对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对；
[0012]基于所述最终的匹配点对构成的单应性矩阵配准各幅所述子相机图像和对应的所述局部区域，得到配准后的子相机图像，之后还原所述配准后的子相机图像的坐标到所述放大后的全局相机图像的坐标系下，得到所有所述配准后的子相机图像组成的还原图像；
[0013]基于梯度拟合的融合算法对所述还原图像进行色彩校正，以将所述还原图像融合到所述放大后的全局相机图像中，得到最终的融合图像。
[0014]可选地，将所述全局相机图像进行插值放大，得到放大后的全局相机图像，包括：
[0015]基于全局相机图像放大系数k，利用双线性插值法或双三次插值法对所述全局相机图像进行插值放大，得到所述放大后的全局相机图像，其中，所述全局相机图像放大系数k为s
g
为所述全局相机图像的分辨率大小，s
l
为所述子相机图像在所述全局相机图像对应所在区域的分辨率大小。
[0016]可选地，将所述放大后的全局相机图像进行区域划分，获取多个划分区域，并得到每个所述划分区域的坐标范围，包括：
[0017]计算所述子相机图像的长度和宽度所占整个所述放大后的全局相机图像的长度比值R
h
和宽度比值R
w
；
[0018]基于所述长度比值R
h
、所述宽度比值R
w
和相邻两幅所述子相机图像之间的重叠率得到相邻两幅所述子相机图像的宽度方向重叠区域和长度方向重叠区域；
[0019]根据所述长度比值R
h
、所述宽度比值R
w
和相邻两幅所述子相机图像的宽度方向重叠区域和长度方向重叠区域，将所述放大后的全局相机图像划分为与所述子相机图像相对应的多个局部区域，并得到每个所述局部区域的坐标范围。
[0020]可选地，将所述多幅子相机图像与所述放大后的全局相机图像对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对，包括：
[0021]通过尺度不变特征变换SIFT算法提取每幅所述子相机图像和所述放大后的全局相机图像对应的多个局部区域的图像特征点；
[0022]利用K邻近匹配方法对所提取的所述子相机图像对应的图像特征点和所述局部区域的图像特征点进行初步的特征点匹配，得到初步的匹配点对；
[0023]采用网格运动统计算法对所述初步的匹配点对进行过滤，保留正确匹配点，滤除错误匹配点，以得到最终的匹配点对。
[0024]可选地，基于所述最终的匹配点对构成的单应性矩阵配准各幅所述子相机图像和对应的所述局部区域，得到配准后的子相机图像，之后还原所述配准后的子相机图像的坐标到所述放大后的全局相机图像的坐标系下，得到所有所述配准后的子相机图像组成的还原图像，包括：
[0025]基于随机抽样一致性算法，根据所述最终的匹配点对的坐标对应关系，计算所述子相机图像和对应的所述局部区域之间图的单应性矩阵；
[0026]根据所述单应性矩阵对所述子相机图像进行单应性变换，得到变换后的子相机图像，其中，所述变换后的子相机图像与对应的所述局部区域所在平面处于同一坐标系下；
[0027]利用插值技术将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像；
[0028]将全部所述配准后的子相机图像进行坐标还原，将所述配准后的子相机图像映射到与所述放大后的全局相机图像相同尺寸大小的画布中，使所述配准后的子相机图像的坐标还原到所述放大后的全局相机图像的坐标系下，以得到所有配准后的子相机图像组成的还原图像。
[0029]可选地，利用插值技术将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像，包括：
[0030]利用向后映射将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像。
[0031]可选地，基于梯度拟合的融合算法对所述还原图像进行色彩校正，以将所述还原图像融合到所述放大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复眼相机图像融合方法，其特征在于，所述复眼相机图像融合方法包括：获取全局相机图像和多幅子相机图像，所述子相机图像和所述全局相机图像对应区域具有相同大小的分辨率；将所述全局相机图像进行插值放大，得到放大后的全局相机图像；将所述放大后的全局相机图像进行区域划分，获取与所述子相机图像相对应的多个局部区域，并得到每个所述局部区域的坐标范围；将所述多幅子相机图像与所述放大后的全局相机图像对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对；基于所述最终的匹配点对构成的单应性矩阵配准各幅所述子相机图像和对应的所述局部区域，得到配准后的子相机图像，之后还原所述配准后的子相机图像的坐标到所述放大后的全局相机图像的坐标系下，得到所有所述配准后的子相机图像组成的还原图像；基于梯度拟合的融合算法对所述还原图像进行色彩校正，以将所述还原图像融合到所述放大后的全局相机图像中，得到最终的融合图像。2.根据权利要求1所述的复眼相机图像融合方法，其特征在于，将所述全局相机图像进行插值放大，得到放大后的全局相机图像，包括：基于全局相机图像放大系数k，利用双线性插值法或双三次插值法对所述全局相机图像进行插值放大，得到所述放大后的全局相机图像，其中，所述全局相机图像放大系数k为s
g
为所述全局相机图像的分辨率大小，s
l
为所述子相机图像在所述全局相机图像对应所在区域的分辨率大小。3.根据权利要求1所述的复眼相机图像融合方法，其特征在于，将所述放大后的全局相机图像进行区域划分，获取多个划分区域，并得到每个所述划分区域的坐标范围，包括：计算所述子相机图像的长度和宽度所占整个所述放大后的全局相机图像的长度比值R
h
和宽度比值R
w
；基于所述长度比值R
h
、所述宽度比值R
w
和相邻两幅所述子相机图像之间的重叠率得到相邻两幅所述子相机图像的宽度方向重叠区域和长度方向重叠区域；根据所述长度比值R
h
、所述宽度比值R
w
和相邻两幅所述子相机图像的宽度方向重叠区域和长度方向重叠区域，将所述放大后的全局相机图像划分为与所述子相机图像相对应的多个局部区域，并得到每个所述局部区域的坐标范围。4.根据权利要求1所述的复眼相机图像融合方法，其特征在于，将所述多幅子相机图像与所述放大后的全局相机图像对应的局部区域进行图像特征提取和匹配，得到最终的匹配点对，包括：通过尺度不变特征变换SIFT算法提取每幅所述子相机图像和所述放大后的全局相机图像对应的多个局部区域的图像特征点；利用K邻近匹配方法对所提取的所述子相机图像对应的图像特征点和所述局部区域的图像特征点进行初步的特征点匹配，得到初步的匹配点对；采用网格运动统计算法对所述初步的匹配点对进行过滤，保留正确匹配点，滤除错误匹配点，以得到最终的匹配点对。
5.根据权利要求1所述的复眼相机图像融合方法，其特征在于，基于所述最终的匹配点对构成的单应性矩阵配准各幅所述子相机图像和对应的所述局部区域，得到配准后的子相机图像，之后还原所述配准后的子相机图像的坐标到所述放大后的全局相机图像的坐标系下，得到所有所述配准后的子相机图像组成的还原图像，包括：基于随机抽样一致性算法，根据所述最终的匹配点对的坐标对应关系，计算所述子相机图像和对应的所述局部区域之间图的单应性矩阵；根据所述单应性矩阵对所述子相机图像进行单应性变换，得到变换后的子相机图像，其中，所述变换后的子相机图像与对应的所述局部区域所在平面处于同一坐标系下；利用插值技术将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像；将全部所述配准后的子相机图像进行坐标还原，将所述配准后的子相机图像映射到与所述放大后的全局相机图像相同尺寸大小的画布中，使所述配准后的子相机图像的坐标还原到所述放大后的全局相机图像的坐标系下，以得到所有配准后的子相机图像组成的还原图像。6.根据权利要求5所述的复眼相机图像融合方法，其特征在于，利用插值技术将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像，包括：利用向后映射将所述变换后的子相机图像中的非整数坐标变换为整数坐标，以得到配准后的子相机图像。7.根据权利要求1所述的复眼相机图像融合方法，其特征在于，基于梯度拟合的融合算法对所述还原图像进行色彩校正，以将所述还原图像融合到所述放大后的全局相机图像中，得到最终的融合图像，包括：根据所述放大后的全局相机图像中预处理区域的四个角的像素和所述还原图像中对应所述预处理区域的四个角的像素、所述还原图像中对应的待融合像素位置处的像素，对所述放大后的全局相机图像中处于所述预处理区域的第一行、最后一行、第一列和最后一列中除位于四个角的待融合像素进行融合，得到融合后的第一像素，其中，每个所述预处理区域在行方向和列方向上的两个角的像素之间的宽度为n、间隔为n
‑
2，每个所述预处理区域按照在所述放大后的全局相机图像先从左到右、再从上到下的顺序进行移动得到，每次移动n
‑
1个像素；根据所述融合后的第一像素、所述还原图像中对应所述融合后的第一像素位置处的像素对所述放大后的全局相机图像中所述预处理区域的内部像素进行融合，以获取融合后的第二像素，从而得到最终的融合图像。8.根...

【专利技术属性】
技术研发人员：赵小明，董磊，曹道鼎，李彦锋，程坤，高苗，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：