一种实时红外双目图像拼接方法及系统技术方案

本发明专利技术公开了一种实时红外双目图像拼接方法及系统，该方法包括如下步骤：步骤A：预拼接；步骤B：计算当前帧拼接信息；步骤C：计算重叠区域内外单应矩阵；步骤D：融合得到拼接结果图像。本发明专利技术是全局单应矩阵与分块单应矩阵的一种融合，发挥了全局单应矩阵的快速、稳定，同时也发挥分块单应矩阵保证重叠区内目标对齐，历史特征点的使用也补足红外图像某些场景下特征点不足的缺点；本发明专利技术极大程度上提升了时红外双目图像拼接的准确性、实时性及帧间稳定性。性。性。

【技术实现步骤摘要】
一种实时红外双目图像拼接方法及系统


[0001]本专利技术涉及红外图像处理
，尤其涉及一种实时红外双目图像拼接方法及系统。

技术介绍

[0002]图像拼接技术是基于获取图像场景的大小和成像器件的分辨率两者之间的矛盾上产生的。当人们需要获取最大视野的图像时，就必须要调节成像器件的镜头焦距。由于成像器件的分辨率是一定的，获得的视野越大分辨率越低，反之，分辨率越高则获得的视野也越小。在人们既要求高分辨率又要求大视野的场景图像的需求下，图像拼接技术产生了。随着图像拼接相关理论的不断完善和计算机应用的不断发展，图像拼接技术日益成为图像处理的热点之一。
[0003]红外图像拼接技术就是保证分辨率不变，将两幅或者多幅小视野的场景图像拼接成一幅宽视野的无缝目标图像的过程。拼接的过程不仅减少了图像间存在的冗余，而且宽视野的场景图像可以让观察者在稳定的图像分辨率下观察到更丰富的场景信息。红外拼接技术可以应用于红外预警、周视扫描、目标识别和探视中。
[0004]现有的红外双目拼接技术主要包含以下技术模块：特征提取、匹配、提纯、单应矩阵求取、融合。
[0005]针对特征提取、匹配、提纯模块，按特征类型分类，可分为基于点特征、线特征两类。其中：基于点特征：包含特征点定位、特征表示、特征点对匹配、提纯。其中，orb+大小关系特征表示+暴力匹配+ransac/边佳旺版gms提纯是常用的、计算效率高、耗时小的方法；surf点+梯度特征表示+近邻距离匹配+ransac提纯是特征点性能较好、配准效果较稳定、但耗时较多的方法；基于线特征：LCD/LSD直线段检测、边缘提取方法(canny等)是线段提取的常用方法。
[0006]单应矩阵求取：针对点特征提纯后的点对坐标，单应矩阵按数学计算方法分为：最小二乘法、网格邻域DLT等方法。其中DLT比最小二乘法更抗噪声影响。单应矩阵按是否全局可划分为全局单应矩阵、分块单应矩阵。其中，全局单应矩阵是使用所有的点对求得一个H；分块单应矩阵求取是在图像分块基础上、计算各块的H，各块的H在全图上渐变；针对线特征提取所得，常使用傅里叶梅林变换匹配：在频域+对数极数坐标系下获得两幅图像线段之间的变换关系。相比点特征直接求得H各元素，傅里叶梅林变换是获得旋转、比例、平移信息，继而构成H。同时也表明点特征所得H可以包含除旋转、比例、平移外更多的信息。
[0007]融合：按融合方式分为直接融合、渐入渐出融合、分割线融合等，重影抑制能力、耗时依次递增。
[0008]实时红外双目拼接技术难点在于拼接准确性、实时性及帧间稳定性的兼顾。点特征提取及匹配算法中，orb速度快，但位于角点、边缘上的点数少；surf特征点速度慢，但位于角点、边缘上的点多。另外，在场景目标不丰富的红外图像上，特征点数量稀少，容易造成错误匹配。线特征提取及匹配算中，LSD区域生长方法耗时，不利于硬件实现；边缘提取方法
容易忽略弱边缘信息、容易受噪声干扰；受参与计算边缘特征影响，傅里叶梅林变换所得结果鲁棒性不足、且所得结果是全局单应矩阵不利于图像各区域对齐。同时，多次傅里叶变换、复数计算对内存开销较大；全局单应矩阵遵循整体匹配误差最小，故存在较大的局部匹配误差；而分块单应矩阵可适应图像不同景深处的不同变换关系，容易满足各处的匹配对齐，但计算耗时。单帧所得配准结果，如何在连续多帧的配准结果呈现视觉稳定是实时拼接处理中的难点。受场景内容变化影响：景深、特征点对位置、单应矩阵都有变化，配准结果在帧间出现抖动。有学者提出先拼接再防抖，或先防抖再拼接、或利用视频上下文边拼接边防抖，无疑都增加了拼接复杂度，降低实时性。

技术实现思路

[0009]本专利技术的第一个目的在于提供一种实时红外双目图像拼接方法，以解决现有红外双目图像拼接方法拼接准确性较低，实时性及帧间稳定性较差的技术问题。
[0010]本专利技术的第一个目的是采用以下技术方案实现的：一种实时红外双目图像拼接方法，包括如下步骤：
[0011]步骤A：预拼接，获取连续N帧图像数据的拼接信息，所述N帧图像记为其中，分别为左右相机所得第i帧图像数据；
[0012]步骤B：计算当前帧拼接信息，获取当前帧特征点的坐标框信息rect
convas
以及外界矩形框
[0013]步骤C：计算重叠区域内外单应矩阵{H
ij
},i＝1,...,C1,j＝1,...,C2，其中，C1、C2是纵向、横向分块数目；
[0014]步骤D：融合得到拼接结果图像。
[0015]进一步的，所述步骤A包括如下子步骤：
[0016]步骤A1：对每帧图像进行特征点提取、匹配并提纯；
[0017]步骤A2：对N帧图像的特征点进行提纯；
[0018]步骤A3：通过步骤A2所得的特征点计算全局单应矩阵Hg
last
、历史重叠区域、历史特征点对Kpt
last
。
[0019]进一步的，所述步骤A1中对每帧图像进行特征点提取的方法包括orb，匹配方法包括暴力匹配，提纯方法包括ransac方法。
[0020]进一步的，所述步骤A2包括如下子步骤：
[0021]步骤A21：融合N帧提纯后特征点对信息；
[0022]步骤A22：对步骤A21所得特征点对进行提纯。
[0023]进一步的，所述步骤A3包括如下子步骤：
[0024]步骤A31：由步骤A2所得特征点对Kpt2，计算全局单应矩阵Hg
last
；
[0025]步骤A32：由步骤A31所得全局单应矩阵Hg
last
得到重叠区域在左图的坐标框信息
[0026]步骤A33：由步骤A31所得Hg
last
和步骤A32所得重叠区域在左图的坐标框生成历史特征点对Kpt
last
。
[0027]进一步的，所述步骤B包括如下子步骤：
[0028]步骤B1：获取当前帧特征点对Kpt
cur
；
[0029]步骤B2：由当前帧特征点对Kpt
cur
计算当前全局单应矩阵Hg
cur
；
[0030]步骤B3：获取重叠区域拼接结果图的坐标框信息rect
convas
；
[0031]步骤B4：获取当前特征点对Kpt
cur
在左图的外界矩形框
[0032]进一步的，所述步骤C包括如下子步骤：
[0033]步骤C1：筛选历史特征点对，得到历史坐标框内、当前坐标框外特征点对
[0034]步骤C2：由步骤C1所得和当前帧特征点对Kpt
cur
融合，得到融合特征点对
[0035]步骤C3：由步骤C2所得按照重叠区域内外，计算各块的单应矩阵{H
ij
},i＝1,...,C1,j＝1,...,C2。
[0036]进一步的，所述步骤D包括如下子步骤：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时红外双目图像拼接方法，其特征在于，包括如下步骤：步骤A：预拼接，获取连续N帧图像数据的拼接信息，所述N帧图像记为其中，分别为左右相机所得第i帧图像数据；步骤B：计算当前帧拼接信息，获取当前帧特征点的坐标框信息rect
convas
以及外界矩形框步骤C：计算重叠区域内外单应矩阵{H
ij
},i＝1,...,C1,j＝1,...,C2，其中，C1、C2是纵向、横向分块数目；步骤D：融合得到拼接结果图像。2.如权利要求1所述的一种实时红外双目图像拼接方法，其特征在于，所述步骤A包括如下子步骤：步骤A1：对每帧图像进行特征点提取、匹配并提纯；步骤A2：对N帧图像的特征点进行提纯；步骤A3：通过步骤A2所得的特征点计算全局单应矩阵Hg
last
、历史重叠区域、历史特征点对Kpt
last
。3.如权利要求2所述的一种实时红外双目图像拼接方法，其特征在于，所述步骤A1中对每帧图像进行特征点提取的方法包括orb，匹配方法包括暴力匹配，提纯方法包括ransac方法。4.如权利要求2所述的一种实时红外双目图像拼接方法，其特征在于，所述步骤A2包括如下子步骤：步骤A21：融合N帧提纯后特征点对信息；步骤A22：对步骤A21所得特征点对进行提纯。5.如权利要求2所述的一种实时红外双目图像拼接方法，其特征在于，所述步骤A3包括如下子步骤：步骤A31：由步骤A2所得特征点对Kpt2，计算全局单应矩阵Hg
last
；步骤A32：由步骤A31所得全局单应矩阵Hg
last
得到重叠区域在左图的坐标框信息步骤A33：由步骤A31所得Hg
last
和步骤A32所得重叠区域在左图的坐标框生成历史特征点对Kpt
last
。6.如权利要求1所述的一种实时红外双目图像拼接方法，其特征在于，所述步骤B包括如下子...

【专利技术属性】
技术研发人员：路璐，赵勋，朱裕莎，姜立涛，黄安明，曾衡东，
申请(专利权)人：成都市晶林科技有限公司，
类型：发明
国别省市：