一种用于红外多光谱成像的亚像元图像拼接方法及系统技术方案

本发明专利技术的一种用于红外多光谱成像的亚像元图像拼接方法及系统，包括如下步骤：

【技术实现步骤摘要】
一种用于红外多光谱成像的亚像元图像拼接方法及系统


[0001]本专利技术属于非制冷红外相机多光谱成像
，具体涉及一种用于红外多光谱成像的亚像元图像拼接方法及系统
。

技术介绍

[0002]制冷型红外探测器经过多年的发展，具有较高的精度和稳定性，但其研制工艺复杂，以至于造价高
、
面阵小的问题难以得到有效解决，且由于探测器材料特点的限制，探测器需工作在制冷环境下
。
以氧化矾
(VOx)
为代表的非制冷探测器在近几年得到较快发展，非制冷探测器工作环境无需制冷，体积小
、
功耗低
、
质量轻
、
便携性好，并且研制工艺与传统
CMOS
工艺相似，容易实现大面阵，随着工艺的完善和热敏材料的性能提升，非制冷红外探测器的原始灵敏度也向
50mK
量级发展，逐渐接近制冷型红外探测器的灵敏度水平
。
因此，亟需研究非制冷红外探测器成像技术，扩大红外探测技术的实用场景
。
[0003]在实际监测应用中，由于普通的相机镜头光学视场有限，凝视成像方式下的单个红外相机难以实现大视场监测
。
鱼眼镜头能满足大视场的需要，但畸变严重，空间分辨率降低
。
因此，系统凝视成像的成像质量受到探测器规模的限制，空间分辨率和视场大小难以同时兼顾
。
扫描成像的方式可以打破光学镜头和像元规模的限制，配合运动部件，通过多帧拼接成像的方式完成大视场内不同位置的监测
。
[0004]理想状态下，在扫描成像的过程中，云台的旋转速度应根据相机单个像元的瞬时视场选择适当的扫描速率，从而确定合适的速高比，以免发生扫描行漏失或重叠过度
。
最基础的方法是将速高比固定在某一整数，即可依据帧间像素位移直接进行图像拼接
。
但是，在实际扫描成像过程中，云台旋转速度不能完全稳定，速高比不是固定值，因此每次拼接的帧间像素位移不能精准确定
。
再则，速高比的不稳定会带来非整数的帧间像素位移，像元级的图像拼接不能很好的满足系统成像精度需求
。
[0005]应用图像特征匹配进行亚像元图像拼接可以很好的解决非整数帧间像素位移的问题
。
现有技术中，图像亚像元级的特征匹配算法有基于
ORB、SIFT
和
SURF
角点提取算法，这三种方法不同于传统的
Harris、SUSAN
等角点检测方法，在有很好的特征不变性的基础上还包含特征描述子，进一步提升角点的可靠性
。
其中，
ORB
算法的特征提取速度最快，但是特征数量不多，不适合用于特征少的红外图像中，容易出现匹配不到角点的情况，场景适配度低
。SIFT
算法是一种尺度不变特征变换算法，能够适应图像的远近程度和模糊程度，对噪声不敏感，检测得到的角点数量多，且基于浮点内核计算角点，该算法检测的特征在空间和尺度上更加精确，但是
SIFT
因为其巨大的特征计算量而不适合用在实时拼接成像的场景
。SURF
算法是对
SIFT
算法的改进，解决了
SIFT
计算复杂度高
、
耗时长的缺点，提升了算法的执行效率，且检测到的角点往往更多，更有利于在非制冷红外相机灵敏度低
、
图像噪声高的情况下得到更多可靠的角点，在红外多光谱实时成像系统中得到应用，实现亚像元级别的图像拼接
。
[0006]但是，非制冷红外相机灵敏度较低，导致图像噪声较大
、
有效动态范围远低于数据
大小
、
对比度低，
SURF
法难以直接检测到角点；
SURF
特征检测通用的匹配方法有最小欧式距离粗匹配方法和
RANSAC
匹配优化，适用范围广但是精度不高
、
运算量大，难以实际应用；图像拼接技术中，像元级的直接拼接精度不够，会有明显的拼接接缝，而各种图像融合算法能很好的避免拼接痕迹，但会带来大量的冗余计算，且在面阵多光谱成像系统中会引入光学串扰列，对最终成像结果产生光谱混叠
、
甚至空间分辨率降低的影响，从成像效果和时效上均难以做到连续拼接，再则，图像拼接在确定拼接列数时需要应用亚像素级别准确度的像素位移值，传统方法用相邻两帧间的像素位移关系进行图像裁切，虽然拼接接缝仍然能用插值图像重构法在一定程度上去除，但多次连续拼接下，拼接列数误差一直累计增大，会导致成像的总列数不稳定，在拼接方向上产生畸变，并且这种畸变是算法缺陷引起的，随机且不可控，难以准确还原景物
。
[0007]因此，如何在非制冷红外相机成像对比度低
、
特征少
、
含有噪声的情况下，准确
、
稳定
、
快速的在推扫成像系统中进行亚像元级的精确图像匹配，且提供一种用于红外多光谱成像的亚像元图像拼接方法是本领域技术人员亟待解决的技术问题
。

技术实现思路

[0008]本专利技术的第一个目的在于，针对现有技术中的问题，提供一种用于红外多光谱成像的亚像元图像拼接方法
。
[0009]为此，本专利技术的上述目的通过以下技术方案实现：
[0010]一种用于红外多光谱成像的亚像元图像拼接方法，包括如下步骤：
[0011]S1
，数据预分割，将单帧四波段图像做光谱分割，剔除光学串扰严重的列像元；
[0012]S2
，图像预处理，将图像灰度范围做线性映射和直方图均衡化，增强全通波段图像的细节特征信息；
[0013]S3
，角点匹配，对上述图像实施
SURF
角点检测，并将相邻两帧图像的角点进行匹配，得到角点匹配对坐标结果；
[0014]S4
，像素位移获取获取，根据上述角点匹配结果，得到帧间像素位移，选择残余误差在3σ
内的位移值为最终数据集，用最终数据集
x
方向的像素位移平均值作为真实帧间像素位移偏移量；
[0015]S5
，图像拼接，根据上述角点统计结果得到的帧间像素位移偏移量，将像素位移做累加得到当前帧与第一帧的总位移，作为四波段红外图像共同的亚像元精度的位移，进行采用线性加权插值亚像元拼接的方法图像重构，将四波段的多帧图像做亚像元拼接，得到四波段大幅宽的高空间分辨率红外图像
。
[0016]在采用上述技术方案的同时，本专利技术还可以采用或者组合采用如下技术方案：
[0017]作为本专利技术的优选技术方案：步骤
S2
中，所述图像预处理包含对图像做对比度线性拉伸和直方图均衡化，增加图像细节信息；
[0018]图像对比度线性拉伸包括应用线性映射公式，将灰度值范本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于红外多光谱成像的亚像元图像拼接方法，包括如下步骤：
S1
，数据预分割，将单帧四波段图像做光谱分割，剔除光学串扰严重的列像元；
S2
，图像预处理，将图像灰度范围做线性映射和直方图均衡化，增强全通波段图像的细节特征信息；
S3
，角点匹配，对步骤
S2
预处理后的图像实施
SURF
角点检测，并将相邻两帧图像的角点进行匹配，得到角点匹配对坐标结果；
S4
，像素位移获取，根据上述角点匹配结果，得到帧间像素位移，选择残余误差在3σ
内的位移值为最终数据集，用最终数据集
x
方向的像素位移平均值作为真实帧间像素位移偏移量；
S5
，图像拼接，根据步骤
S4
获得的真实帧间像素位移偏移量，将像素位移做累加得到当前帧与第一帧的总位移，作为四波段红外图像共同的亚像元精度的位移，进行线性加权插值亚像元图像重构，将四波段的多帧图像做亚像元拼接，得到四波段大幅宽的高空间分辨率红外图像
。2.
如权利要求书1所述的一种用于红外多光谱成像的亚像元图像拼接方法，其特征在于：步骤
S2
中，所述图像预处理包含对图像做对比度线性拉伸和直方图均衡化，增加图像细节信息；图像对比度线性拉伸包括应用线性映射公式，将灰度值范围映射到0～
255
，线性映射公式为：其中，
I(x,y)
表示图像坐标为
(x,y)
处像素的原始
DN
值，
I'(x,y)
表示该像素经归一化映射后的灰度值，
max(I)
表示当前帧图像
I
中的最大
DN
值，
min(I)
表示当前帧图像
I
中的最小
DN
值；然后通过直方图均衡化增强图像对比度
。3.
如权利要求书1所述的一种用于红外多光谱成像的亚像元图像拼接方法，其特征在于：步骤
S3
中，所述角点匹配包含图像积分
、
角点检测
、
角点描述
、
角点匹配四个步骤，匹配相邻帧的角点；图像积分包括将输入图像转化为以图像原点
I(0,0)
与像素点
I(x,y)
为顶点的矩形区域内所有像素点之和，给定输入图像
I
在点
(x,y)
的积分图像为：其中，
I
∑
(x,y)
表示以图像原点
I(0,0)
与像素点
I(x,y)
为顶点的矩形区域内的所有像素灰度值之和，
x
和
y
分别表示当前像素点的横坐标和纵坐标，
i
，
j
分别表示计算积分图像时，积分区域内像素点的横坐标和纵坐标，
I(x,y)
表示原始图像坐标为
(x,y)
像素处的灰度值；角点检测包括选取不同的箱式滤波器建立图像的尺度空间，使用
Hessian
矩阵检测每一层图像上的极值点，对该点与邻近的3×3×3立体邻域内进行非极大值抑制，大于邻近
26
个响应值的极值点称为
SURF
角点；
角点描述包括以角点为中心，选取
20s
×
20s
的正方形区域，将该窗口区域划分为4×4个子区域，每个子区域中有5×5个像元，在每个子区域内计算
Harr
小波在
y
方向的响应
d
x
、d
y
，每个子区域在
x、y
方向的响应分别求和并生成了一个
V
子块
＝
[∑dx,∑|dx|,∑dy,∑|dy|]
的四维向量，每个角点就有
64
维的特征向量；最后对特征向量执行归一化，使得图像对光照强度不敏感，同时特征向量按照不同的尺度用邻近的像素表示，使得图像对于小视角变换具有鲁棒性，形成最终的角点特征描述子；角点匹配，采用基于最小欧氏距离来度量角点间的相似性为其中，
A
ik
表示待匹配的第一幅图像的第
i
个角点描述向量的第
k
维的值，
B
ik
表示待匹配的第二幅图像的第
i
个角点描述向量的第
k
维的值，
n
表示角点描述子是一个
n
维的描述向量，
D
表示角点间的相似性，
D
越小表示角点相似性越大；最终，每相邻两帧图像之间得到多个特征匹配对
。4.
如权利要求书1所述的一种用于红外多光谱成像的亚像元图像拼接方法，其特征在于：所述像素位移获取，包含像素位移集获取，干扰匹配对剔除两个步骤，利用步骤
S3
获得的帧间角点匹配对，基于匹配对距离统计学分布特性，进一步剔除错误匹配对，得到帧间像素位移，像素位移集获取，角点坐标
(x,y)
作差得：
(
Δ
x
i,j
,
Δ
y
i,j
)
＝
(x
i+1,j
,y
i+1,j
)
‑
(x
i,j
,y
i,j
)
其中，
(<...

【专利技术属性】
技术研发人员：李春来，吴雯丽，唐国良，张桐绪，丁方，茹逸凡，王建宇，
申请(专利权)人：国科大杭州高等研究院，
类型：发明
国别省市：