一种用于机载光电载荷的实时图像拼接方法及装置制造方法及图纸

本发明专利技术涉及一种用于机载光电载荷的实时图像拼接方法及装置，该方法根据载体姿态与加速度信息建立相机成像模型，检索互相关响应峰，解算待拼接图像在世界坐标系下相对位姿关系，将图像重投影至一致二维平面，融合形成大视场图像，为战场侦察监视任务提供精确、实时的视觉情报；由于无需对图像进行特征检测、特征描述等高复杂度计算，该方法匹配精度高、伪影弱、图像非刚性形变小，能够提供高分辨率、高质量视觉情报，并具备载荷上实时运行能力，具备良好的实时性，符合侦察任务对情报时效性的严格需求，为及时获悉战场态势、快速制定合理决策提供了可靠的情报保障。决策提供了可靠的情报保障。决策提供了可靠的情报保障。

【技术实现步骤摘要】
一种用于机载光电载荷的实时图像拼接方法及装置


[0001]本专利技术涉及一种实时图像拼接方法及装置，尤其涉及一种用于机载光电载荷的实时图像拼接方法及装置，属于数字图像处理领域。

技术介绍

[0002]智能化战争是未来战场的必然演变形态，随着世界局势进入新阶段，智能武器装备系统成为新域新质作战力量的关键成长点。当前，美国、以色列等国家投入巨大成本，建设情报、侦察和监视一体化能力，目标是占据情报收集优势地位，获取战场信息制胜权。其中，通过机载光电载荷获取大空间范围、细节丰富精准、及时可靠的高分辨率、高质量地面视觉情报是情侦监一体化能力建设重点之一。受限于光学成像物理原理，常规光学镜头视场角通常≤60
°
，成像覆盖面积较小，然而特制大视场镜头(广角镜头、鱼眼镜头等)又普遍存在严重的畸变像差，成像质量较低，不能形成高分辨率、高质量视觉情报。
[0003]为了克服光学孔径视场角的客观限制，同时规避畸变像差，目前机载光电侦察领域主要采用飞行扫描与图像拼接技术结合，扩展视觉领域，生成广域图像。图像拼接技术将具有一定空间关联的数字影像，自然无缝地拼合成一幅超越原始视场的巨幅影像，有效地扩大了单次侦察区域范围。值得注意的是，当每帧图像拼接速率高于典型视频帧率时，图像拼接能够实时完成，这一特性有助于及时向侦察人员反馈战场态势。考虑到情报具有时效性，图像拼接方法的高速实时运算特性至关重要。
[0004]现有的图像拼接方法大多依托于对图像内容自身的解析，其技术流程可概括为：通过对数字图像表征语义判读，利用特征检测、描述、匹配等技术手段，提取待拼接图像的空间重叠区域，基于多视几何原理重构图像位姿关系，拼接融合形成大视场图像。基于内容解析的图像拼接方法发展成熟、普适性好，适用于工业、种植业、医学诊疗、日常生活等绝大多数应用场景，如Zaragoza等提出的APAP算法通过特征检测描述和网格变换提高重叠区域配准精度，Zhang等提出的基于seam
‑
cutting的拼接算法致力于检索一条尽可能完整保留图像内容的最优缝合线，等等。上述类型图像拼接方法在严重视差条件下能够抑制拼接过程中的图像非刚性形变，但无人机飞行高度(＞500m)下相邻帧图像视差可忽略不计，且基于内容解析的算法时间复杂度较高，在机载光电载荷嵌入式平台的每帧处理时长通常高于40ms，不满足侦察的实时性要求。

技术实现思路
：
[0005]本专利技术的目的在于克服现有技术的上述缺陷，提供一种用于机载光电载荷的实时图像拼接方法及装置，该方法及装置匹配精度高、伪影弱、图像非刚性形变小，能够提供高分辨率、高质量视觉情报，并具备载荷上实时运行能力，为即时决策提供有效依据，并满足信息获取的实时性要求。
[0006]本专利技术的上述目的主要是通过如下技术方案予以实现的：
[0007]一种用于机载光电载荷的实时图像拼接方法，包括如下步骤：
[0008]S1、从待拼接图像时间序列中，获取第一帧图像F0以及同一时刻INS传感的载体姿态信息获取激光测距数据L0，根据报文头信息进行时序同步对齐；
[0009]S2、在世界坐标系中建立以F0为基准的二维平面S；
[0010]S3、获取下一帧图像F
t
以及同一时刻INS传感的载体姿态信息获取激光测距数据L
t
，根据报文头信息进行时序同步对齐，其中t≥1；
[0011]S4、获取图像F
t
与前一帧图像F
t
‑1之间过程INS传感的载体加速度信息A
t
‑
1,t
；
[0012]S5、根据以二维平面S为参考对图像F
t
进行空间对准，得到变换后图像F
t
'；
[0013]S6、根据A
t
‑
1,t
中矢量信息，提取由前一帧图像F
t
‑1至图像F
t
过程中地面区域在载体坐标系中的位移方向，并在变换后图像F
t
'对应方向的边界区域提取感兴趣区域O
t
，所述区域O
t
为图像F
t
'与F
t
‑1重叠区域；
[0014]S7、由区域O
t
生成滑动窗W
t
‑
1,t
，计算滑动窗W
t
‑
1,t
与前一帧图像F
t
‑1互相关响应谱K
t
‑
1,t
；
[0015]S8、根据响应谱K
t
‑
1,t
峰值，获取变换后图像F
t
'相对前一帧图像F
t
‑1在垂直光轴方向的定位，将变换后图像F
t
'重投影至S平面，得到图像F
t+
；
[0016]S9、通过图像融合方法将图像F
t+
自然融合入此前已完成的拼接图像得到拼接图像
[0017]S10、重复步骤S3～步骤S9，完成所有图像帧的实时图像拼接。
[0018]在上述用于机载光电载荷的实时图像拼接方法中，还包括对步骤S1、S3中获取的帧图像进行图像预处理，图像预处理包括去噪、伽马校正、畸变校正；
[0019]所述步骤S1、S3中获取激光测距数据为激光测距仪采集的同一时刻载荷与图像中心地物距离，即成像距离。
[0020]在上述用于机载光电载荷的实时图像拼接方法中，所述步骤S2中参考系为惯性坐标系，也作为成像的世界坐标系。
[0021]在上述用于机载光电载荷的实时图像拼接方法中，所述步骤S5中根据以二维平面S为参考对图像F
t
进行空间对准，得到变换后图像F
t
'，包括：
[0022]在相机理想小孔成像模型中，F
t
中任一点在世界坐标系中坐标图像坐标系中坐标(u
t
,v
t
)、相机坐标系中坐标之间的变换关系为：
[0023][0024]其中，M
uv,c
为标定相机得到的相机内参矩阵，M
c,w
为相机外参矩阵，形式为：
[0025][0026]其中，T为三维世界中实际位移量；R为三维世界中实际旋转量；
[0027]以二维平面S为基准，综合式(1)、(2)，得出同一地物点在图像F
t
中坐标(u
t
,v
t
)和在图像F
t
'中坐标(u
t
′
,v
t
′
)对应关系，如式(3)所示：
[0028][0029]式(3)中，为F
t
相对基准的旋转，由所述载体姿态信息中横滚角r
t
、俯仰角p
t
、航向角y
t
...

【技术保护点】

【技术特征摘要】
1.一种用于机载光电载荷的实时图像拼接方法，其特征在于，包括如下步骤：S1、从待拼接图像时间序列中，获取第一帧图像F0以及同一时刻INS传感的载体姿态信息获取激光测距数据L0，根据报文头信息进行时序同步对齐；S2、在世界坐标系中建立以F0为基准的二维平面S；S3、获取下一帧图像F
t
以及同一时刻INS传感的载体姿态信息获取激光测距数据L
t
，根据报文头信息进行时序同步对齐，其中t≥1；S4、获取图像F
t
与前一帧图像F
t
‑1之间过程INS传感的载体加速度信息A
t
‑
1,t
；S5、根据以二维平面S为参考对图像F
t
进行空间对准，得到变换后图像F
t
'；S6、根据A
t
‑
1,t
中矢量信息，提取由前一帧图像F
t
‑1至图像F
t
过程中地面区域在载体坐标系中的位移方向，并在变换后图像F
t
'对应方向的边界区域提取感兴趣区域O
t
，所述区域O
t
为图像F
t
'与F
t
‑1重叠区域；S7、由区域O
t
生成滑动窗W
t
‑
1,t
，计算滑动窗W
t
‑
1,t
与前一帧图像F
t
‑1互相关响应谱K
t
‑
1,t
；S8、根据响应谱K
t
‑
1,t
峰值，获取变换后图像F
t
'相对前一帧图像F
t
‑1在垂直光轴方向的定位，将变换后图像F
t
'重投影至S平面，得到图像F
t+
；S9、通过图像融合方法将图像F
t+
自然融合入此前已完成的拼接图像得到拼接图像S10、重复步骤S3～步骤S9，完成所有图像帧的实时图像拼接。2.根据权利要求1所述的用于机载光电载荷的实时图像拼接方法，其特征在于，还包括对步骤S1、S3中获取的帧图像进行图像预处理，图像预处理包括去噪、伽马校正、畸变校正；所述步骤S1、S3中获取激光测距数据为激光测距仪采集的同一时刻载荷与图像中心地物距离，即成像距离。3.根据权利要求1所述的用于机载光电载荷的实时图像拼接方法，其特征在于，所述步骤S2中参考系为惯性坐标系，也作为成像的世界坐标系。4.根据权利要求1所述的用于机载光电载荷的实时图像拼接方法，其特征在于，所述步骤S5中根据以二维平面S为参考对图像F
t
进行空间对准，得到变换后图像F
t
'，包括：在相机理想小孔成像模型中，F
t
中任一点在世界坐标系中坐标图像坐标系中坐标(u
t
,v
t
)、相机坐标系中坐标之间的变换关系为：其中，M
uv,c
为标定相机得到的相机内参矩阵，M
c,w
为相机外参矩阵，形式为：
其中，T为三维世界中实际位移量；R为三维世界中实际旋转量；以二维平面S为基准，综合式(1)、(2)，得出同一地物点在图像F
t
中坐标(u
t
,v
t
)和在图像F
t
'中坐标(u
t
′
,v
t
′
)对应关系，如式(3)所示：式(3)中，为F
t
相对基准的旋转，由所述载体姿态信息中横滚角r
t
、俯仰角p
t
、航向角y
t
解算得到的旋转矩阵合成，如式(4)所示：式(3)中T
t
为F
t
相对基准在平行光轴方向的位移，由激光测距信息计算，如式(5)所示：综上，同名点从F
t
变换至...

【专利技术属性】
技术研发人员：杨晓冉，陈昕，杨昊，连思铭，刘毅，
申请(专利权)人：北京航天控制仪器研究所，
类型：发明
国别省市：