基于时空域深度信息补全的红外与可见光图像配准方法技术

本发明专利技术属于深度信息补全、相机标定以及图像配准领域，具体涉及一种基于时空域深度信息补全的红外与可见光图像配准方法、系统、设备，旨在解决解决在利用相机标定进行红外与可见光图像配准时容易产生黑色伪影以及单帧配准速度慢、鲁棒性差的问题。本方法包括：获取深度图像序列，计算残差能量值及残差置信度；利用阈值分割法将参考帧深度图像中的空洞与其他像素分开，生成空洞掩膜；结合空洞掩膜，通过预设的空洞填充方法对参考帧深度图像进行深度信息补全；分别获取红外相机、可见光相机的内参和外参，对红外图像和可见光图像进行配准对齐。本发明专利技术利用补全后的深度信息准确去除黑色伪影，实现红外图像与可见光图像多帧快速配准。准。准。

【技术实现步骤摘要】
基于时空域深度信息补全的红外与可见光图像配准方法


[0001]本专利技术属于深度信息补全、相机标定以及图像配准领域，具体涉及一种基于时空域深度信息补全的红外与可见光图像配准方法、系统、设备。

技术介绍

[0002]图像配准技术在军事侦查、视频监控、多模态融合、遥感信息融合等领域都有重要应用，主要是为多源图像融合提供精确的对齐图像。图像融合技术可以突出目标信息，增强对场景的理解，从而提高多传感器融合系统感知目标的能力。但是如果在融合之前没有对异源图像进行精确配准，则可能会造成融合的结果出现偏差，达不到预设的效果，使得多传感器融合系统感知目标的能力下降。
[0003]对于红外图像和可见光图像来说，红外图像中关于强度的信息在可见光图像中经常丢失，导致这两种图像配准难度较大。针对双目深度传感相机，可以利用相机的内外参数以及深度信息寻找红外摄像头与可见光摄像头之间的坐标变换关系，从而将红外图像与可见光图像配准对齐。然而，利用相机的内外参数和深度信息配准后的可见光图像在深度信息缺失的地方会产生黑色伪影，这就导致融合后的图像会有黑色空洞产生。基于此，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空域深度信息补全的红外与可见光图像配准方法，应用于双目深度相机，所述双目深度相机包括红外相机、可见光相机；其特征在于，该方法包括以下步骤：S100，获取深度图像序列，并将所述深度图像序列中的深度图像以N帧为一组；对每组中的深度图像进行运动估计和运动补偿，得到参考帧深度图像与当前帧深度图像之间的残差；基于所述残差，计算残差能量值及残差置信度；其中，N为正整数，所述参考帧图像为每组中任一帧深度图像；S200，利用阈值分割法将参考帧深度图像中的空洞与其他像素分开，生成空洞掩膜，并获取空洞的位置信息；S300，结合所述空洞掩膜，通过预设的空洞填充方法对参考帧深度图像进行深度信息补全；深度信息补全后，将每组中除参考帧深度图像外的各帧深度图像对应的残差能量值及残差置信度进行相乘，并判定相乘的结果是否位于设定的阈值区间，若是，则当前帧深度图像直接复用参考帧深度图像的深度信息进行深度信息补全；否则利用阈值分割法、预设的空洞填充方法对当前帧深度图像进行深度信息补全；S400，对红外相机、可见光相机进行标定，分别获取红外相机、可见光相机的内参和外参，并结合各帧深度图像补全的深度信息，计算可见光相机的图像坐标系与红外相机的图像坐标系之间的变换关系；根据所述变换关系，对红外图像和可见光图像进行配准对齐。2.根据权利要求1所述的基于时空域深度信息补全的红外与可见光图像配准方法，其特征在于，所述残差能量值，其获取方法为：对每组中的深度图像进行运动估计，得到参考帧深度图像与当前帧深度图像之间的运动矢量；通过所述运动矢量进行运动补偿，得到每组中参考帧深度图像与当前帧深度图像之间的残差即残差图；对所述残差图上的每一个点的像素值进行求和，得到残差能量值；其中，C
i
表示残差能量值，表示残差图上的每一点的像素值，(x，y)表示坐标。3.根据权利要求2所述的基于时空域深度信息补全的红外与可见光图像配准方法，其特征在于，所述残差置信度，其获取方法为：结合所述运动矢量、所述残差获取当前帧深度图像对应的预测帧深度图像；结合当前帧深度图像及其对应的预测帧深度图像、参考帧深度图像上各点的像素值，计算残差置信度；其中，λ
i
表示残差置信度，I
k
(x，y)、f
j
(x，y)、分别表示参考帧深度图像、当前帧深度图像、预测帧深度图像上各点的像素值。4.根据权利要求1所述的基于时空域深度信息补全的红外与可见光图像配准方法，其特征在于，通过预设的空洞填充方法对参考帧深度图像进行深度信息补全，其方法为：通过预设的第一矩阵对参考帧深度图像进行形态学膨胀处理；处理后，采用预设的第二矩阵对参考帧深度图像中闭合的空像素进行闭运算；
结合所述空洞掩膜，采用双边滤波对闭运算后的参考帧深度图像进行空洞填充；通过设定的m*m窗口对空洞填充后的参考帧深度图像进行中值滤波处理，去除空洞填充过程中产生的奇异值，进而得到深度信息补全的参考帧深度图像。5.根据权利要求4所述的基于时空域深度信息补全的红外与可见光图像配准方法，其特征在于，采用双边滤波对闭运算后的参考帧深度图像进行空洞填充，其方法为：特征在于，采用双边滤波对闭运算后的参考帧深度图像进行空洞填充，其方法为：其中，w(i，j，k，l)表示空间信息权重与灰度信息权重的乘积，P(i，j)表示参考帧深度图像中(i，j)点补全后的深度值，σ
d
表示空间信息权重对应的高斯函数标准差，σ
r
表示灰度信息权重对应的高斯函数标准差，(k，l)表示双边滤波对应的模板窗口的中心坐标点，其对应像素值为f(k，l)，(i，j)表示双边滤波对应的模板窗口的其它系数的坐标，其对应像素值为f(i，j)。6.根据权利要求1所述的基于时空域深度信息补全的红外与可见光图像配准方法，其特征在于，可见光相机的图像坐标系与红外相机的图像坐标系之间的变换关系，其获取方法为：通过标定分别获得红外相机的内参K
ir
和可见光相机的内参K
rgb
，获取相机坐标系到图像坐标系的映射关系：Z
n
*prgb＝K
rgb
...

【专利技术属性】
技术研发人员：王坤峰，姚江伟，韩林凯，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：