基于可见光、红外和激光雷达数据融合的目标跟踪方法技术

本发明专利技术公开了一种基于可见光、红外和激光雷达数据融合的目标跟踪方法，通过获取车辆的可见光相机数据、红外摄像机数据、激光雷达数据；根据所述可见光相机和红外摄像机获取二维图像数据，对可见光图像和红外图像进行融合，增强图像目标信息，提高目标检测的检测率及准确性；利用检测算法分别从融合后的图像和激光雷达的点云数据中检测提取出二维、三维目标信息；将点云目标投影到图像上，然后根据点云目标检测框以及运动状态等信息，对不同时间的目标进行数据关联进行目标状态滤波，同时通过图像检测目标进行补充，完成对图像目标和点云目标的融合跟踪。标的融合跟踪。标的融合跟踪。

【技术实现步骤摘要】
基于可见光、红外和激光雷达数据融合的目标跟踪方法


[0001]本专利技术涉及目标跟踪
，具体涉及一种基于可见光、红外和激光雷达数据融合的目标跟踪方法，适用于复杂环境下多种传感器主要包括可见光、红外和激光雷达对多个目标进行跟踪。

技术介绍

[0002]现代战场环境复杂多变，在实际作战中，系统需要监测的范围越来越大，需要检测的目标类型日益增多，目标的运动特性也越来越复杂。单一传感器极易被干扰从而丢失信息，存在不确定性，无法保证稳定的侦查任务，因此需要传感器系统协同探测，建立一个多传感器融合跟踪方法，利用传感器性能的互补和冗余，扩大传感器探测的时间覆盖范围、空间覆盖范围和频率覆盖范围，提高目标探测判决置信度，降低模糊性，增强可靠性和容错能力，以及增强抗整个系统的干扰能力。

技术实现思路

[0003]本专利技术旨在解决以上现有技术的问题，提出了一种基于可见光、红外和激光雷达数据融合的目标跟踪方法。
[0004]本专利技术的技术方案是对对可见光图像和红外图像进行融合，增强图像目标信息，提高目标检测的检测率及准确性，再分别从融合后的图像和点云数据中检测提取出图像、点云的目标信息，将点云目标投影到图像上，然后根据点云目标检测框以及运动状态等信息，对不同时间的目标进行数据关联进行目标状态滤波，同时通过图像检测目标进行补充，完成对图像目标和点云目标的融合跟踪。
[0005]一种基于可见光、红外和激光雷达数据融合的目标跟踪方法，包括以下步骤：
[0006]步骤1：通过残差网络和自编码器对获取的可见光图像和红外图像进行特征提取
‑
融合
‑
特征重构实现图像的融合，增强图像目标信息，提高目标检测的检测率及准确性；
[0007]步骤2：使用检测算法对融合后的图像进行目标检测，提取出图像上的二维目标信息，使用针对点云的检测算法对获取的激光雷达点云数据进行目标检测，获取三维目标信息。
[0008]步骤3：对目标进行状态预测，对不同时间的三维目标数据关联进行目标状态滤波。
[0009]步骤4：通过二维目标进行二次数据关联，对三维目标遗漏的部分进行补充。再通过状态更新及轨迹的生命周期管理完成对二维目标和三维目标的融合跟踪。
[0010]优选地，所述步骤1包括以下步骤：
[0011]步骤1.1，对可将光图像和红外图像进行空间配准，通过相机的平移矩阵和旋转矩阵，以可见光图像的坐标作为参考坐标，将红外图像数据转换到可见光坐标上进行统一。如无法获取坐标系信息，可以通过数学形态学方法分别提取红外与可见光图像的边缘，得到粗边缘图像；然后通过SURF算法提取两幅边缘图像的特征点，根据正确的匹配点对之间斜
率一致性的先验知识，进行特征点匹配；最后通过最小二乘法求得仿射变换模型参数并实现两幅图像的配准。
[0012]步骤1.2，训练自编码器。将可见光和红外图像分别输入自编码器进行训练。编码器有3个卷积层，在每一个卷积层都有一个输出进行融合，同时作为解码器的输入。自编码器单独训练，损失函数如下
[0013]L
auto
＝L
pixel
+λL
ssim
ꢀꢀ
(1)
[0014][0015]L
ssim
＝1
‑
SSIM(Output,Input)
ꢀꢀꢀꢀ
(3)
[0016][0017]其中：
[0018]L
pixel
：像素损耗；输出图像和输入图像的Frobenius范数，即对应元素的平方和再开方；L
ssim
：结构相似度损耗；SSIM：结构相似度度量；μ：平均值；σ：方差
[0019]步骤1.3，融合网络使用残差网络，以编码器的输出作为输入，分别对输入的可见光特征和红外特征进行卷积、拼接，然后再进行三层卷积得到Conv5；同时，对输入可见光特征和红外特征进行拼接、卷积，将这层卷积与Conv5进行一个全连接层的拼接，最后输出融合特征，作为解码器的输入。
[0020]步骤1.4，红外与可见光整体融合模型：将融合网络放到编码器和解码器中间，对模型进行训练，以可见光图像和红外图像作为输入，以融合图像作为输出，模型损失函数如下
[0021]L
fvusion
＝αL
vi
+(1
‑
α)L
ir
ꢀꢀꢀꢀ
(5)
[0022]L
vi
＝1
‑
SSIM(O，I
vi
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0023][0024]其中：
[0025]vi和ir分别表示可见光图像和红外图像，L是损失函数；O是输出的融合图像；M是深度特征数量；B(m)是平衡损失函数向量，初设为(1，10，100，1000)；w是相对权重矩阵，Φ是特征矩阵。
[0026]可见光图像所含背景细节较为丰富，因此主要计算结构损失，而红外图像的特征信息较丰富，因此主要计算特征损失。
[0027]优选地，所述步骤2中，包括以下步骤：
[0028]步骤2.1，利用图像目标检测算法和点云目标检测算法分别得到来自图像的目标类型、目标边框、目标方位角信息和来自点云的目标类型、目标三维边框(目标位置及目标长宽高)、目标方位角信息。
[0029]步骤2.2，将可见光相机的坐标系设为世界坐标系，通过传感器的平移矩阵和旋转矩阵将三维目标投影到该坐标系上，然后根据三维目标检测框以及运动状态等信息，初步建立轨迹模型。
[0030]优选地，所述步骤3中包括以下步骤：
[0031]步骤3.1，对目标进行状态预测，将物体轨迹的状态表示为11维向量T＝(x，y,z，θ，l，w，h，s，v
x
，v
y
，v
z
)，其中v
x
，v
y
，v
z
表示物体在三维空间中的速度。预测的轨迹基于等速模型x
t
＝x
t
‑1+v
x
，y
t
＝y
t
‑1+v
y
，z
t
＝z
t
‑1+v
z
，因此，
[0032]步骤3.2，将检测到的三维目标与预测目标进行数据关联，匹配规则如下：
[0033][0034][0035]其中：表示三维目标的位置及尺寸信息；是第i帧各目标和第j帧各目标间的欧几里得距离；表示绕相机y轴旋转角度；是和方向向量之间的余弦距离。
[0036]步骤3.3，根据以上关联规则，构建3d检测目标D
t
与预测轨迹的亲和矩阵，得到T
match
、T
unmatch
、分别为匹配到的轨迹目标和检测目标、未匹配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可见光、红外和激光雷达数据融合的目标跟踪方法，其特征在于，所述方法包括以下步骤：步骤1：通过残差网络和自编码器对获取的可见光图像和红外图像进行特征提取
‑
融合
‑
特征重构实现图像的融合，增强图像目标信息，提高目标检测的检测率及准确性；步骤2：使用检测算法对融合后的图像进行目标检测，提取出图像上的二维目标信息，使用针对点云的检测算法对获取的激光雷达点云数据进行目标检测，获取三维目标信息；步骤3：对融合图像和点云数据进行融合跟踪，首先对目标进行状态预测，对不同时间的三维目标数据关联进行目标状态滤波；步骤4：通过二维目标进行二次数据关联，对三维目标遗漏的部分进行补充，再通过状态更新及轨迹的生命周期管理完成对二维目标和三维目标的融合跟踪。2.根据权利要求1所述的一种基于可见光、红外和激光雷达数据融合的目标跟踪方法，其特征在于，所述步骤1包括以下步骤：步骤1.1，对可将光图像和红外图像进行空间配准，通过相机的平移矩阵和旋转矩阵，以可见光图像的坐标作为参考坐标，将红外图像数据转换到可见光坐标上进行统一；如无法获取坐标系信息，通过数学形态学方法分别提取红外与可见光图像的边缘，得到粗边缘图像；然后通过SURF算法提取两幅边缘图像的特征点，根据正确的匹配点对之间斜率一致性的先验知识，进行特征点匹配；最后通过最小二乘法求得仿射变换模型参数并实现两幅图像的配准；步骤1.2，训练自编码器：将可见光和红外图像分别输入自编码器进行训练；编码器有3个卷积层，在每一个卷积层都有一个输出进行融合，同时作为解码器的输入；自编码器单独训练，损失函数如下：L
auto
＝L
pixel
+λL
ssim
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)L
ssim
＝1
‑
SSIM(Output，Input)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中：L
pixel
：像素损耗；输出图像和输入图像的Frobenius范数，即对应元素的平方和再开方；L
ssim
：结构相似度损耗；SSIM：结构相似度度量；μ：平均值；σ：方差；步骤1.3，融合网络使用残差网络，以编码器的输出作为输入，分别对输入的可见光特征和红外特征进行卷积、拼接，然后再进行三层卷积得到Conv5；同时，对输入可见光特征和红外特征进行拼接、卷积，将这层卷积与Conv5进行一个全连接层的拼接，最后输出融合特征，作为解码器的输入；步骤1.4，红外与可见光整体融合模型：将融合网络放到编码器和解码器中间，对模型进行训练，以可见光图像和红外图像作为输入，以融合图像作为输出，模型损失函数如下：L
fusion
＝αL
vi
+(1
‑
α)L
ir
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)L
vi
＝1
‑
SSIM(O，I
vi
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
其中：vi和ir分别表示可见光图像和红外图像，L是损失函数；O是输出的融...

【专利技术属性】
技术研发人员：叶蕾，陈家琪，谭永钦，王艺霖，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：