基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法技术

基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法，1、读取毫米波雷达当前时刻的点云信息，计算每类点云的质心信息代表该类点云对应物体的信息；2、读取单目视觉RGB图像，使用深度学习目标检测算法生成目标检测框，通过单目深度估计方法计算目标的深度信息；3、对毫米波雷达和单目视觉进行传感器联合标定；4、对完成时空同步的毫米波雷达和视觉检测数据进行一一匹配；5、根据数据匹配结果，将毫米波雷达和视觉数据融合，并针对融合数据设计了一个卡尔曼滤波器；6、基于全局最近邻匹配算法和前述卡尔曼滤波器，设计了一个多目标跟踪器，得到在线的多目标跟踪结果。本申请能够提高无人机的环境感知能力，进而提高无人机的智能化程度。度。

【技术实现步骤摘要】
基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法


[0001]本专利技术属于无人机环境感知领域，特别涉及基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法。

技术介绍

[0002]无人机作为一种飞行机器人，因其具有灵活机动、携带便捷和可在多种不同复杂环境中工作等优点，目前已在工业、农业、商业和民用消费市场等诸多领域中得到广泛应用，具有广阔的发展前景。在无人机应用中，对环境中感兴趣的多目标进行在线跟踪是无人机监测、跟随和目标导引等功能实现的重要基础，在近些年受到越来越多研究者的关注。
[0003]为了实现在线多目标跟踪，常用的感知传感器有单目相机、深度相机、激光雷达和毫米波雷达等。单目相机具有价格低廉、易于安装和采集图像语义信息丰富等优点，常用的实时单目相机多目标跟踪算法有DeepSort、ByteTrack和OC_SORT等。但由于无人机在飞行过程中存在相机抖动，容易导致目标跟踪丢失，且单目测距精度有限，因此仅使用单目相机实现无人机多目标跟踪效果不佳。深度相机的测距范围相对较小，且易受光照等环境因素干扰，因此在单独使用时，局限性较大。激光雷达可以同时提供丰富的语义信息和准确的目标距离信息，但高性能激光雷达通常价格昂贵、体积庞大、功耗较高，难以在无人机平台上广泛部署。毫米波雷达具有尺寸小、功耗低、受环境因素影响小和能准确测量多目标距离等优点，但毫米波雷达具有数据缺乏语义信息，角度测量精度低等缺点，难以单独完成准确的多目标跟踪任务。
[0004]目前已经申请方案如下：
[0005]申请号：CN201811444277.8，申请名称：一种面向智能车的毫米波雷达与单目相机信息融合方法，其请求保护一种面向智能车的毫米波雷达与单目相机信息融合方法，主要包括三个阶段：第一阶段，首先在智能车上安装并调整相机与毫米波雷达位置，然后用张正友标定法获取相机内部参数，最后将相机成像平面投影到俯视图，以满足两个传感器识别的目标信息在同一车辆坐标系下；第二阶段，在线下用深度学习方法训练基于图像的多目标识别模型，线上在智能车行驶的过程中雷达与相机实时采集数据，把识别的目标信息转化到统一的车辆坐标系下并排除无效目标；第三阶段，用全局最近邻匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标，实现多目标识别。本专利技术目标识别率高，安全性可靠，可有效提高智能汽车对环境感知的实用性。
[0006]其是首先将相机成像平面投影到俯视图，以满足两个传感器识别的目标信息在同一车辆坐标系下，然后使用深度学习方法进行多目标识别，并将获取的雷达和相机目标信息转化到统一的车辆坐标系下并排除无效目标，最后用全局最近邻匹配算法判断目标一致性，通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标，实现多目标识别。
[0007]而本申请的方法在进行数据处理时，相较于所对比专利，针对毫米波雷达数据进行了额外的聚类和质心计算处理，提高了雷达数据的质量，并在处理相机数据时，在得到目标的检测框后，进一步提出了一种单目深度估计方法，实现了视觉的距离信息补全，获得了
更丰富的视觉检测结果。同时，在对目标状态进行估计，生成目标轨迹后，所对比专利是简单根据当前检测是否与轨迹匹配，从而判断目标有效性，目的是实现目标识别，而本专利又进一步设计了一个基于全局最近邻匹配算法和卡尔曼滤波的串级多目标跟踪器，目的是实现长时间和检测丢失情形下的准确多目标跟踪。因此，这两项专利无论在具体数据处理方法和最终实现目的方面均是不相同的。
[0008]申请号：CN202210562730.5，申请名称：基于多信息融合的车辆追踪方法、装置及系统，本申请涉及智能汽车
，具体公开了一种基于多信息融合的车辆追踪方法，其中，包括：分别获取目标车辆的初始点云数据和视觉图像信息，其中初始点云数据为标定后的毫米波雷达采集到的目标车辆的点云数据，视觉图像信息为标定后的视觉采集装置采集到的目标车辆的图像信息；对初始点云数据进行聚类处理后得到雷达检测框，以及对视觉图像信息进行目标检测处理后得到视觉检测框；将雷达检测框与视觉检测框进行融合，并根据融合结果确定主融合目标；对主融合目标进行优化处理，得到目标车辆的追踪结果。本专利技术还公开了一种基于多信息融合的车辆追踪装置及系统。本专利技术提供的基于多信息融合的车辆追踪方法能够提高车辆追踪效果。
[0009]本申请在获取目标车辆的初始点云数据和视觉图像信息后，对初始点云数据进行DBSCAN聚类处理得到雷达检测框，对视觉图像信息进行目标检测处理得到视觉检测框，然后将雷达检测框与视觉检测框进行融合，并根据融合结果确定主融合目标，最后对主融合目标进行优化处理，得到目标车辆的追踪结果。
[0010]而本申请在对毫米波雷达数据进行处理时，使用的聚类方法为欧式聚类，在完成聚类后，通过质心计算方法以每类物体的质心信息代替该类物体的信息，实现了数据降维；在对视觉数据进行处理时，在生成目标检测框后，提出了一种单目深度估计方法，实现了视觉的距离信息补全，进一步丰富了视觉检测结果；在进行两传感器空间对准和数据匹配时，利用视觉深度估计结果，实现了视觉数据和雷达数据在载体坐标系下的对准匹配，该方法相对于所对比专利中将雷达数据直接投影到图像坐标系进行匹配，进一步考虑了雷达数据向图像投影时通常存在较大偏差和图像本身深度尺度丢失的问题，能够获得更加准确和鲁棒的数据匹配结果；在进行卡尔曼更新时，使用的全局最近邻匹配算法相较于对比专利中的最近邻匹配算法，综合考虑了数据匹配时的全局代价，因此能有效降低误匹配概率；在设计目标跟踪器时，设计了一种基于全局最近邻匹配算法和卡尔曼滤波器的串级多目标跟踪器，相较于所对比专利中仅根据一次检测与轨迹匹配结果即输出跟踪结果，提出的跟踪器拥有更加完备的跟踪策略，能够更好地处理长时间和检测丢失情况下的目标跟踪问题，能够取得更佳的多目标跟踪效果。两项专利在传感器数据处理、数据融合匹配和目标跟踪器设计上均存在较大不同，且本专利提出的方法相较于所对比专利考虑的更加全面，能够取得更好的多目标跟踪效果。
[0011]为了弥补单一传感器的缺陷，多源传感器融合感知是目前研究的热点。结合无人机平台自身特点和各传感器特性，毫米波雷达和视觉融合是较为理想的无人机在线多目标跟踪问题的解决方案。在现有的基于毫米波雷达和视觉融合的多目标跟踪算法中，一般在像素坐标系中进行传感器数据匹配，但毫米波雷达相较视觉测角精度较低，对应的雷达像素投影点与视觉测量通常存在偏差，且像素坐标系本身深度维信息丢失，因此该匹配策略的整体准确度有限。此外，现有方法在完成数据匹配融合和目标状态估计后，仅使用简单轨
迹管理策略实现多目标跟踪。因此现有的融合多目标跟踪算法通常具有生成轨迹不连续、检测丢失条件下跟踪精度低等缺点。

技术实现思路

[0012]为了解决以上问题，提出基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法，该方法在对雷达数据和单目视觉数据分别进行处理后，利用单目视觉的深度估计信息，在载体坐标系中进行数据匹配，提高了匹配的准确性，并在完成传感器数据匹配融合和目标状态估计后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法，具体步骤如下，其特征在于：(1)读取毫米波雷达当前时刻的点云信息，其中第i个点云信息记为p
i
＝[x,y,z,v
x
,v
y
,v
z
]，式中x,y,z表示目标在空间各坐标轴方向的位置分量，v
x
,v
y
,v
z
表示目标在空间各坐标轴方向的速度分量，在获取雷达点云信息后，先使用欧式聚类算法滤除离群噪点，再使用每类点云的质心代表该类点云所对应的物体，质心计算的表达式为：(2)读取单目视觉采集的RGB图像，使用训练好的YOLOv5n目标检测模型实现感兴趣目标的在线检测与提取，通过目标检测算法得到感兴趣目标的检测框信息为：bbox＝[u,v,w
b
,h
b
]式中，u,v为检测框中心点的像素坐标，w
b
,h
b
为检测框的宽和高；结合感兴趣目标的宽度或高度尺寸信息，利用图像检测框信息和相机投影模型，提出单目深度估计的计算表达式如下：式中，d为目标估计深度，f为相机焦距，w,h为目标实际尺寸，u,v为目标在像素坐标系中的尺寸；(3)对毫米波雷达和单目视觉进行联合标定，实现异源传感器数据的时空对准；(4)对完成时空同步的毫米波雷达和视觉检测数据进行一一匹配，筛选出感兴趣目标的多源传感器信息，采用全局最近邻匹配GNN算法实现数据匹配，两传感器数据之间的距离计算准则选取马氏距离，计算表达式为：式中，e
ij
表示两传感器测量的残差向量，S为对应的协方差。为了衡量数据匹配的风险代价，设置一门限值G来表示两传感器数据之间的最大匹配距离，门限值约束下的数据匹配的风险代价计算公式为：其中，c
ij
为某一数据对匹配的风险代价，D
max
为一远大于d
ij
和G的常数，当把雷达的各个量测元素分配给视觉的各个量测元素的总风险最小时，得到的分配结果为所需的全局最近邻数据匹配结果，实现该过程的优化目标为：邻数据匹配结果，实现该过程的优化目标为：(5)针对匹配成功的雷达数据和视觉数据，将两传感器数据进行融合，选取视觉检测框中心点，使用与之匹配的雷达深度信息对其在载体坐标系中的投影进行修正，计算公式为：
使用雷达测量值的速度信息，对修正视觉测量值投影进行补充，得到每个目标中心点的传感器融合测量值为Z
k
＝[x
b
,y
b
,v
xb
,v
yb
]，对于融合测量值，设计了一个卡尔曼滤波器来提高检测鲁棒性，滤波器的预测部分为：式中，状态转移矩阵F
k,k
‑1取值为表示匀速运动模型；系统协方差矩阵的初始值P0取单位阵，系统过程噪声矩阵Q
k
表示匀速运动模型的扰动量。滤波器的数据更新部分为：式中，Z
k
是当前测量值，H
k
是观测矩阵，在此处取值为单位阵，R
k
是观测噪声协方差矩阵。(6)设计一个基于全局最近邻匹配GNN算法和前述卡尔曼滤波器的串级在线多目标跟踪器，输出准确的在线多目标跟踪结果。2.根据权利要求1所述的基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法，其特征在于，步骤(2)中需使用TensorRT对YOLOv5n模型进行推理加速。3.根据权利要求1所述的基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法，其特征在于，步骤(3)中所提出的具体传感器时空对准方法为：(3
‑
1)在进行时间对准时，提出采用最近邻时间匹配算法，该算法的原理为：计算雷达数据时间戳和相邻视觉检测数据时间戳的差值，将差值最小且小于设定阈值的数据对进行匹配，认为其对应于同一时刻，实现时间对准；(3
‑
2)完成时间对准后，提出...

【专利技术属性】
技术研发人员：王立辉，唐兴邦，陈飞鹏，李勇，任元，
申请(专利权)人：东南大学，
类型：发明
国别省市：