基于车载雷视动态加权融合结构模块的道路目标跟踪方法技术

本发明专利技术公开了基于车载雷视动态加权融合结构模块的道路目标跟踪方法，属于智能网联汽车环境感知领域。本发明专利技术首先从车辆控制器区域网路总线中提取车载毫米波雷达与视觉的道路目标检测数据。其次将道路目标检测数据分别输入到各自的跟踪处理模块进行处理，获取各传感器对应检测目标的局部航迹信息。然后将局部航迹信息输入到融合中心模块，获取融合后的全局航迹信息。最后基于全局航迹信息结合检测目标的ID和类别，对道路目标进行有效地持续跟踪。本发明专利技术具备目标级的协作融合感知和环境自适应能力，能够对道路检测目标进行有效地持续跟踪，为智能车自动驾驶提供更加可靠准确的环境感知信息。感知信息。感知信息。

【技术实现步骤摘要】
基于车载雷视动态加权融合结构模块的道路目标跟踪方法


[0001]本专利技术属于智能网联汽车环境感知
，涉及一种基于车载毫米波雷达与视觉多模态动态加权融合结构模块的道路目标跟踪方法。

技术介绍

[0002]道路目标检测与跟踪是智能网联汽车(以下简称智能车)驾驶环境感知系统中的核心问题。现阶段车辆环境感知系统中应用最广泛的传感器是毫米波雷达和视觉传感器(摄像头)，这两种传感器的应用技术较为成熟且相比于激光雷达成本低廉，易于工程化和产品化，已成为国内外车辆道路目标检测与跟踪领域研究的重点。然而这两种传感器在单独用于目标感知时均具有较为明显的局限性，很难满足全天候、高精度的车辆环境感知需求，例如：毫米波雷达的横向空间分辨率较低，且易受路面物体噪声干扰，导致道路多目标漏检误检严重；视觉传感器的纵向空间分辨率较低，对光照和天气条件敏感，且要求较高的计算强度来保证高精度，无法满足实时性需求。考虑到这些局限性以及传感器间的互补特性，在车辆环境感知系统中通常将毫米波雷达与视觉传感器进行融合感知，这样能够弥补单一传感器目标感知算法中存在的效果差、环境敏感等缺陷，被认为是提高检测精度、降低检测噪声的一种有效手段。
[0003]然而，虽然多传感器融合弥补了单一传感器检测精度不足的问题，但是多传感器融合之后信息的决策和控制仍是一个难点。同时，目前的融合方法并没有考虑环境(光照、天气等)因素的影响，导致感知算法在不同环境下的感知效果参差不齐，无法适应复杂多变的智能车驾驶环境。尤其是对于毫米波雷达与视觉传感器这类的异构传感器融合场景，如何在兼顾感知精度、速度及鲁棒性的同时，基于传感器间的互补特性，建立具备感知环境自适应能力的多模态融合感知网络，对智能车驾驶环境道路目标进行有效可靠的检测与跟踪，是一项技术挑战。

技术实现思路

[0004]为了实现车载异构传感器间的目标级协作融合感知和感知环境自适应，同时兼顾智能车驾驶环境准确性、鲁棒性和实时性的道路目标感知需求，优化现有的技术架构。本专利技术提供了基于车载雷视动态加权融合结构模块的道路目标跟踪方法，用于智能车驾驶环境道路目标跟踪，实现车载异构传感器间的目标级协作融合感知和感知环境自适应，同时兼顾智能车驾驶环境准确性、鲁棒性和实时性的道路目标感知需求，对促进智能车环境感知技术的发展以及加快智能车产业的应用落地具有十分重大的社会价值和工程意义。
[0005]本专利技术的技术方案为一种基于车载毫米波雷达与视觉多模态动态加权融合结构模块的道路目标跟踪方法，采用分布式结构作为毫米波雷达与视觉数据融合算法的基本框架，将融合算法分为两个跟踪处理模块(分别为毫米波雷达跟踪处理模块和视觉跟踪处理模块)和一个融合中心模块，引入动态加权融合结构，输出道路目标的状态跟踪信息，具体包括以下步骤：
[0006]步骤1、从车辆控制器区域网路(Controller Area Network,CAN)总线中提取车载毫米波雷达与视觉的道路目标检测数据。
[0007]步骤2、将车载毫米波雷达与视觉的道路目标检测数据分别输入到各自的跟踪处理模块，车载毫米波雷达和视觉的道路目标检测数据分别为对应车载毫米波雷达与视觉传感器的局部传感器数据，对各局部传感器数据进行处理，以获取各传感器对应检测目标的局部航迹信息。
[0008]2.1对输入到跟踪处理模块的局部传感器数据进行预处理：
[0009]结合自车的状态信息筛选出对自车驾驶状态有影响的道路目标检测数据，对于不影响自车驾驶状态的道路目标检测数据进行剔除。
[0010]2.2对预处理后的局部传感器数据进行局部航迹信息的数据关联：
[0011]引入新息向量的加权范数平方，作为局部航迹的测量预测信息与测量目标之间的统计距离。
[0012]采用匈牙利算法，以统计距离作为代价量度，根据全局最近邻思想完成检测目标局部航迹信息与传感器测量值之间的关联。
[0013]2.3对数据关联后的目标局部航迹信息进行航迹管理：
[0014]将数据关联后的航迹分为三种情形：a.航迹与传感器测量值成功关联；b.传感器测量值不关联航迹；c.航迹不关联传感器测量值。
[0015]为了管理航迹的生成、维护和消失，解决虚假测量和目标检测缺失的问题，设计航迹管理的规则如下：定义未与任何航迹关联的测量目标为生成的临时航迹；对于连续n帧成功关联的临时航迹，则可以被视为生成一条真实确认的航迹，也就局部航迹；对于已确认的局部航迹，如果在连续m帧中没有关联测量目标，则该航迹可被视为死的航迹并被丢弃。
[0016]2.4对航迹管理后的局部航迹信息进行状态评估：
[0017]为了获得航迹信息的最佳状态估计，在以上航迹管理规则判断后，需要更新确认的局部航迹和临时航迹的状态。对于确定为死的航迹，它将从航迹列表中删除，而不进行任何状态更新。
[0018]步骤3、将经过跟踪处理模块处理后的车载毫米波雷达和视觉检测目标的局部航迹信息输入到融合中心模块，对不同传感器的局部航迹进行融合，以获取融合后的全局航迹信息。
[0019]3.1对车载毫米波雷达和视觉的局部航迹信息进行时空对齐：
[0020]选择车载毫米波雷达运动坐标系作为融合航迹坐标系，将视觉的局部航迹信息坐标转换到毫米波雷达运动坐标系中；选择视觉检测周期作为融合时间节点，当视觉每输出一组车辆CAN信息时，根据最小二乘法将前N个周期从毫米波雷达获得的航迹信息拟合为二次曲线，然后将拟合曲线外推到视觉的当前时间节点，以获得毫米波雷达局部航迹信息在融合时间节点下的估计值。
[0021]3.2对时空对齐后的毫米波雷达和视觉的局部航迹信息进行航迹关联：
[0022]基于加权航迹关联方法对毫米波雷达和视觉的局部航迹信息进行航迹关联。
[0023]3.3对航迹关联后的毫米波雷达和视觉的局部航迹信息进行航迹融合及融合状态估计：
[0024]构建非复位联合滤波器结构：由两个子滤波器和一个主滤波器组成，其中两个子
滤波器分别对应着毫米波雷达与视觉的跟踪处理模块中的卡尔曼滤波器，将两个子滤波器的输出与主滤波器的输入级联。定义Z
r
和Z
c
分别为与检测目标信息相关的毫米波雷达测量值和视觉测量值，P
r
和P
c
分别为两个子滤波器的状态估计输出，P
g
为主滤波器的状态估计输出，也就是融合后的全局航迹状态信息。
[0025]初始时刻的融合航迹状态估计误差协方差和系统过程噪声可由下式计算得到：
[0026][0027][0028]其中，和分别为初始时刻毫米波雷达和视觉的局部航迹状态估计误差协方差，和分别为初始时刻毫米波雷达和视觉的局部航迹状态系统过程噪声。
[0029]为了实现融合算法的环境自适应能力，进一步提高道路目标跟踪的准确性及鲁棒性，引入动态加权融合结构，设计毫米波雷达和视觉的动态初始信息分配权重如下：
[0030][0031][0032]其中，和分别表示毫本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于车载雷视动态加权融合结构模块的道路目标跟踪方法，其特征在于，具体包括以下步骤：步骤1、从车辆控制器区域网路CAN总线中提取车载毫米波雷达与视觉的道路目标检测数据；步骤2、车载毫米波雷达与视觉的道路目标检测数据分别为对应车载毫米波雷达与视觉传感器的局部传感器数据，将局部传感器数据输入到各自的跟踪处理模块，进行处理，获取各传感器对应检测目标的局部航迹信息；步骤3、将经过跟踪处理模块处理后的车载毫米波雷达和视觉检测目标的局部航迹信息输入到融合中心模块，对不同传感器的局部航迹进行融合，获取融合后的全局航迹信息；步骤4、基于融合中心模块获取的检测目标全局航迹信息，结合检测目标的ID和类别，对道路目标进行持续跟踪，并同步输出道路目标的时空状态跟踪信息。2.根据权利要求1所述的基于车载雷视动态加权融合结构模块的道路目标跟踪方法，其特征在于，步骤2具体过程如下：2.1、对输入到跟踪处理模块的局部传感器数据进行预处理；结合自车的状态信息筛选出对自车驾驶状态有影响的道路目标检测数据，对于不影响自车驾驶状态的道路目标检测数据进行剔除；2.2、对预处理后的局部传感器数据进行局部航迹信息的数据关联；引入新息向量的加权范数平方，作为局部航迹的测量预测信息与测量目标之间的统计距离；假设有一条局部航迹i，时刻k时的测量预测值z
i
(k|k
‑
1)，定义：其中，z
o
(k)表示在k时刻目标o的传感器测量值，即传感器数据；S
io
为新息协方差矩阵；为新息向量的加权范数平方，理解为局部航迹的测量预测信息i与测量目标o之间的统计距离；采用匈牙利算法，以统计距离作为代价量度，根据全局最近邻思想完成检测目标局部航迹信息与传感器测量值之间的关联；2.3、对数据关联后的目标局部航迹信息进行航迹管理；将数据关联后的航迹分为三种情形：a.局部航迹信息与传感器测量值成功关联；b.传感器测量值不关联局部航迹信息；c.局部航迹信息不关联传感器测量值；设计航迹管理的规则如下：未与任何航迹关联的测量目标为生成的临时航迹；对于连续n帧成功关联的临时航迹，则被视为生成一条真实确认的航迹，也就局部航迹；对于已确认的局部航迹，如果在连续m帧中没有关联测量目标，则该航迹被视为死的航迹并被丢弃；2.4、对航迹管理后的局部航迹信息进行状态评估：在航迹管理的规则判断后，更新确认的局部航迹和临时航迹的状态，对于确定为死的航迹，它将从航迹列表中删除，而不进行任何状态更新。3.根据权利要求2所述的基于车载雷视动态加权融合结构模块的道路目标跟踪方法，其特征在于，步骤2.4中所述更新确认的局部航迹和临时航迹的状态，包括建立局部航迹信
息的状态估计模型如下：假设目标的加速度在短时间内是恒定的，则建立具有恒定加速度的运动模型，目标状态向量为：其中，(x,y)表示位置向量，表示速度向量，表示加速度向量；则其运动状态模型表示为：X(k+1)＝diag[F,F]X(k)+diag[G,G]W
k
其中，为离散模型中的白噪声序列，ω
x
和ω
y
分别对应于目标沿x轴和y轴的振动噪声，T1为离散模型中的单位时间；毫米波雷达检测目标距离S、方位角θ和相对速度v，其测量矢量表示如下：Z
r
＝[S θ v]
T
相应的观测模型如下：其中，v
r
＝[v
s v
θ v
v
]
T
表示毫米波雷达测量的白噪声序列；由于毫米波雷达的观测模型是非线性的，采用扩展卡尔曼滤波器对毫米波雷达的航迹状态进行估计；视觉检测目标位置，其测量矢量表示为：Z
c
＝[x y]
T
对应的观测模型表示为：Z
c
(k)＝H
C
X(k)+v
c
(k)其中，v
c
＝[v
x v
y
]
T
表示视觉测量的白噪声序列，为测量矩阵；由于视觉的观测模型是线性...

【专利技术属性】
技术研发人员：赵晨馨，邵建文，赵存彬，王凯，石东豪，张昕，沈晓敏，方舟，
申请(专利权)人：浙江省计量科学研究院，
类型：发明
国别省市：