【技术实现步骤摘要】
本专利技术属于智能驾驶，涉及一种多模态多模型的多目标3d跟踪方法、装置、设备及介质。
技术介绍
1、智能驾驶是指在汽车上搭载先进的传感器等装置，运用人工智能等新技术，使汽车具备智能驾驶的能力，旨在辅助驾驶员安全、便捷地完成驾驶任务。其中，智能驾驶的核心包括环境感知、决策规划和控制执行三部分，环境感知是实现智能驾驶的第一个环节，也是车辆与外界信息交互的必要条件，智能驾驶车辆通过各类传感器获取车辆周边信息，通过深度学习感知算法等策略，实现2d/3d目标检测、语义分割以及深度估计等功能，目前为了提升感知算法2d/3d目标感知结果的准确性及稳定性，往往会在感知结果之后加入目标跟踪策略。
2、目前，自动驾驶领域的多目标跟踪算法在快速更新迭代，最主流的方案是先检测后跟踪的策略，旨在充分利用检测结果并针对性设计跟踪策略。由于当前自动驾驶领域的2d环境信息检测算法较为成熟，故而大部分的跟踪算法是基于2d环境信息上的2d检测算法输出的2d目标检测框进行设计，例如：通过历史帧的2d目标检测结果，利用运动学建模的方式，可以得到当前帧的目标跟踪框的结果，然后通过目标匹配等策略用当前帧的2d目标检测结果对当前帧跟踪框进行筛选，将筛选后的跟踪框作为当前帧的跟踪框输出，大量的实验及文献证明遵循类似策略出来的跟踪框往往比纯2d检测框的结果更加稳定并且能解决2d环境信息上目标物的遮挡问题。
3、上述2d跟踪策略是基于2d环境信息输入和2d目标检测算法进行的相关开发和设计，对于3d目标检测算法以及bev范式下的环视3d目标检测算法，往往没有
技术实现思路
1、为了解决没有适用于3d目标检测算法或bev范式下的环视3d目标检测算法的多目标跟踪策略，难以确保3d目标检测或bev环视3d目标检测的稳定性和抗遮挡能力的技术问题，本专利技术设计了一种多模态多模型的多目标3d跟踪方法、装置、设备及介质。
2、实现专利技术目的的技术方案如下：
3、本专利技术实施例提供了一种多模态多模型的多目标3d跟踪方法，包括：
4、s100、采用多模态传感器采集车辆周围的当前帧环境信息和上一帧环境信息，其中，所述多模态传感器包括n≥2个不同类型的子传感器，所述当前帧环境信息为每个所述子传感器采集的当前帧子环境信息的集合，所述上一帧环境信息为每个所述子传感器采集的上一帧子环境信息的集合；
5、s200、采用bev感知算法分别计算所述当前帧环境信息、所述上一帧环境信息和每个所述子传感器采集的上一帧子环境信息，并通过视角转换进行bev范式下投影，得到bev范式下所述多模态传感器的当前帧3d检测信息和上一帧3d检测信息，以及每个所述子传感器的上一帧3d检测信息，其中，所述多模态传感器的当前帧3d检测信息和上一帧3d检测信息，以及每个所述子传感器的上一帧3d检测信息均包括车辆周围多个道路参与目标；
6、s300、通过扩展运动学建模策略分别对所述多模态传感器和每个所述子传感器的上一帧3d检测信息进行预测，得到所述多模态传感器和每个所述子传感器的预测3d预测框；
7、s400、基于iou作边权值的km算法，采用多模态传感器的iou阈值将所述多模态传感器的预测3d预测框与所述当前帧3d检测信息进行目标匹配，得到所述多模态传感器下的匹配成功3d跟踪框和匹配失败3d跟踪框；
8、s500、基于iou作边权值的km算法，依据n个所述子传感器中由高到低的优先级顺序，采用各所述子传感器的iou阈值将与第i个优先级对应的所述子传感器的预测3d预测框与上一次目标匹配获得的匹配失败3d跟踪框进行目标匹配，输出第i个优先级对应的所述子传感器下的匹配成功3d跟踪框和匹配失败3d跟踪框，其中i∈[1，n]；
9、s600、将所述多模态传感器和每个所述子传感器下的匹配成功3d跟踪框合并得到车辆的跟踪3d框。
10、本专利技术实施例还提供了一种多模态多模型的多目标3d跟踪装置，包括:
11、多模态传感器，所述多模态传感器分布在车辆上，包括n≥2个不同类型的子传感器，n个所述子传感器采集的当前帧子环境信息的集合形成当前帧环境信息，n个所述子传感器采集的上一帧子环境信息的集合形成上一帧环境信息；
12、3d检测信息获取模块，用于采用bev感知算法分别计算所述当前帧环境信息、所述上一帧环境信息和每个所述子传感器采集的上一帧子环境信息，并通过视角转换进行bev范式下投影，得到bev范式下所述多模态传感器的当前帧3d检测信息和上一帧3d检测信息，以及每个所述子传感器的上一帧3d检测信息；
13、预测3d预测框获取模块，用于通过扩展运动学建模策略分别对所述多模态传感器和每个所述子传感器的上一帧3d检测信息进行预测，得到所述多模态传感器和每个所述子传感器的预测3d预测框；
14、第一匹配模块，用于基于iou作边权值的km算法，采用多模态传感器的iou阈值将所述多模态传感器的预测3d预测框与所述当前帧3d检测信息进行目标匹配，得到所述多模态传感器下的匹配成功3d跟踪框和匹配失败3d跟踪框；
15、第二匹配模块，用于基于iou作边权值的km算法，依据n个所述子传感器中由高到低的优先级顺序，采用各所述子传感器的iou阈值将与第i个优先级对应的所述子传感器的预测3d预测框与上一次目标匹配获得的匹配失败3d跟踪框进行目标匹配，输出第i个优先级对应的所述子传感器下的匹配成功3d跟踪框和匹配失败3d跟踪框，其中i∈[1，n]；
16、跟踪3d框输出模块，用于将所述多模态传感器和每个所述子传感器下的匹配成功3d跟踪框合并得到车辆的跟踪3d框。
17、本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的多模态多模型的多目标3d跟踪方法，以解决现有技术中没有适用于3d目标检测算法或bev范式下的环视3d目标检测算法的多目标跟踪策略，难以确保3d目标检测或bev环视3d目标检测的稳定性和抗遮挡能力的技术问题。
18、本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的多模态多模型的多目标3d跟踪方法的计算机程序，以解决现有技术中没有适用于3d目标检测算法或bev范式下的环视3d目标检测算法的多目标跟踪策略，难以确保3d目标检测或bev环视3d目标检测的稳定性和抗遮挡能力的技术问题。
19、与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：本专利技术的多目标3d跟踪方法是基于bev环视3d目标检测算法量身定做高效，通用的多目标跟踪策略，同时结合多模态bev感知算法的不同特性进行优势互补，再用分优先级的匹配方式设计多目标跟踪策略，旨在提高bev环视3d目标检测的稳定性和抗遮挡能本文档来自技高网...
【技术保护点】
1.一种多模态多模型的多目标3D跟踪方法，其特征在于，包括：
2.根据权利要求1所述的多模态多模型的多目标3D跟踪方法，其特征在于，所述采用BEV感知算法分别计算所述当前帧环境信息、所述上一帧环境信息和每个所述子传感器采集的上一帧子环境信息，并通过视角转换进行BEV范式下投影，得到BEV范式下所述多模态传感器的当前帧3D检测信息和上一帧3D检测信息，以及每个所述子传感器的上一帧3D检测信息，包括：
3.根据权利要求1所述的多模态多模型的多目标3D跟踪方法，其特征在于，所述多模态传感器的IoU阈值大于每个所述子传感器的IoU阈值；
4.根据权利要求1～3任一项所述的多模态多模型的多目标3D跟踪方法，其特征在于：所述多模态传感器包括多目视觉传感器和激光雷达传感器，与所述多目视觉传感器对应的BEV感知算法为多目视觉BEV感知算法，与所述激光雷达传感器对应的BEV感知算法为激光雷达BEV感知算法；
5.根据权利要求1～3任一项所述的多模态多模型的多目标3D跟踪方法，其特征在于，所述多模态传感器包括多目视觉传感器和毫米波雷达传感器，与所述多目
6.根据权利要求1～3任一项所述的多模态多模型的多目标3D跟踪方法，其特征在于，所述多模态传感器包括多目视觉传感器、激光雷达传感器和毫米波雷达传感器，与所述多目视觉传感器对应的BEV感知算法为多目视觉BEV感知算法，与所述激光雷达传感器对应的BEV感知算法为激光雷达BEV感知算法，与所述毫米波雷达传感器对应的BEV感知算法为毫米波雷达BEV感知算法；
7.根据权利要求1所述的多模态多模型的多目标3D跟踪方法，其特征在于，所述道路参与目标包括静态目标和动态目标。
8.一种多模态多模型的多目标3D跟踪装置，其特征在于，包括:
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的多模态多模型的多目标3D跟踪方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的多模态多模型的多目标3D跟踪方法的计算机程序。
...【技术特征摘要】
1.一种多模态多模型的多目标3d跟踪方法，其特征在于，包括：
2.根据权利要求1所述的多模态多模型的多目标3d跟踪方法，其特征在于，所述采用bev感知算法分别计算所述当前帧环境信息、所述上一帧环境信息和每个所述子传感器采集的上一帧子环境信息，并通过视角转换进行bev范式下投影，得到bev范式下所述多模态传感器的当前帧3d检测信息和上一帧3d检测信息，以及每个所述子传感器的上一帧3d检测信息，包括：
3.根据权利要求1所述的多模态多模型的多目标3d跟踪方法，其特征在于，所述多模态传感器的iou阈值大于每个所述子传感器的iou阈值；
4.根据权利要求1～3任一项所述的多模态多模型的多目标3d跟踪方法，其特征在于：所述多模态传感器包括多目视觉传感器和激光雷达传感器，与所述多目视觉传感器对应的bev感知算法为多目视觉bev感知算法，与所述激光雷达传感器对应的bev感知算法为激光雷达bev感知算法；
5.根据权利要求1～3任一项所述的多模态多模型的多目标3d跟踪方法，其特征在于，所述多模态传感器包括多目视觉传感器和毫米波雷达传感器，与所述多目视觉传感器对应的bev感知算法为多...
【专利技术属性】
技术研发人员：王汝卓，李章洪，黄飞鸿，王雅儒，程建伟，
申请(专利权)人：武汉极目智能技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。