【技术实现步骤摘要】
本专利技术属于自动驾驶，尤其涉及一种多模态混合的自动驾驶统一3d检测与跟踪方法。
技术介绍
1、随着自动驾驶技术的快速发展，实现高效准确的目标检测和跟踪对于自动驾驶系统的安全性和性能至关重要。传统的目标检测和跟踪方法主要基于单一模态的数据，如图像或点云。然而，单一模态的数据在某些场景下可能存在一些局限性，例如在复杂的环境中，图像可能受到光照、遮挡等因素的影响，而点云则可能受到传感器分辨率和噪声等因素的限制。
2、为了克服单一模态数据的局限性，研究人员开始探索多模态数据的混合。多模态数据通常由不同传感器收集，例如摄像头和激光雷达。图像数据提供了丰富的视觉信息，而点云数据则提供了精确的几何信息。通过将图像和点云数据进行混合，可以获得更全面、准确的目标检测和跟踪结果。
3、传统的目标检测和跟踪方法通常是分开进行的，先进行目标检测，然后再进行目标跟踪。然而，这种分离的方式可能导致信息的丢失和不一致。为了实现更准确、一致的目标检测和跟踪，需要提出了统一融合的方法。本方法将目标检测和跟踪过程进行联合建模，通过共享特征和上下文信息，实现目标检测和跟踪的紧密结合，从而提高检测和跟踪的准确性和稳定性。
4、transformer是一种强大的深度学习模型，已经在自然语言处理和计算机视觉等领域取得了显著的成果。通过利用transformer的自注意力机制和全局上下文建模能力，可以更好地捕捉多模态数据之间的关系和依赖关系，从而提高目标检测和跟踪的性能。
技术实现思路
1
2、本专利技术所采用的技术方案如下：
3、一种多模态混合的自动驾驶统一3d检测与跟踪方法，包括：
4、步骤(1).输入来自自动驾驶系统的激光雷达和摄像头采集的多模态数据，分别提取不同模态下的bev特征；
5、步骤(2).通过步骤(1)中获得的不同模态下的bev特征，获得融合不同模态下的bev特征自适应融合权重，生成自适应融合的bev特征；
6、步骤(3).通过步骤(2)获得的自适应融合的bev特征，采用transformer编码器进行编码，得到当前帧的编码特征；同时，将自适应融合的bev特征经过候选区域生成网络完成当前帧的3d目标检测任务，生成当前帧的一系列3d候选框；
7、步骤(4).将当前帧的一系列3d候选框与经过处理的上一帧的目标跟踪结果进行拼接，将拼接结果与当前帧的编码特征共同输入到transformer解码器，获得当前帧的初始目标跟踪结果；
8、步骤(5).利用步骤(4)获取的当前帧的初始目标跟踪结果，生成经过处理的当前帧的目标跟踪结果，通过帧与帧之间不断迭代，最终输出整个多帧输入的目标跟踪结果。
9、进一步地，所述的步骤(5)包括：
10、步骤(5.1).将步骤(4)获取的当前帧的初始目标跟踪结果分成当前帧的3d目标检测输出结果对应的新物体集合和经过处理的上一帧的目标跟踪结果对应的旧物体集合
11、步骤(5.2).将步骤(5.1)得到的新物体集合和旧物体集合分别进行判断，将不满足要求的物体从集合中剔除；
12、步骤(5.3).合并处理后的新物体集合和旧物体集合生成经过处理的当前帧的目标跟踪结果。
13、进一步地，所述步骤(5.2)中，针对新物体集合若某一物体的检测置信度大于设定的阈值时，保留该物体，否则将该物体从新物体集合剔除；针对旧物体集合若某一物体持续3帧的检测置信度均小于设定的阈值，将该物体从旧物体集合剔除，否则保留该物体。
14、本专利技术的有益效果：
15、本专利技术设计了一套完整的多模态混合的自动驾驶统一3d检测与跟踪方法，包括多模态的bev特征的生成以及目标检测与目标跟踪多个阶段。在多模态的bev特征的生成阶段，该方法可以处理激光雷达和摄像头的传感器数据，并且融合到统一的bev特征空间，不仅可以灵活适应传感器数量的变化，还可以作为后续目标检测和目标跟踪任务的输入特征。在目标检测和目标跟踪的实现阶段，本方法基于transformer结构设计了编码器和解码器，并且将目标检测任务和目标跟踪任务有效地结合到一起，在充分利用检测与跟踪任务之间的关联性来提升两个任务的性能的同时，也有效地减少了多个独立模型训练难度的提升和模型部署的难度。
16、相较于使用独立的目标检测与目标跟踪模型，统一模型可以提高实时性、精度和鲁棒性，获得自动驾驶系统性能和安全性的提升。
本文档来自技高网...【技术保护点】
1.一种多模态混合的自动驾驶统一3D检测与跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态混合的自动驾驶统一3D检测与跟踪方法，其特征在于，所述的步骤(1)中输入来自自动驾驶系统的激光雷达和摄像头采集的多模态数据，分别被各自的BEV生成网络转换到一致的BEV视角，生成的不同模态下的BEV特征具有相同的空间分辨率和相同特征维度。
3.根据权利要求1所述的多模态混合的自动驾驶统一3D检测与跟踪方法，其特征在于，所述的步骤(2)包括：
4.根据权利要求3所述的多模态混合的自动驾驶统一3D检测与跟踪方法，其特征在于，所述步骤(2.5)具体为：将三种模态的BEV特征分别与其对应的归一化后的自适应融合权重相乘，得到三组与原始BEV特征尺寸相同的BEV特征；对三组BEV特征进行拼接，拼接得到原始BEV特征维度3倍的新BEV特征，再利用MLP网络将新BEV特征的维度转换为与原始BEV特征维度相同的自适应融合的BEV特征。
5.根据权利要求1所述的多模态混合的自动驾驶统一3D检测与跟踪方法，其特征在于，所述的步骤(3)包括：>
6.根据权利要求5所述的多模态混合的自动驾驶统一3D检测与跟踪方法，其特征在于，所述基于Transformer结构的编码器由多个串行的编码器模块所组成，相邻的模块之间以残差的方式进行连接；每一个模块都是以注意力机制来构建，所述注意力机制的查询、键和值为步骤(2)得到的自适应融合的BEV特征。
7.根据权利要求5所述的多模态混合的自动驾驶统一3D检测与跟踪方法，其特征在于，所述的步骤(4)包括：
8.根据权利要求1所述的多模态混合的自动驾驶统一3D检测与跟踪方法，其特征在于，所述的步骤(5)包括：
9.根据权利要求8所述的多模态混合的自动驾驶统一3D检测与跟踪方法，其特征在于，所述步骤(5.2)中，针对新物体集合若某一物体的检测置信度大于设定的阈值时，保留该物体，否则将该物体从新物体集合剔除；针对旧物体集合若某一物体持续3帧的检测置信度均小于设定的阈值，将该物体从旧物体集合剔除，否则保留该物体。
...【技术特征摘要】
1.一种多模态混合的自动驾驶统一3d检测与跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态混合的自动驾驶统一3d检测与跟踪方法，其特征在于，所述的步骤(1)中输入来自自动驾驶系统的激光雷达和摄像头采集的多模态数据，分别被各自的bev生成网络转换到一致的bev视角，生成的不同模态下的bev特征具有相同的空间分辨率和相同特征维度。
3.根据权利要求1所述的多模态混合的自动驾驶统一3d检测与跟踪方法，其特征在于，所述的步骤(2)包括：
4.根据权利要求3所述的多模态混合的自动驾驶统一3d检测与跟踪方法，其特征在于，所述步骤(2.5)具体为：将三种模态的bev特征分别与其对应的归一化后的自适应融合权重相乘，得到三组与原始bev特征尺寸相同的bev特征；对三组bev特征进行拼接，拼接得到原始bev特征维度3倍的新bev特征，再利用mlp网络将新bev特征的维度转换为与原始bev特征维度相同的自适应融合的bev特征。
5.根据权利要求1所述的多模态混合的...
【专利技术属性】
技术研发人员：丁勇，孙瑀，程华元，刘琳琳，牛乐乐，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。