面向多视角三维目标检测的跨模态前景蒸馏方法技术

本发明专利技术公开了面向多视角三维目标检测的跨模态前景蒸馏方法，属于自动驾驶感知技术领域。该方法使用激光雷达或多模态三维目标检测模型为教师模型，并以多视角的鸟瞰图BEV感知三维目标检测模型为学生模型，通过多尺度特征的蒸馏提升模型性能；引入空间注意力机制和前景掩码模块，学生模型能够在多尺度下模仿教师模型在不同空间位置的特征响应，专注前景目标，抑制背景噪声；自适应模块确保多尺度特征在特征维度和空间分辨率上的一致性，最终通过均方误差和KL散度等损失函数度量特征和回归输出的差异，实现高效的跨模态、多尺度前景特征蒸馏。最终提升多视角三维目标检测精度和效率，同时充分考虑了多尺度特征的蒸馏需求。

【技术实现步骤摘要】

本专利技术涉及计算机视觉中的自动驾驶感知，尤其涉及面向多视角三维目标检测的跨模态前景蒸馏方法。

技术介绍

1、近年来多视角三维目标检测在自动驾驶感知领域倍受关注，具有广阔的应用场景。其中，摄像机图像有着密集的颜色和纹理信息，基于多视角的鸟瞰图（bird’s eyeview，bev）感知三维（3d）检测模型具有低成本、容易部署的优点，受到了工业界和学术界的青睐。尤其在复杂的城市道路环境中，丰富的视觉信息更有利于场景理解和目标识别，有助于自动驾驶系统做出准确的决策。

2、相较于基于激光雷达的三维检测模型而言，基于多视角的bev感知三维目标检测模型虽然能达到不错的精度，但难以准确推断出深度和其他三维几何信息，导致其性能落后于基于激光雷达的三维目标检测模型。同时，基于激光雷达的三维目标检测摸鱼通常具有较高的复杂度，计算资源消耗大，运行效率低，难以支持工业化部署。这主要是因为从二维图像构建三维信息是一个巨大的挑战，需要复杂的神经网络来学习和推理这种映射关系。一种直观的解决方法是通过压缩模型，减少模型参数量来提高模型的运行效率。然而，简单的压缩模型往往会导本文档来自技高网...

【技术保护点】

1.一种面向多视角三维目标检测的跨模态前景蒸馏方法，其特征在于，

2.根据权利要求1所述的跨模态前景蒸馏方法，其特征在于，

3.根据权利要求1所述的跨模态前景蒸馏方法，其特征在于，

4.根据权利要求1所述的跨模态前景蒸馏方法，其特征在于，

5.根据权利要求1所述的跨模态前景蒸馏方法，其特征在于，

6.根据权利要求1所述的跨模态前景蒸馏方法，其特征在于，

【技术特征摘要】

1.一种面向多视角三维目标检测的跨模态前景蒸馏方法，其特征在于，

2.根据权利要求1所述的跨模态前景蒸馏方法，其特征在于，

3.根据权利要求1所述的跨模态前景蒸馏方法，其特征在于，

【专利技术属性】
技术研发人员：沈世全，陈昊东，杨秀建，张永齐，王艳峰，方军，魏文，张小兵，王青旺，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：