基于状态空间模型主干网络的统一单目三维目标检测方法技术

本发明专利技术公开了基于状态空间模型主干网络的统一单目三维目标检测方法，属于计算机视觉技术领域。包括获取图像数据集，并进行标注；构建统一单目三维目标检测模型，包括依次连接的主干网络、颈部网络、多头特征处理模块、BEV特征生成模块、BEV编码器模块、BEV解码器及检测模块；使用所述图像数据集对统一单目三维目标检测模型进行训练；利用训练好的统一单目三维目标检测模型实现统一单目三维目标检测。本发明专利技术将状态空间模型的视觉骨干网络应用于统一单目三维目标检测任务中，该方法能够在有效建模长距离依赖关系的同时，将计算复杂度降低到线性级别。这使得它们在处理序列数据和图像数据时，兼具高性能和高效率的潜力。

【技术实现步骤摘要】

本专利技术涉及计算机视觉，特别涉及基于状态空间模型主干网络的统一单目三维目标检测方法。

技术介绍

1、随着人工智能技术在机器人感知、自动驾驶等领域的快速发展，三维目标检测已成为计算机视觉领域中的一项核心关键任务。其作用在于准确识别现实场景中的三维物体，并精确估计出它们的三维边界框信息，包括空间位置、尺寸及朝向。在现有三维目标检测技术中，单目的三维目标检测因其仅需单个摄像头、成本低廉且易于部署的优势，受到了业界的广泛关注与深入研究。

2、为了应对真实世界中复杂多变的场景(如室内、室外、不同光照、不同天气条件等)，现有技术中提出了“统一的三维目标检测”的概念，目的是使单一模型能够仅通过一次训练就在多个异构数据集上实现有效的检测能力。现有的前沿统一单目三维目标检测技术在特征提取阶段(即骨干网络)普遍依赖于两大类主流架构：卷积神经网络(cnns)，如resnet、dla、convnext等；以及视觉transformer(vits)及其变体。尽管基于cnn和vit的统一单目三维目标检测技术取得了显著进展，但目前仍存在以下缺陷：>

3、第一，现本文档来自技高网...

【技术保护点】

1.基于状态空间模型主干网络的统一单目三维目标检测方法，其特征在于，

2.根据权利要求1所述的基于状态空间模型主干网络的统一单目三维目标检测方法，其特征在于：所述图像数据集包含单目二维图像数据，并对所述单目二维图像数据进行三维目标标注信息。

3.根据权利要求1所述的基于状态空间模型主干网络的统一单目三维目标检测方法，其特征在于：所述颈部网络接收主干网络输出的4级特征图，首先通过Conv1x1统一多层特征图的通道数，然后进行上采样，并将上采样后的4级特征图进行逐元素相加融合，再对融合后的特征用Conv3x3卷积平滑处理并输出。

4.根据权利要求1所述的基...

【技术特征摘要】

1.基于状态空间模型主干网络的统一单目三维目标检测方法，其特征在于，

2.根据权利要求1所述的基于状态空间模型主干网络的统一单目三维目标检测方法，其特征在于：所述图像数据集包含单目二维图像数据，并对所述单目二维图像数据进行三维目标标注信息。

3.根据权利要求1所述的基于状态空间模型主干网络的统一单目三维目标检测方法，其特征在于：所述颈部网络接收主干网络输出的4级特征图，首先通过conv1x1统一多层特征图的通道数，然后进行上采样，并将上采样后的4级特征图进行逐元素相加融合，再对融合后的特征用conv3x3卷积平滑处理并输出。

4.根据权利要求1所述的基于状态空间模型主干网络的统一单目三维目标检测方法，其特征在于：所述提议头提取模块包括三个分支，每个分支均采用conv1x1卷积结构，第一分支用于输出目标类别的2d中心热图，第二分支用于预测2d中心到3d中心的偏移量，第三个分支用于预测目标深度值；从三个分支中选取置信度最高的m个，再经...

【专利技术属性】
技术研发人员：安康，来屹，赵雯锦，管融，刘明方，张会，宋亚庆，
申请(专利权)人：上海师范大学，
类型：发明
国别省市：