一种基于transformer的自动驾驶目标检测方法及系统技术方案

本发明专利技术公开了一种基于transformer的自动驾驶目标检测方法，克服了现有技术中基于transformer的目标检测方法计算量大、收敛慢以及对车辆伪3d检测包含冗杂信息的问题，方法包括下列步骤：S1：利用transformer预测出不同目标车辆的2d检测框以及相关车辆信息；S2：根据预测结果得到车辆的伪3d框。还提供了一种基于transformer的自动驾驶目标检测系统。在计算不同粒度下的自注意力时添加稀疏注意力机制，减少了计算量，同时在2d检测的基础上，再预测3个关键点，减少网络的重复预测。减少网络的重复预测。

【技术实现步骤摘要】
一种基于transformer的自动驾驶目标检测方法及系统


[0001]本专利技术涉及智能驾驶
，特别涉及了一种基于transformer的自动驾驶目标检测方法及系统。

技术介绍

[0002]目标检测技术是自动驾驶领域不可缺少的重要部分，基于CNN(卷积神经网络)的目标检测算法专注于空间信息和边缘细节，但受限于局部特征。因此，大量学者通过结构设计(如FPN)、跳跃桥接(如resnet)等形式在一定程度上解决了空间信息提取、轻量化设计等问题。其主要结构可分为4部分，输入模块是网络的输入，包括图像的预处理；backbone(神经网络模型)模块对输入图像进行特征提取生成特征图；neck模块(目标检测框架中承上启下的关键环节)统合不同层次的特征图；head模块对特征图进行预测。但是对于全局关系的建立尚未解决。
[0003]基于transformer的模型在自然语音处理领域大放光彩，目前更是在图像领域取得重大突破。Transformer框架的核心部分是自注意力机制(self
‑
attention)，用于构建目标之间的相互联本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于transformer的自动驾驶目标检测方法，其特征在于，它包括下列步骤：S1：利用transformer预测出不同目标车辆的2d检测框以及相关车辆信息；S2：根据预测结果得到车辆的伪3d框。2.根据权利要求1所述的一种基于transformer的自动驾驶目标检测方法，其特征在于，所述的步骤S1中，预测的信息具体包括：车辆的2d检测框的四个顶点(e，g，n，m)，车辆车轮胎的关键点a(x
a
，y
a
)，b(x
b
，y
b
)以及车身分界点c(x
c
，y
c
)。3.根据权利要求1所述的一种基于transformer的自动驾驶目标检测方法，其特征在于，所述的步骤S1的具体步骤为：S1.1：输入车身图像，利用若干加入稀疏注意力机制的Stage模块从输入的图像中提取特征，得到初始特征图；S1.2：将不同Stage模块的输出特征融合得到不同尺度大小的特征信息，对不同尺度大小的输出以不同权重进行加权求和，输出相同大小的特征图；S1.3：通过1
×
1的卷积改变通道数进行对特征图不同任务的分类和识别，得到不同目标车辆的2d检测框以及相关车辆信息。4.根据权利要求3所述的一种基于transformer的自动驾驶目标检测方法，其特征在于，所述的步骤S1.1中：将输入图像划分为大小为n
×
n的子图像块，依次经历4个加入稀疏注意力机制的stage模块，每经历一个stage模块都输出一个初始特征图；经过每个stage后的特征图尺寸减半而维度翻倍。5.根据权利要求3或4所述的一种基于transformer的自动驾驶目标检测方法，其特征在于，所述的步骤S1.1中，加入的稀疏注意力机制：A1：使用不同大小的细粒度将特征图池化成对应矩阵；A2：对矩阵进行相关性约束：每个元素只跟他相对半径为K以及K+2i(K为超参数，i＝0,1,2
…
)的元素计算注意力，即除了相对半径不超过K的以及相对半径为K+2i以外的位置，注意力值设为0。6.根据权利要求3或4所述的一种基于transformer的自动驾驶目标检测方法，其特征在于，所述的步骤S1.2中，输出相同大小的特征图：S1.2.1：将初始特征图与下一个Stage模块输出的相同大小的中间特征图相加，得到输出特征图，再使用上采样块将输出特征图扩大至与第一个Stage模块中输出的初始特征图一样大，得到该Stag...

【专利技术属性】
技术研发人员：徐昀，王芬芬，谢钱昆，
申请(专利权)人：浙江零跑科技股份有限公司，
类型：发明
国别省市：