一种跨模态交叉注意力机制的交通目标检测方法及系统技术方案

本发明专利技术公开了一种跨模态交叉注意力机制的交通目标检测方法及系统，至少包括多模态特征深度融合的

【技术实现步骤摘要】
一种跨模态交叉注意力机制的交通目标检测方法及系统


[0001]本专利技术属于计算机视觉及自动驾驶智能感知的
，涉及一种雷视融合多交通目标检测方法，主要涉及了一种跨模态交叉注意力机制的交通目标检测方法及系统
。

技术介绍

[0002]在城市交通场景中，对自动驾驶汽车周围环境进行探测的多交通目标感知是汽车自动驾驶中的重要前提，通过识别交通信号标志
、
其他汽车
、
自行车和行人等目标，以及感知周围物体的距离和速度，从而及时做出判断和反应，能够为后续的智能导航
、
路径规划等功能模块提供数据支撑
。
激光雷达和相机作为自动驾驶目标感知领域中两种最常用的传感器，分别提供精确的
3D
空间信息和丰富的颜色纹理特征
。
由于传感器自身的限制，激光雷达点云数据本身缺乏具体的语义特征且较为稀疏，远距离或拥堵情况下几乎失效，而相机传感器获取的
RGB
图像不具备三维空间的深度信息，被动接收反射光导致成像功能对于光照极为敏感，也造成了感知精度的敏感性
。
[0003]依靠单模态方法在遮挡
、
多尺度变化条件下效率低下且不可靠，为获取更大范围
、
更精确的环境信息，将两者优势充分结合为城市高密度环境下多交通目标的高精度感知提供了可能
。
但是，由于
RGB
图像和点云属于异源异构数据，融合方式的差异直接影响到检测器的性能，如何将这两种数据有效地组合起来仍然具有挑战性
。
[0004]近年来，基于深度学习的感知方法为跨模态数据融合提供了新的解决方案
。
数据融合方法包括三个层级：数据级
、
特征级和决策级
。
目前工业领域应用最多的雷视融合方法是决策级融合，其优势是鲁棒性强，但本质依然是单传感器检测
。
数据级融合在初始阶段创建依赖于多模态的新数据表征，设计合理的融合方式虽然能够微幅提升感知精度，但要求模态间严格对齐，基于原始数据量的操作也增加了感知推理时间，对于车载颠簸或其他易受震动的场景并不适用
。
特征级融合介于数据级和决策级之间，实现跨层模态间的特征交互，现有的大多数方法直接采用特征拼接的方式，忽略了噪声干扰对于融合特征质量的干扰，缺乏对特征融合粒度的综合考虑
。
此外，深度学习本身需要足够数量的丰富样本提取目标的强相关特征，现有的数据增强方法仅针对单模态数据，如何保证多模态数据的连续性，关联数据增强方式，对模型的泛化性能尤为重要
。

技术实现思路

[0005]本专利技术正是针对当前多源传感器融合目标检测研究中存在的异构数据如何进行特征对齐及融合问题，提供一种跨模态交叉注意力机制的交通目标检测方法及系统，至少包括多模态特征深度融合的
3D
目标检测网络模型，所述模型包括跨模态数据增强模块
、
点云分支主干网络模块
、
图像分支主干网络模块
、
点云
‑
图像交叉注意力融合模块和检测任务处理模块，本方法及系统分别对点云分支主干网络和图像分支主干网络进行了细粒度特征提取，在点云分支中采用动态体素化和稀疏卷积的方式进一步提升了检测速度，在图像分支中通过跨层连接多层次特征使得图像特征具备了丰富的多尺度信息，该网络提升检测性
能的同时，还可以面向遮挡场景和小尺度目标场景实现稳定的目标检测，有效降低了单一传感器感知目标的不准确性，实现了更加准确
、
鲁棒的检测性能
。
[0006]为了实现上述目的，本专利技术采取的技术方案是：一种跨模态交叉注意力机制的交通目标检测方法，至少包括多模态特征深度融合的
3D
目标检测网络模型，所述模型中包括跨模态数据增强模块
、
点云分支主干网络模块
、
图像分支主干网络模块
、
点云
‑
图像交叉注意力融合模块和检测任务处理模块，其中，
[0007]所述跨模态数据增强模块：依次经过点云数据增强
、
图像数据增强和图像
‑
点云数据关联后，得到增强后的像素坐标点；
[0008]所述点云分支主干网络模块：依次经过分组
、
采样和稀疏卷积特征提取步骤后，通过体素划分法将点云划分到独立的体素中，进行点云特征提取；
[0009]所述图像分支主干网络模块：包括编码器和解码器，采用
ResNet
与特征金字塔网络结合的方式提取图像特征；
[0010]所述点云
‑
图像交叉注意力融合模块：用于对齐提取后的点云特征和图像特征进行融合；
[0011]所述检测任务处理模块：基于中心点的检测头用于目标回归，分别求解中心点位置和目标框几何参数，完成目标检测任务
。
[0012]为了实现上述目的，本专利技术还采取的技术方案是：一种跨模态交叉注意力机制的交通目标检测方法，包括如下步骤：
[0013]S1,
数据集构建：所述数据集包括点云数据和图像数据，多交通目标感知数据集，采集车载相机与激光雷达的同步数据进行标注和标定，形成点云
‑
图像多交通目标感知数据集；
[0014]S2
，跨模态数据增强：包括点云数据增强
、
图像数据增强和图像
‑
点云数据关联，
[0015]所述点云数据增强方法具体为：对点云及其
3D
包围框内点进行随机旋转
、
尺度变换和二次随机旋转后，记录该帧点云的
ID
和随机处理参数；
[0016]所述图像数据增强方法具体为：使用随机旋转
、
随机翻转和多尺度变换的方法，对图像进行数据增强操作；
[0017]所述图像
‑
点云数据关联具体为：基于经过点云数据增强保存的数据增强参数，根据变换参数反转所有增强数据，获得
3D
关键点的原始坐标，根据外部投影参数在相机空间中找到其对应的原始像素坐标，将对应像素坐标点按照图像数据增强的方法进行处理，得到增强后的像素坐标点；
[0018]S3
，点云特征提取：包含分组
、
采样和稀疏卷积特征提取三个步骤，通过体素划分法将点云划分到独立的体素中，进行点云特征提取；
[0019]S4
，图像特征提取：采用
ResNet
与特征金字塔网络结合的方式来提取图像特征；
[0020]S5
，点云
‑
图像交叉注意力融合：基于图特征的重映射和交叉注意力机制，将对齐提取后的点云特征和图像特征进行融合；
[0021]S6
，检测任务处理：基于中心点的检测头用于目标回归，分别求解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种跨模态交叉注意力机制的交通目标检测方法，其特征在于：至少包括多模态特征深度融合的
3D
目标检测网络模型，所述模型中包括跨模态数据增强模块
、
点云分支主干网络模块
、
图像分支主干网络模块
、
点云
‑
图像交叉注意力融合模块和检测任务处理模块，其中，所述跨模态数据增强模块：依次经过点云数据增强
、
图像数据增强和图像
‑
点云数据关联后，得到增强后的像素坐标点；所述点云分支主干网络模块：依次经过分组
、
采样和稀疏卷积特征提取步骤后，通过体素划分法将点云划分到独立的体素中，进行点云特征提取；所述图像分支主干网络模块：包括编码器和解码器，采用
ResNet
与特征金字塔网络结合的方式提取图像特征；所述点云
‑
图像交叉注意力融合模块：用于对齐提取后的点云特征和图像特征进行融合；所述检测任务处理模块：基于中心点的检测头用于目标回归，分别求解中心点位置和目标框几何参数，完成目标检测任务
。2.
使用如权利要求1所述系统的一种跨模态交叉注意力机制的交通目标检测方法，其特征在于，包括如下步骤：
S1,
数据集构建：所述数据集包括点云数据和图像数据，多交通目标感知数据集，采集车载相机与激光雷达的同步数据进行标注和标定，形成点云
‑
图像多交通目标感知数据集；
S2
，跨模态数据增强：包括点云数据增强
、
图像数据增强和图像
‑
点云数据关联，所述点云数据增强方法具体为：对点云及其
3D
包围框内点进行随机旋转
、
尺度变换和二次随机旋转后，记录该帧点云的
ID
和随机处理参数；所述图像数据增强方法具体为：使用随机旋转
、
随机翻转和多尺度变换的方法，对图像进行数据增强操作；所述图像
‑
点云数据关联具体为：基于经过点云数据增强保存的数据增强参数，根据变换参数反转所有增强数据，获得
3D
关键点的原始坐标，根据外部投影参数在相机空间中找到其对应的原始像素坐标，将对应像素坐标点按照图像数据增强的方法进行处理，得到增强后的像素坐标点；
S3
，点云特征提取：包含分组
、
采样和稀疏卷积特征提取三个步骤，通过体素划分法将点云划分到独立的体素中，进行点云特征提取；
S4
，图像特征提取：采用
ResNet
与特征金字塔网络结合的方式来提取图像特征；
S5
，点云
‑
图像交叉注意力融合：基于图特征的重映射和交叉注意力机制，将对齐提取后的点云特征和图像特征进行融合；
S6
，检测任务处理：基于中心点的检测头用于目标回归，分别求解中心点位置和目标框几何参数；
S7,
损失函数计算：所述损失函数包括热力图损失
、
中心点位置偏移损失
、
地面高度损失
、
目标尺寸损失和偏航角正余弦损失，将所有损失合并，可以得到组合
Loss
；
S8
，训练模型并输出：采用
PyTorch
深度学习框架训练目标检测网络模型，完成目标检测
。3.
如权利要求2所述的一种跨模态交叉注意力机制的交通目标检测方法，其特征在于：
所述步骤
S2
中的点云数据增强具体包括：
S21
：设每帧获取的点云数据
P
i
(x
i
,y
i
,z
i
)∈R3，共
N
个点，其中第
k
个目标的真实
3D
包围框
B
i
参数化为其中是中心位置，是长度
、
宽度
、
高度，是围绕
z
轴的偏航旋转；
S22
：对真实
3D
包围框及框内点随机旋转，旋转因子为均匀分布的随机变量
△
θ
∈[
‑
π
/10,
π
/10]
；
S23
：对全局点云应用尺度变换，将帧内所有点
P
i
(x
i
,y
i
,z
i
)
与均匀分布尺度变换因子
λ
∈[0.95,1.05]
相乘，对所有点云进行全局缩小和放大；
S24
：对全局点云应用随机旋转，将全局旋转应用于所有
3D
包围框
B
i
和整个点云，全局旋转偏移量为均匀分布的随机变量
△
γ
∈[
‑
π
/4,
π
/4]
；
S25
：记录该帧点云的
ID
和随机处理参数，对点云
x.pcd
顺时针旋转
angel
°
，记为
{x
，
angel
°
}。4.
如权利要求2所述的一种跨模态交叉注意力机制的交通目标检测方法，其特征在于：所述步骤
S3
具体包括：
S31
：进行点云分组，给定点云
P
＝
{p1,p2,
...

【专利技术属性】
技术研发人员：李旭，王贲武，兰浩然，徐启敏，
申请(专利权)人：东南大学，
类型：发明
国别省市：