一种毫米波雷达和视觉特征注意力融合的目标检测方法技术

本发明专利技术提供一种毫米波雷达和视觉特征注意力融合的目标检测方法，包括步骤：获取毫米波雷达点云数据和视觉图像信息；点云数据预处理后与视觉图像在数据层进行融合；对图像进行初步的检测，提取图像特征；雷达点云与图像信息进行目标关联，提取雷达特征；将图像特征和雷达特征输入到特征注意力融合网络进行融合；利用3Dbox解码器解码出目标的检测结果并输出。本发明专利技术利用毫米波雷达散射截面强度来自适应调整点云投影到图像上的空间信息大小，解决现有雷达点云投影到图像上的尺寸固定的问题；提出一种雷达和图像的特征注意力融合网络，解决毫米波雷达和视觉图像在特征融合时权重分配不均的问题，具有提高目标检测准确性和鲁棒性的优点。性的优点。性的优点。

【技术实现步骤摘要】
一种毫米波雷达和视觉特征注意力融合的目标检测方法


[0001]本专利技术涉及传感器特征融合进行目标检测的
，具体涉及一种毫米波雷达和视觉特征注意力融合的目标检测方法。

技术介绍

[0002]目前，用于目标检测的传感器主要包括视觉摄像机、红外传感器、激光雷达和毫米波雷达等多种传感器。其中摄像机由于其探测范围比较大、能获取到更多的目标原始信息且分类的能力强获得了广泛应用，但摄像机不能获取目标的深度信息，且容易受到不同天气和光线的影响。近年来，虽然摄像机在目标的二维检测中有很大的提升，检测精度也很高，但目前仅利用视觉图像输入在三维目标检测时还有较大的差距。毫米波雷达不仅能实现全天时全天候的工作，还能从回波信号中获取到目标的相对距离、速度和散射截面强度等信息，抗干扰能力比较强，但毫米波雷达点云非常稀疏，容易受到外界杂波和噪声的影响。因此，针对单一传感器的缺陷，一般采用多个传感器融合的方法来解决。相对而言，将激光雷达和摄像机进行融合对目标检测的研究比较多，可是由于激光雷达的探测范围较窄、昂贵的价格，越来越多的研究转而向毫米波雷达和摄像机的融合展开。结合毫米波雷达和视觉摄像机的优点，两者的融合一方面能够很好地利用对方提供的信息进行互补，使融合的信息更加丰富和全面，同时也避免了使用激光雷达时计算量庞大和成本高的问题。
[0003]通常，将毫米波雷达与视觉摄像机的融合方法分为三种：数据级融合、决策级融合和特征级融合，其中，特征级融合具有很大的研究空间。但由于毫米波雷达点云数据稀疏的问题，以致其表征能力很弱，且对于雷达特征和图像特征在融合时也还存在特征权重分配不均的问题，大都利用雷达特征来辅助图像特征做目标检测。因此对毫米波雷达点云数据处理时如何充分利用点云数据来增强其空间信息、提高表征能力以及实现雷达特征和图像特征权重的合理分配成为了关键问题。

技术实现思路

[0004]鉴于以上现有技术的缺点，本专利技术提供一种毫米波雷达和视觉特征注意力融合的目标检测方法，用于解决现有技术中毫米波雷达点云数据稀疏、表征能力很弱以及雷达特征和图像特征在融合时也还存在特征权重分配不均的问题。
[0005]为实现上述目的及其他相关目的，本专利技术提供一种毫米波雷达和视觉特征注意力融合的目标检测方法，所述方法包括如下步骤：
[0006]步骤一：获取毫米波雷达点云数据和视觉相机的帧图像；
[0007]步骤二：对雷达点云进行预处理操作，并将雷达点投影到图像平面得到雷达图像，再利用雷达散射截面强度来控制雷达点云投影到图像的空间信息大小，与视觉图像信息在数据层进行融合；
[0008]步骤三：对图像进行初步的检测，提取图像特征；
[0009]步骤四：将雷达点云与图像进行目标关联，提取雷达特征；
[0010]步骤五：将图像特征和雷达特征输入特征注意力融合模块，合理分配两种特征的权重；
[0011]步骤六：结合步骤三中网络检测头初次回归和步骤五二次回归的结果，利用3Dbox解码器解码出目标的检测结果并输出。
[0012]优选地，本专利技术所述的步骤二中对雷达点云进行预处理操作，将雷达点投影到图像平面得到雷达图像的具体步骤如下：
[0013]多次对雷达探测点进行扫描并累加其数据，增加点云的密度；
[0014]加载点云数据，通过设置合适距离的阈值按距离过滤点并为雷达点云添加z偏置，移除速度不正常的雷达点云；
[0015]雷达点表示为以自我中心坐标系统下雷达探测的3D点，将其参数化为P
radar
(x，y，z，v
x
，v
y
，σ)，其中(x，y，z)表示目标的位置，v
x
，v
y
分别是目标在x，y方向上的径向速度，σ表示目标的散射截面强度；
[0016]基于Nuscenes数据集，通过数据集中给定的摄像机内外参数，将毫米波雷达点投影到图像平面。经过坐标转换，将毫米波雷达点从自我坐标系转换到图像坐标系下，生成与视觉图像具有相同尺寸的雷达图像。
[0017]对于投影到图像平面的雷达点云数据，将点云数据以像素在纵向上初步扩展为0.5
‑
2.0米的高度范围，在横向上初步扩展为0.2
‑
1.5米的宽度范围，为雷达信息和摄像机的像素之间进行初步的关联；
[0018]通过雷达点的散射截面强度σ来自适应调整雷达图像上雷达点像素在横向宽度和纵向高度的具体高度值，以获得大小可变化的二维点云像素面积。
[0019]优选地，本专利技术所述步骤四中将雷达点云与2D图像的目标关联，并提取雷达特征的具体步骤如下：
[0020]利用步骤四中初步回归得到的3D包围框的深度、观测角、3D尺寸和摄像机标定矩阵来生成一个3D视椎体；
[0021]将雷达点云扩充为固定大小的3D柱体来增大点云的关联率，并将柱体投影到像素坐标系与2D包围框进行匹配，同时将柱体投影到相机坐标系与构造的3D视椎体进行深度值匹配；
[0022]雷达特征的提取，对于每个与物体相关的雷达探测，生成3个雷达热图通道，位于物体的2D包围框的中心和内部，其中，热图的宽和高与2D包围框的大小成比例，热图的值由归一化的物体深度和以自我为中心坐标系中Vx、Vy的x、y分量来确定。
[0023]优选地，本专利技术所述步骤五中将图像特征和雷达特征输入特征注意力融合模块，进行权重学习，合理分配两种特征的权重的具体步骤如下：
[0024]特征注意力融合网络主要由通道注意力模块CAM和不同大小的卷积层构成。第一个是卷积核大小为1
×
1，步长为(1，1)，填充为(0，0)的卷积层Conv1
×
1；第二个是卷积核大小为3
×
3，步长为(1，1)，填充为(1，1)的卷积层Conv3
×
3；第三个是卷积核大小为7
×
7，步长为(1，1)，填充为(3，3)的卷积层Conv7
×
7；
[0025]雷达特征主要经过一个Conv1
×
1和两个Conv3
×
3分别进行权重提取后将三条支路得到的注意力权重矩阵按元素相加操作，再经过7
×
7的卷积层进一步提取特征权重后生成雷达特征的空间注意信息；图像特征依次经过Conv1
×
1、Conv3
×
3和Conv1
×
1处理提取
图像特征权重，再与原图像特征经过通道注意力模块处理后的结果按元素相乘操作生成图像特征的通道注意信息；
[0026]将雷达特征的空间注意信息和图像特征的通道注意信息进行拼接融合操作生成图像雷达特征张量，然后利用检测头进行二次回归得到目标的深度、速度、转角和属性等信息；
[0027]如上所述，本专利技术的一种毫米波雷达和视觉特征注意力融合的目标检测方法的特点及有益效果是：
[0028](1)提出了一种利用毫米波雷达散射截面强本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种毫米波雷达和视觉特征注意力融合的目标检测方法，其特征在于，该方法包括以下步骤：步骤一：获取毫米波雷达点云数据和视觉相机的帧图像；步骤二：对所述雷达点云数据进行预处理操作，然后将预处理后的所述雷达点云数据与所述帧图像在数据层进行融合；步骤三：对所述帧图像进行初步的检测，提取图像特征；步骤四：将所述雷达点云数据与所述帧图像进行目标关联，提取雷达特征；步骤五：将所述图像特征和所述雷达特征输入特征注意力融合模块，合理分配两种特征的权重；步骤六：利用3Dbox解码器解码出目标的检测结果并输出。2.根据权利要求1所述的毫米波雷达和视觉特征注意力融合的目标检测方法，其特征在于，所述步骤二中，对所述雷达点云数据进行预处理操作的具体步骤为：多次对雷达探测点进行扫描并累加其数据，增加点云的密度；加载点云数据，通过设置合适距离的阈值按距离过滤点并为雷达点云添加z偏置，移除速度不正常的雷达点云；雷达点表示为以自我中心坐标系统下雷达探测的3D点，将其参数化为P
radar
(x，y，z，v
x
，v
y
，σ)，其中(x，y，z)表示目标的位置，v
x
，v
y
分别是目标在x，y方向上的径向速度，σ表示目标的散射截面强度；通过数据集中给定的摄像机内外参数，将毫米波雷达点投影到图像平面。3.根据权利要求2所述的毫米波雷达和视觉特征注意力融合的目标检测方法，其特征在于，将毫米波雷达点云投影到图像平面的具体步骤为：经过坐标转换，将毫米波雷达点从自我坐标系转换到图像坐标系下，生成与视觉图像具有相同尺寸的雷达图像；将点云数据以像素在纵向上初步扩展为0.5
‑
2.0米的高度范围，在横向上初步扩展为0.2
‑
1.5米的宽度范围，为雷达信息和摄像机的像素之间进行初步的关联；通过雷达点的散射截面强度σ来自适应调整雷达图像上雷达点像素在横向宽度和纵向高度的具体高度值，以获得大小可变化的二维点云像素面积。4.根据权利要求1所述的毫米波雷达和视觉特征注意力融合的目标检测方法，其特征在于，所述步骤二中，将预处理后的所述雷达点云数据与所述帧图像在数据层进行融合的具体步骤为：先利用毫米波雷达回波得到的深度信息，在X，Y轴的速度分量v
x
、v
y
作为像素值投影到视觉图像通道中，在没有雷达回波的像素位置，将对应的雷达通道全部设置为零；最后将加入雷达信息的视觉图像转换为的三通道图像，实现毫米波雷达点云数据与所述帧图像在数据层...

【专利技术属性】
技术研发人员：纪元法，张芬兰，孙希延，李晶晶，付文涛，梁维彬，赵松克，
申请(专利权)人：南宁桂电电子科技研究院有限公司，
类型：发明
国别省市：