【技术实现步骤摘要】
本专利技术属于计算机深度学习和汽车电子领域，主要涉及是一种基于darknet53网络的4d毫米波雷达点云目标检测方法，能够高效准确的从4d毫米波雷达点云中提取目标特征，对目标进行定位和分类。主要应用于自动驾驶汽车上的多传感器融合或是纯4d毫米波雷达的目标检测。
技术介绍
1、尽管摄像头和lidar传感技术发展迅速，但汽车雷达因其在不同天气和照明条件下的鲁棒性，仍然是智能汽车环境感知单元中的重要一员，在智能驾驶和自动驾驶系统中发挥了非常重要的作用。摄像头可以为自主驾驶感知系统提供丰富的语义信息，并执行车辆和行人识别、信号灯颜色识别和交通标志识别等任务。然而，当受到有限的视觉深度和不利的天气和光线条件的影响时，需要图像分类算法提供的高容量数据处理来弥补摄像头的不足。在类似的情况下，lidar需要强大的计算能力来克服输入数据的损坏，这需要付出很昂贵的代价，并且会降低整个网络输出的准确性，为驾驶安全带来隐患。汽车雷达可以在大多数自主驾驶场景中提供高度准确的物体识别和定位，即使在雾、雨、雪天气条件和不良的照明条件下，如夜间和逆光。然而，目前市场主流的毫米波雷达仍存在无法测高、水平角度分辨率较低、点云稀疏从而导致空间信息不足等局限性，在部分使用场景下会产生误检和漏检等问题。与普通毫米波雷达相比，4d毫米波成像雷达增加了高度测量信息，可以输出高质量、丰富的测量点。基于对这些数据的处理，可以获得更多的环境信息。但目前针对4d毫米波雷达点云的目标检测方法研究还相对较少。
技术实现思路
1、本专利技术
2、本专利技术通过以下措施达到：
3、步骤1网络前处理：我们将4d毫米波雷达的三维点云投影并离散成边长为8的二维网格，4d毫米波雷达点云的选取范围pω如下：
4、pω＝{p＝[x，y，z]t|x∈[0，40m]，y∈[-40m，40m]，z∈[-2m，1.25m]}
5、我们定义了一个映射函数sj＝fps(pωi，g)，它将4d毫米波雷达点云在上述范围内的每个索引i的点映射到我们的二维网格中的一个特定网格单元sj，具体公式如下：
6、pωi→j＝{pωi＝[x，y，z]t|sj＝fps(pωi，g)}
7、我们将二维网格图中的雷达高度特征、速度特征、反射强度特征和网格密度特征组成rgb形式的特征伪图，公式如下：
8、zg(sj)＝max(pωi→j·[0，0，1]t)
9、zb(sj)＝max(i(pωi→j))
10、zv(sj)＝max(v(pωi→j))
11、zr(sj)＝min(1.0，log(n+1)/64)n＝|pωi→j|
12、上式中，zg代表一个网格单元中最高点的高度，zb代表一个网格单元内各点最大的反射强度，zv代表各点最大速度，n代表投影到一个网格单元的点的数量，zr代表所有点的归一化密度。将一个网格表示成rgb图中的一个像素，其中r为zg，g为zb，b为zr，zv为除rgb三通道外的第4通道与rgb三通道拼接在一起，最终成为一张608×608的特征伪图。
13、步骤2搭建网络模型：构建的网络模型包括darknet53主干网络以及spp结构，darknet53网络主要是由53个卷积层组成，每个卷积层由卷积操作、批标准化(batchnormalization)和leaky-relu激活函数组成，且网络中不包含池化层，用步长为2的3×3卷积层来起到池化层的作用，后续描述中会将这类卷积层称为卷积池化层，darknet53网络结构中还大量使用了残差结构，每两个卷积层后就会有一个残差连接，将输出和输入在深度上进行拼接，具体为输入图像先经过一个通道数为32的3×3卷积，再经过一个通道数为64的卷积池化层后输入残差结构，后面所有的残差结构都为两个卷积层和一个残差连接所组成，其中第一个卷积层都为通道数是残差结构输入的一半的1×1卷积，第二个卷积层都是通道数与残差结构输入相同的3×3卷积，之后经过一个卷积池化层，2个残差结构，一个卷积池化层，8个残差结构，一个卷积池化层，8个残差结构，一个卷积池化层，4个残差结构后得到特征图。后续为融合全局特征和局部特征加入了一个spp结构，其由四个并行的分支构成，分别是kernel size为5×5，9×9，13×13的最大池化和一个跳跃连接，得到的输出为最终的特征图进检测头进行检测。
14、步骤3后处理：我们在使用yolov3网络的检测头的基础上，再加上了车辆方位角的虚部和实部两个检测头，yolov3的检测头会为我们预测目标物体的位置以及类别和置信度，方位角的虚部和实部(tim，tre)则通过下述公式来预测车辆方位角bφ。
15、
16、损失函数则可以表示为下述公式：
17、l＝lyolo+leuler
18、
19、上式中lyolo为yolov3网络中所使用的损失函数，leuler则为方位角所使用的损失函数，其中λcoord是一个控制参数，用于使训练梯度更加稳定，表示该网格中存在或没有物体，则为真实值。
20、此项专利申请与以往技术相比有益的效果：
21、(1)提出了一种新的4d毫米波雷达点云数据处理方法，将三维点云投影为二维鸟瞰网格图，并将雷达信息拼接成rgb形式的四通道特征伪图，以视觉目标的形式送入目标检测网络。这种方法可以有效提高整个目标检测效率。
22、(2)将darknet53网络应用于4d毫米波雷达目标检测，为融合全局特征和局部特征加入了一个spp结构，针对数据前处理的输出对应修改darknet53网络中的参数。
23、(3)在使用yolov3网络的检测头的基础上，还增加了方位角的虚部和实部的探测头来确定车辆的方向。
本文档来自技高网...【技术保护点】
1.一种新的4D毫米波雷达点云数据处理方法，其特征在于将三维点云投影为二维鸟瞰网格图，并将雷达信息拼接成四通道的特征伪图，以视觉目标的形式送入目标检测网络。这种方法可以有效提高整个目标检测效率。
2.根据权利要求1所述的目标检测网络，其特征在于将Darknet53网络应用于4D毫米波雷达目标检测，为融合全局特征和局部特征加入了一个SPP结构，针对数据前处理的输出对应修改Darknet53网络中的参数。
3.根据权利要求1或2所述的目标检测网络的检测头，其特征在于在使用YOLOv3网络的检测头的基础上，还增加了方位角的虚部和实部的探测头来确定车辆的方向。
【技术特征摘要】
1.一种新的4d毫米波雷达点云数据处理方法，其特征在于将三维点云投影为二维鸟瞰网格图，并将雷达信息拼接成四通道的特征伪图，以视觉目标的形式送入目标检测网络。这种方法可以有效提高整个目标检测效率。
2.根据权利要求1所述的目标检测网络，其特征在于将darknet53网络应用于4d毫...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。