【技术实现步骤摘要】
本专利技术属于智能驾驶，涉及到目标检测，具体涉及到一种截断目标的3d障碍物检测方法。
技术介绍
1、自动驾驶相关技术可以简要地分为感知、预测、定位、决策、以及规划控制。其中，感知通常指通过算法解析传感器(如：激光雷达、光学摄像头、超声波雷达等)的数据，完成对周边环境实时的建模，并将建模好的世界模型输入到下游的决策规划等模块使用。
2、感知系统是自动驾驶系统的一个核心子系统，而目标检测object detection就是感知系统的核心技术，感知系统要求根据不同的传感器设计不同的感知算法，从而准确的检测出车辆前方的障碍物。常见的目标检测方法包括：2d目标检测方法与3d目标检测方法；2d目标检测方法中图像上2d框对下游来说，只能知道相机前是否有目标，不能提供准确的车体坐标系下3d空间位置，无法满足自动驾驶厘米级的感知需求，因此，不适用于无人驾驶的规划及控制任务，且常见的2d目标检测方法仅仅在图像上生成目标的2d边界框，难以获取目标与自车之间的横向、纵向距离信息。3d目标检测方法，可以获取物体的3dbbox(真实三维世界中包围目标物体的最小长方体)，3d目标检测系统要求算法能够对实时视频中的单帧图像完成3d目标检测，在有相机的内参和外参矩阵基础上，将输出结果映射到统一的世界坐标系或者车身坐标系中。
3、然而，尽管深入学习技术的应用已经给3d视觉目标检测带来了很大发展，但是3d目标检测依然还有很多痛点问题有待解决，且针对目前有关无人驾驶近处截断目标物的研究较少，同时在近处他车超车或者变道等重要场景易出现截断目标，主
4、1.目标被遮挡，遮挡分为两种情况，目标物体相互遮挡和目标物体被背景遮挡；
5、2.图像中存在很多小目标，相对输入图片大小，目标物体所占像素点极少；
6、3.目标被截断，部分物体被图片截断，即在图片中智能显示部分物体。
7、当物体出现上述目标遮挡、被截断时，导致图像不能完整观测到整个目标，从而导致对目标的尺寸、位置、朝向不能得到有效的检测；当图像中存在很多小目标时，在图像中是模糊的，通常目标较小，因此会出现漏检、误检的风险。
技术实现思路
1、针对上述问题，本专利技术的主要目的在于设计一种截断目标的3d障碍物检测方法，解决目标被遮挡、截断时造成的尺寸、位置不能有效检测的问题。
2、为了实现上述目的本专利技术采用如下技术方案：
3、一种截断目标的3d障碍物检测方法，包括如下步骤：
4、步骤1：获取港口实车采集的像素帧数据，并针对数据中包含目标物的数据组成数据集，标注每个目标物的3d包络框，组成目标检测训练集；
5、步骤2：将目标检测训练集中的3d包络框进行角点编码和尺寸编码；
6、步骤3：构建深度卷积神经网络模型，并在深度卷积神经网络模型中加入3d包络框的回归分支、截断属性分支；
7、步骤4：使用深度卷积神经网络模型进行参数迭代，得到更新后的卷积神经网络模型，即获得训练好的目标检测模型。
8、作为本专利技术进一步的描述，所述步骤1中，目标物为三维目标，所述3d包络框表达方式为：目标物任意一个角点3d坐标+此角点在3d包络框位置+航向角+长宽高；
9、其中，所述角点为目标物与地面相接触的角点，定义为接地点，包括左前接地点、右前接地点、左后接地点、右后接地点。
10、作为本专利技术进一步的描述，所述步骤2中，角点编码包括：角点空间位置编码以及对应的角点热力图编码；
11、角点空间位置编码根据目标物在图像上的截断状态，选择预测关键点，并赋予关键点语义特征，通过角点热力图编码将关键点投影到热力图上，以高斯圆进行表示该投影点，得到目标物在热力图上的像素坐标。
12、作为本专利技术进一步的描述，所述角点空间位置编码的关键点预测，包括如下步骤：
13、s21：根据目标物投影在图像内的状态进行所述关键点的确定；
14、目标物的中心投影在图像内，将3d包络框的中心点作为关键点，目标物的中心投影在图像外，根据目标物的截断属性确定关键点；
15、s22：截断属性为目标物在图像的截断状态，包括左前接地点露出、右前点接地点露出、左后接地点露出、右后接地点露出；
16、s23：根据截断状态将露出的接地点作为关键点；
17、若两个或者两个以上的接地点露出，则将距离图像中心的欧式距离最小的露出接地点作为关键点。
18、作为本专利技术进一步的描述，根据关键点的确定，将目标物编码为0，1，2，3，4五种语义特征，分别为：
19、0)目标完整，未被画面边缘截断；
20、1)目标被截断，露出左前点；
21、2)目标被截断，露出右前点；
22、3)目标被截断，露出左后点；
23、4)目标被截断，露出右后点。
24、作为本专利技术进一步的描述，所述角点热力图编码为通过热力图表示目标物在图像上的位置信息，且每一类目标物对应一张热力图，得到目标物关键点的3d坐标在热力图上的像素坐标，用高斯圆在像素位置生成热力图。
25、作为本专利技术进一步的描述，所述步骤3中，构建深度卷积神经网络模型，包括如下步骤：
26、s31：骨干网络采用改良的vgg网络，包括自底向上的五个模块，每个模块均使用2x2的池化核，堆叠3x3的小卷积核替代5x5以及7x7的卷积核，每个卷积核的输出经过批量归一化，再经过relu激活函数做非线性处理；
27、s32：颈部网络采用fpn特征图金字塔网络结构，对骨干网络得到的特征进一步处理和融合；
28、s33：头部网络设计了一个分类器和一个回归器，分类器使用sigmoid层，用于输出目标属于前景类还是背景类；回归器设置了多个分支层，分别用于不同的任务训练；
29、s34：头部网络的各个分支中用于分类的分支使用交叉熵损失函数，用于回归热力图分支、截断属性分支，头部网络中回归器包含深度回归、尺寸回归、航向角回归，使用l1范数损失函数，各分支损失函数相加为总损失函数。
30、作为本专利技术进一步的描述，所述步骤4中，使用深度卷积神经网络进行参数迭代，得到训练好的目标检测模型，包括如下步骤：
31、s41：将目标检测训练集的3d包络框送入深度卷积神经网络，初始化卷积核的权值和偏置，从输入层开始，通过一系列的卷积层、激活函数、池化层，得到最终的预测结果，并根据预测结果和真值的差异，计算当前网络的损失函数；
32、s42：计算损失函数对输出层每个权值的梯度，然后依次向前计算每一层的梯度，得到整个网络中每个权值的梯度，使用梯度下降法或其他优化算法，根据权值的梯度大小更新权值；经过多次迭代不断调整权值，得到训练好的目标检测模型。
33、相对于现有技术，本专利技术的技术效果为：
34、本专利技术提供了一种截断目标的3d障碍物检测方法，针对目本文档来自技高网...
【技术保护点】
1.一种截断目标的3D障碍物检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种截断目标的3D障碍物检测方法，其特征在于：所述步骤1中，目标物为三维目标，所述3D包络框表达方式为：目标物任意一个角点3D坐标+此角点在3D包络框位置+航向角+长宽高；
3.根据权利要求1所述的一种截断目标的3D障碍物检测方法，其特征在于：所述步骤2中，角点编码包括：角点空间位置编码以及对应的角点热力图编码；
4.根据权利要求3所述的一种截断目标的3D障碍物检测方法，其特征在于：所述角点空间位置编码的关键点预测，包括如下步骤：
5.根据权利要求4所述的一种截断目标的3D障碍物检测方法，其特征在于：根据关键点的确定，将目标物编码为0，1，2，3，4五种语义特征，分别为：
6.根据权利要求3所述的一种截断目标的3D障碍物检测方法，其特征在于：所述角点热力图编码为通过热力图表示目标物在图像上的位置信息，且每一类目标物对应一张热力图，得到目标物关键点的3D坐标在热力图上的像素坐标，用高斯圆在像素位置生成热力图。
7.根据权利
8.根据权利要求2所述的一种截断目标的3D障碍物检测方法，其特征在于：所述步骤4中，使用深度卷积神经网络进行参数迭代，得到训练好的目标检测模型，包括如下步骤：
...【技术特征摘要】
1.一种截断目标的3d障碍物检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种截断目标的3d障碍物检测方法，其特征在于：所述步骤1中，目标物为三维目标，所述3d包络框表达方式为：目标物任意一个角点3d坐标+此角点在3d包络框位置+航向角+长宽高；
3.根据权利要求1所述的一种截断目标的3d障碍物检测方法，其特征在于：所述步骤2中，角点编码包括：角点空间位置编码以及对应的角点热力图编码；
4.根据权利要求3所述的一种截断目标的3d障碍物检测方法，其特征在于：所述角点空间位置编码的关键点预测，包括如下步骤：
5.根据权利要求4所述的一种截断目标的3d障碍物检测方法，其特征在...
【专利技术属性】
技术研发人员：李鹏程，赖杰，衡量，
申请(专利权)人：上海友道智途科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。