三维目标检测方法及三维目标检测器技术

本发明专利技术提出了一种三维目标检测方法及三维目标检测器。所述三维目标检测方法主要包括以下步骤：对三维目标检测数据集的图像数据进行语义分割，得到语义预测；将语义预测投影到点云空间中，并筛选特定类别的点形成视锥；构建三维目标检测网络，并将视锥作为三维目标检测网络的输入；通过损失函数强化三维目标检测网络对目标的敏感程度；优化三维目标检测网络。本发明专利技术大大减少了三维检测的时间并且降低了计算需求，使得输入更加简单，具有很好的实时目标检测性能，在保持实时检测的同时也能获得很好的检测效果。

3D target detection method and 3D target detector

【技术实现步骤摘要】
三维目标检测方法及三维目标检测器
本专利技术涉及一种三维目标检测方法及三维目标检测器，属于模式识别领域。
技术介绍
基于点云的三维目标检测在现实生活中充当着重要的角色，例如自动驾驶、家庭机器人、增强现实和虚拟现实。相比较于传统的基于图像数据的目标检测方法，点云可以提供更加准确的深度信息用于定位物体和描绘物体形状。然而由于非均一化的三维空间采样、传感器的有效范围以及物体遮挡和相对位置等因素的限制，较于传统的图像数据，点云更加稀疏且各部分密度存在着较大的差异。为了解决上述问题，目前，一般使用人工提取特征的方法使得三维点云可以被对应目标检测器检测，然而这需要将全部点云作为输入并耗费大量的计算资源，且无法做到实时检测。有鉴于此，确有必要提出一种三维目标检测方法，以解决上述问题。
技术实现思路
本专利技术的目的在于提供一种三维目标检测方法，在保持实时检测的同时能够获得很好的检测效果。为实现上述目的，本专利技术提供了一种三维目标检测方法，主要包括以下步骤：步骤1：对三维目标检测数据集的图像数据进行语义分割，得到语义预测；步骤2：将步骤1所得语义预测投影到点云空间中，并筛选特定类别的点形成视锥；步骤3：构建三维目标检测网络，并将步骤2中所得视锥作为三维目标检测网络的输入；步骤4：通过损失函数强化三维目标检测网络对目标的敏感程度；步骤5：优化三维目标检测网络。可选的，步骤1中使用DeepLabv3+算法对三维目标检测数据集的图像数据进行语义分割，具体包括以下步骤：步骤11：通过DeepLabv3+算法在Cityscapes数据集上进行预训练；步骤12：对三维目标检测数据集的图像数据进行手动标记，并通过DeepLabv3+算法在手动标记的语义标签上进行微调；步骤13：通过语义分割对图像数据中的每一个像素进行分类，以得到语义预测。可选的，步骤2具体包括以下步骤：步骤21：利用已知的投影矩阵，将每个语义预测中的每个类别的区域投影到点云空间中，以使得点云空间的每个区域的类别属性与对应语义预测的每个区域的类别属性一致；步骤22：将特定类别的点从原始点云空间中筛选并提取出来，形成视锥。可选的，步骤3中，所述三维目标检测网络使用pytorch深度框架搭建形成，所述三维目标检测网络包括：使用网格的点云特征提取器、卷积中间提取层以及区域预选网络，且使用网格的点云特征提取器的输出作为卷积中间提取层的输入、区域预选网络的输入由卷积中间提取层提供。可选的，使用网格的点云特征提取器由一个线形层，一个批标准化层和一个非线性激活层组成；卷积中间提取层包括三个卷积中间模块，每个卷积中间模块由一个三维卷积层，一个批标准化层和一个非线性激活层顺序相连组成；区域预选网络由三个全卷积模块组成。可选的，步骤4中使用focalloss函数解决区域预选网络中存在的正负锚点的不平衡问题，所述focalloss函数为：FL(pt)＝-αt(1-pt)γlog(pt)，其中，pt是三维目标检测网络的估计概率，αt和γ为超参数调整系数。可选的，步骤4中，所述损失函数为：Ltotal＝β1Lcls+β2(Lreg_θ+Lreg_other)+β3Ldir+β4Lcorner，其中，Lcls为分类损失，Lreg_θ为三维候选框的角度损失，Lreg_other为三维候选框的其余参数校正损失，Ldir为方向损失，Lcorner为三维候选框的顶点坐标损失，β1，β2，β3，β4为超参数。可选的，步骤5具体为：将三维目标检测网络在KITTI数据集上进行训练优化。可选的，步骤5中使用随机梯度下降法和Adam优化器对所述三维目标检测网络进行训练优化。为实现上述目的，本专利技术还提供了一种三维目标检测器，所述三维目标检测器应用前述三维目标检测方法。本专利技术的有益效果是：本专利技术大大减少了三维检测的时间并且降低了计算需求，使得输入更加简单，具有很好的实时目标检测性能，在保持实时检测的同时也能获得很好的检测效果。附图说明图1是本专利技术三维目标检测方法的流程图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本专利技术进行详细描述。本专利技术揭示了一种三维目标检测方法及应用该三维目标检测方法的三维目标检测器。因三维目标检测器的具体结构可以根据实际情况进行设置，此处不作详细描述，以下将主要对三维目标检测方法进行详细说明。如图1所示，本专利技术的三维目标检测方法主要包括以下步骤：步骤1：对三维目标检测数据集的图像数据进行语义分割，得到语义预测；步骤2：将步骤1所得语义预测投影到点云空间中，并筛选特定类别的点形成视锥；步骤3：构建三维目标检测网络，并将步骤2中所得视锥作为三维目标检测网络的输入；步骤4：通过损失函数强化三维目标检测网络对目标的敏感程度；步骤5：优化三维目标检测网络。以下将对步骤1-步骤5做具体说明。步骤1中，通过DeepLabv3+算法(一种语义分割算法)来对三维目标检测数据集的图像数据进行语义分割，由于三维目标检测数据集的图像数据不包含分割的标记，所以需要先对三维目标检测数据集的图像数据进行手动标记，具体包括以下步骤：步骤11：通过DeepLabv3+算法在Cityscapes数据集上进行预训练200次迭代循环；步骤12：对三维目标检测数据集的图像数据进行手动标记，并通过DeepLabv3+算法在手动标记的语义标签上进行50次迭代循环的微调；步骤13：通过语义分割对图像数据中的每一个像素进行分类，以得到语义预测。步骤2中，将步骤1所得语义预测投影到点云空间中，并筛选特定类别的点形成视锥，具体包括以下步骤：步骤21：利用已知的投影矩阵，将每个语义预测中的每个类别的区域投影到点云空间中，以使得点云空间的每个区域的类别属性与对应语义预测的每个区域的类别属性一致；步骤22：将特定类别的点从原始点云空间中筛选并提取出来，形成视锥。步骤3中，使用pytorch深度框架搭建形成三维目标检测网络，该三维目标检测网络包含三个部分：使用网格的点云特征提取器，卷积中间提取层以及区域预选网络，且使用网格的点云特征提取器的输出作为卷积中间提取层的输入、区域预选网络的输入由卷积中间提取层提供。具体来讲，使用网格的点云特征提取器由一个线形层，一个批标准化层和一个非线性激活层组成，在使用网格的点云特征提取器时，先将视锥用设定大小的三维网格对整个视锥进行有序切割，并将每一个网格中的所有点云作为使用网格的点云特征提取器的输入。在卷积中间提取层中，为了增加感受野以获得更多的上下文，本专利技术使用了三个卷积中间模块，每个卷积中间模块由一个三维卷积层，一个批标准化层和一个非线性激活层顺序相连组成，它以使用网格的点云特征提取器的输出作为输入本文档来自技高网...

【技术保护点】
1.一种三维目标检测方法，其特征在于，主要包括以下步骤：/n步骤1：对三维目标检测数据集的图像数据进行语义分割，得到语义预测；/n步骤2：将步骤1所得语义预测投影到点云空间中，并筛选特定类别的点形成视锥；/n步骤3：构建三维目标检测网络，并将步骤2中所得视锥作为三维目标检测网络的输入；/n步骤4：通过损失函数强化三维目标检测网络对目标的敏感程度；/n步骤5：优化三维目标检测网络。/n

【技术特征摘要】
1.一种三维目标检测方法，其特征在于，主要包括以下步骤：
步骤1：对三维目标检测数据集的图像数据进行语义分割，得到语义预测；
步骤2：将步骤1所得语义预测投影到点云空间中，并筛选特定类别的点形成视锥；
步骤3：构建三维目标检测网络，并将步骤2中所得视锥作为三维目标检测网络的输入；
步骤4：通过损失函数强化三维目标检测网络对目标的敏感程度；
步骤5：优化三维目标检测网络。


2.根据权利要求1所述的三维目标检测方法，其特征在于：步骤1中使用DeepLabv3+算法对三维目标检测数据集的图像数据进行语义分割，具体包括以下步骤：
步骤11：通过DeepLabv3+算法在Cityscapes数据集上进行预训练；
步骤12：对三维目标检测数据集的图像数据进行手动标记，并通过DeepLabv3+算法在手动标记的语义标签上进行微调；
步骤13：通过语义分割对图像数据中的每一个像素进行分类，以得到语义预测。


3.根据权利要求1所述的三维目标检测方法，其特征在于：步骤2具体包括以下步骤：
步骤21：利用已知的投影矩阵，将每个语义预测中的每个类别的区域投影到点云空间中，以使得点云空间的每个区域的类别属性与对应语义预测的每个区域的类别属性一致；
步骤22：将特定类别的点从原始点云空间中筛选并提取出来，形成视锥。


4.根据权利要求1所述的三维目标检测方法，其特征在于：步骤3中，所述三维目标检测网络使用pytorch深度框架搭建形成，所述三维目标检测网络包括：使用网格的点云特征提取器、卷积中间提取层以及区域预选网络，且使用网格的点云特征提取器的输出作为卷积中间提取层的输入、区域预选网络的输入由卷积中间...

【专利技术属性】
技术研发人员：吴飞，陈峰，黄庆花，季一木，荆晓远，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32