一种基于对称点生成的点云3D目标检测方法技术

本发明专利技术涉及一种基于对称点生成的点云3D目标检测方法。本发明专利技术首先对原始点云进行过滤并体素化检测空间，生成初始体素特征输入到对称点生成模块，通过其编解码结构获得高层语义特征并经过分类头和回归头进行前景点分割以及对称点预测，将预测的前景点对应的对称点集与非空体素中心点集组成增强点云作为区域提案网络的输入，通过其骨干网络进一步提取俯视图特征，并作为检测头的输入，检测头最终输出待检测物体的3D框。本发明专利技术利用检测对象的对称性，生成对称点，从根本上缓解了点云中物体结构缺失的问题，能够改善回归效果并提高检测精度，同时支持将RPN替换成其他基于体素的检测方法，使得原来检测效果较差的检测器也能产生具有竞争力的检测结果。

【技术实现步骤摘要】
一种基于对称点生成的点云3D目标检测方法
本专利技术涉及自动驾驶、3D目标检测
，具体地涉及一种基于对称点生成的3D目标检测算法。
技术介绍
三维目标检测由于其在自主驾驶、机器人等领域的广泛应用，越来越受到工业界和学术界的关注。激光雷达传感器广泛应用于自动驾驶车辆和机器人中，以点云形式捕捉三维场景信息，为三维场景的感知和理解提供重要信息。由于点云可以保留物体的原始尺寸，所以不存在物体在图像中分辨率太低问题，而且即使在夜晚，激光雷达也能正常工作。因此，在点云场景下进行物体检测成为3D目标检测的热点。当前，3D目标检测方法主要分为两类，一种类基于图像的检测方法，比如chen等人提出的面向自主驾驶的单目三维目标检测(Monocular3DObjectDetectionforAutonomousDriving)。该方法将单目中的3D物体检测问题看作两步完成：首先该方法提出了一个生成一组类相关的物体推荐候选框的方法，然后利用一个CNN网络利用这组候选框提取出高质量的3D物体检测框，是单目3D目标检测的开山之作。但是这类方法往往需要一系列假设条件，比本文档来自技高网...

【技术保护点】
1.一种基于对称点生成的点云3D目标检测方法，其特征在于，包括以下步骤：/n步骤1：过滤点云并体素化检测空间，计算对称点生成模块的输入即体素初始特征，生成前景点标签，生成对称点相对于前景点的位置偏移标签；/n步骤2：搭建对称点生成模块，构造对称点生成模块中编码器、解码器，为对称点生成模块分别添加分类头和回归头，构建前景点分割任务的损失函数、对称点预测任务的损失函数，进一步构建对称点生成模块的损失函数；/n步骤3：通过对称点生成模块预测的对称点相对于前景点的位置偏移，将预测的对称点组成对称点集，结合对称点集与体素中心点集生成增强点云；/n步骤4：定义区域提案网络，构建区域提案网络中骨干网络，构建...

【技术特征摘要】
1.一种基于对称点生成的点云3D目标检测方法，其特征在于，包括以下步骤：
步骤1：过滤点云并体素化检测空间，计算对称点生成模块的输入即体素初始特征，生成前景点标签，生成对称点相对于前景点的位置偏移标签；
步骤2：搭建对称点生成模块，构造对称点生成模块中编码器、解码器，为对称点生成模块分别添加分类头和回归头，构建前景点分割任务的损失函数、对称点预测任务的损失函数，进一步构建对称点生成模块的损失函数；
步骤3：通过对称点生成模块预测的对称点相对于前景点的位置偏移，将预测的对称点组成对称点集，结合对称点集与体素中心点集生成增强点云；
步骤4：定义区域提案网络，构建区域提案网络中骨干网络，构建区域提案网络中检测头，构建区域提案网络网络的损失函数；
步骤5：使用点云网络训练集进行训练，通过步骤1的点云数据处理得到初始体素特征，接着通过步骤2的对称点生成模块得到前景点对应的对称点，然后通过步骤3将非空体素中心点与对称点组成增强点云，最后通过步骤4的区域提案网络得到最终的物体检测框，结合综合点云网络的损失函数，使用点云网络训练集中进行训练得到寻优化网络参数，用于构建训练后点云网络；
步骤6：将待检测场景的点云数据输入训练后的点云网络，进行3D检测框预测，得待检测场景中目标的3D检测框。


2.根据权利要求1所述的基于对称点生成的点云3D目标检测方法，其特征在于：
步骤1所述过滤点云并体素化检测空间为：
原始点云为：



其中，表示第i个点的坐标，分别表示第i个点的x轴坐标、y轴坐标、z轴坐标，过滤掉原始点云中不在检测范围内的点，所述检测范围为



则过滤后的点云为其中Oj表示检测范围空间内第j个点的坐标，分别表示检测范围空间内第j个点的x轴坐标、y轴坐标、z轴坐标；
之后对检测范围空间进行体素化，体素尺寸为wv×lv×hv，wv,lv,hv分别表示体素的宽长高，则体素中心点集合为：



其中，V(k,m,n)表示x轴方向上第k个、y轴方向上第m个、z轴方向上第n个体素中心点的坐标，具体计算公式如下：






体素化后的空间分辨率为W×L×H；体素中心点集合也可以简化表示成如下形式其中Vi表示第i个体素中心点，N3＝W×L×H；
步骤1所述计算对称点生成模块的输入即体素初始特征为：
坐标为(k,m,n)的体素的初始特征f(k,m,n)为落在其内部的点的坐标平均值，具体计算公式如下：



其中N(k,m,n)表示落在坐标为(k,m,n)的体素内点的数量，Oq表示落在坐标为(k,m,n)的体素内第q个的坐标，因此所述体素初始特征为：
F＝{f(k,m,n)|k∈[1,W],m∈[1,L],n∈[1,H],k,m,n∈Z}
其中，所述F的空间分辨率也为W×L×H，其张量表示形式为[WLH3]；
步骤1所述生成前景点标签为：
所谓前景点就是落在3D标注框内部的体素中心点，用(px,py,pz)表示前景点坐标，其标签s为1，数量为Npos；落在3D标注框内部的体素中心点被称作背景点，其标签s＝0；
用(xg,yg,zg,wg,lg,hg,θg)表示3D标注框，其中(xg,yg,zg)表示3D标注框的中心点坐标，wg,lg,hg表示3D标注框的宽长高，θg表示俯视视角下的旋转角；
步骤1生成对称点相对于前景点的位置偏移标签为：
首先使用下面公式计算出前景点在3D标注框内的对称点：






其中(rx,ry,rz)表示前景点在3D框中的相对位置坐标；接着可以计算出对称点的相对位置坐标(1-rx,ry,rz)，最后利用下面公式计算出对称点的位置标签(px′,py′,pz′)
tx′＝(1-rx)w-0.5,ty′＝ryl-0.5,pz′＝rzh-0.5+cz



则对称点相对于前景点的位置偏移标签为ΔP＝(px′-px,py′-py)；其中公式出现的变量含义已在前述给出。


3.根据权利要求1所述的基于对称点生成的点云3D目标检测方法，其特征在于：
步骤2所述搭建对称点生成模块具体为：
所述对称点生成模块由编码器、解码器、任务头依次级联组成；
所述编码器由升维模块、下采样模块级联组成；
所述升维模块由第一层子流形卷积层、第二层子流形卷积层级联组成，用来将特征的维度升高，其输入是初始体素特征，输出为升维后的体素特征，用张量表示为[WLHC1],C1为维度，W、L、H是其空间分辨率的宽、长、高；子流形卷积层的卷积核大小都为w1×w1×w1，步长都为k1×k1×k1；
所述下采样模块由三个下采样子块组成；每个下采样子块均由稀疏卷积层、第一层子流形卷积层、第二层子流形卷积层级联组成，用来降低特征的空间分辨率，减少计算量，其输入为升维后的体素特征，其输出为空间分辨率降低为2n倍的体素特征，这里n为子块个数，用张量表示为稀疏卷积层和稀疏卷积层的卷积核大小都为w1×w1×w1，步长都为k2×k2×k2；
所述解码器由上采样模块组成；
上采样模块由四个上采样子块构成，每个上采样子块由第一层稀疏卷积层、第二层稀疏卷积层、稀疏反卷积层组成，其输入为空间分辨率降低的体素特征，输出为原始空间分辨率的体素特征，其张量表示与升维后的体素特征相同，为[WLHC1]；稀疏卷积层和稀疏反卷积层的卷积核大小均为w1×w1×w1，步长都为k2×k2×k2；
所述任务头由分类头和回归头并联组成；
所述的分类头和回归头均由一层线性层组成，其输入都是原始空间分辨率的体素特征；分类头的线性层的输入、输出维度分别为C1、C3，分类头的线性层的输入、输出维度分别为C1、C4，；输出分别是每个点的前景点分割分数以及其对称点相对于自身的偏移；卷积层的当一个点的前景点分割分数阈值T则被这个点被网络认为是前景点，将网络预测的前景点对应的对称点和体素中心点组成增强点云作为区域提案网络的输入；
上述模块的待寻优参数都是各个层的卷积核权值Wij,Wij表示第i层第j个卷积核权值；
步骤2所述构造对称点生成模块中编码器、解码器为：
将一个卷积核尺寸为w1×w1×w1、步长为k2×k2×k2的稀疏卷积层和两个卷积核尺寸为w1×w1×w1、步长为k2×k2×k2的子流形卷积层组成的结构称为一个下采样模块的子块，这里令w1＝3，k2＝3；
用于输入初始体素特征，首先使用升维模块，即两个卷积核尺寸为w1×w1×w1、步长为k1×k1×k1的子流形卷积层将初始体素特征的维度升到C1维；这里令k1＝1，C1＝16；
然后使用3个子块将特征空间分辨率下采样n倍，特征维度C1从变为2C1，C2，C2；
最终的下采样特征使用张量形式表示为
接着再使用4个上采样模块的子块将特征空间分辨率回复到原来的尺度，张量形式表示为[WLHC1]；
所述上采样模块的子块，首先通过稀疏卷积将横向特征和底层特征进行融合和变换，然后通过稀疏逆卷积对融合后的特征空间分辨率上采样2倍；
步骤2所述分别添加分类头和回归头为：
对称点生成模块需要输出的是前景点预测分数和对称点相对于前景点的位置偏移分别表示网络预测的x、y方向上的位置偏移；因此需要添加在编码器解码器后并行添加一个分割模块输出前景点预测分数以及一个回归模块输出对称点相对于前景点的位置偏移；
所述分割模块由一层线性层构成，其输入为编码器-解码器结构的输出特征[WLHC1]，其输出为体素中心点的前景点预测分数，是一个[N31]的张量，N3是体素中心点个数；
所述回归模块由一层线性层构成，其输入为编码器-解码器结构的输出特征[WLHC1]，其输出为对称点相对于前景点的位置偏移，是一个[N32]的张量，N3是体素中心点个数；
步骤2所述构建前景点分割任务的损失函数、对称点预测任务的损失函数，进一步构建对称点生成模块的损失函数为：
前景点分割任务的损失函数如下式所示：






其中，si定义为二值标签，用来表示第i个体素中心点是否是前景点，是的话值为1，否则为0；是分割头输出的坐标第i个体素中心点的前景点预测分数，在区间[0,1]范围内；Npos是前景点的个数；αt、γ分别是第一超参数、是第二超参数；
网络预测的第i个对称点相对...

【专利技术属性】
技术研发人员：邹炼，范赐恩，金伟正，陈庆生，李晓鹏，李方玉，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42