一种鸟瞰图编码视角下的3D点云语义分割方法技术

本发明专利技术公开了一种鸟瞰图编码视角下的3D点云语义分割方法，该方法对于输入的3D点云，通过一种基于体素的编码方式将其转换到鸟瞰图视角下，并通过一种简化的PointNet网络提取每个体素的特征，将其转换成可以直接利用2D卷积网络处理的特征图，并利用通过分解卷积和空洞卷积重构的残差模块组成的全卷积网络结构处理编码后的特征图，得到端到端的像素级语义分割结果，能够加速点云网络语义分割，在硬件受限的情况下达到高精度实时大场景下的点云分割任务。本发明专利技术可以直接用于机器人、无人驾驶和无序抓取等任务，且由于该方法在编码方式和网络结构上的设计，使得在拥有高精度点云语义分割的同时，系统开销更小，更加适合机器人和无人驾驶等硬件受限的场景。

【技术实现步骤摘要】
一种鸟瞰图编码视角下的3D点云语义分割方法
本专利技术属于计算机视觉领域，具体涉及一种鸟瞰图编码视角下的3D点云语义分割方法。
技术介绍
2014年R-CNN卷积神经网络的提出，基于卷积神经网络的特征提取方法慢慢取代在2010年左右就开始停滞不前的原始的传统手工特征提取方法。基于卷积神经网络处理二维图像的方法开始主导计算机视觉技术的发展，其成功的关键在于卷积操作对于图像特征的有效提取、基于数据驱动的网络模型拟合方法对模型参数的准确拟合和深度网络本身具有的冗余结构所带来的高鲁棒性及可拓展性。卷积神经网络所具有的这些特性，使得其可以通过大量的数据和精巧的结构来较好的完成计算机对环境的理解任务。二维卷积在图像领域取得巨大成功，当对大规模三维场景进行理解和分析时，自然而然地是扩展二维卷积成三维卷积，直接利用三维卷积处理点云。然而由于点云一般高稀疏且缺少表面纹理信息，这种直接利用三维卷积处理点云的方法系统开销过于庞大，难以实时处理点云信息。为了减少三维卷积直接处理点云的开销，有些研究提出对点云进行体素划分，然后在体素网格上进行三维卷积。这本文档来自技高网...

【技术保护点】
1.一种鸟瞰图编码视角下的3D点云语义分割方法，其特征在于，包括如下步骤：/n(1)将点云编码投射到鸟瞰图视角下，构建能够被2D卷积直接处理的特征图：首先在世界坐标系下，在鸟瞰图视角下划分网格，将点云中的每个点按照其x，y，z坐标分配到网格划分所得到的不同体素中，并利用简化版的PointNet提取每个体素中所有点的特征形成能够供2D卷积直接处理的特征图(H,W,C)；/n(2)点云语义分割网络：该网络处理的数据为步骤(1)得到的(H,W,C)形式的特征图，网络结构由分解卷积和空洞卷积组成的残差模块的搭建的编码器和解码器两部分组成；其中残差模块和下采样模块构成编码器，残差模块和上采样模块构成解码...

【技术特征摘要】
1.一种鸟瞰图编码视角下的3D点云语义分割方法，其特征在于，包括如下步骤：
(1)将点云编码投射到鸟瞰图视角下，构建能够被2D卷积直接处理的特征图：首先在世界坐标系下，在鸟瞰图视角下划分网格，将点云中的每个点按照其x，y，z坐标分配到网格划分所得到的不同体素中，并利用简化版的PointNet提取每个体素中所有点的特征形成能够供2D卷积直接处理的特征图(H,W,C)；
(2)点云语义分割网络：该网络处理的数据为步骤(1)得到的(H,W,C)形式的特征图，网络结构由分解卷积和空洞卷积组成的残差模块的搭建的编码器和解码器两部分组成；其中残差模块和下采样模块构成编码器，残差模块和上采样模块构成解码器，两者组成端到端的像素级点云语义分割网络；
(3)网络训练：
网络输入为无序点云数据，通过以数据为驱动的方法进行模型训练，模型使用交叉熵函数作为损失函数，同时为不同类别的误差损失加上惩罚权重以缓解数据分布不均衡的现象：



其中下标c代表类别，wc代表对惩罚权重，由fc决定，fc代表类别c物体在数据集出现频率；代表网络预测值；
利用损失函数公式计算网络总误差，然后通过误差反向传播以及随机梯度下降法对网络参数进行更新，不断迭代直至模型损失函数收敛，训练完成。


2.根据权利要求1所述的一种鸟瞰图编码视角下的3D点云语义分割方法，其特征在于，步骤(1)的具体实现方法如下：
(1.1)鸟瞰图视角下网格划分：
鸟瞰图视角下划分网格，在x-y平面下按照设定尺寸划分网格；对于点云中每一个点p，都包含有x，y，z三个维度的特征，按照其x，y坐标将其分配网格划分得到的不同体素中；然后对于内部含有点的体素，计算体素内部所有点坐标的平均值标记为xc,yc,zc，同时计算体素内部各个点对于体素中心点x，y的偏差，记作xp和yp，在经历过扩充后，点云中的点至少有D＝9个维度的特征；
(1.2)划分后的点云向特征图转换：
将每个体素内的最大点数限制为N，把点云转换成(P,N,D)张量的形式；接着利用简化版的PointNet网络将每个点的特征映射到高维特征空间，得到的输出为(P,N,C)...

【专利技术属性】
技术研发人员：杨树明，李述胜，袁野，王腾，胡鹏宇，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61