一种数据驱动的大规模园林场景点云对象渐进发现方法技术

本发明专利技术提供了一种数据驱动的大规模园林场景点云对象渐进发现方法，包括以下步骤：步骤1，搭建对象检测网络，将园林点云输入至对象检测网络，生成对象的包围框，并根据包围框将对象点云裁剪出来，获得每个包围框的对象点云；步骤2，搭建前背景分割网络，将每个包围框的对象点云输入至前背景分割网络，获得前景点云；步骤3，搭建对象识别网络，将前景点云输入至对象识别网络，获得园林场景点云对象；步骤4，重复步骤2和步骤3直至所有包围框的对象点云被处理完

【技术实现步骤摘要】
一种数据驱动的大规模园林场景点云对象渐进发现方法


[0001]本专利技术属于三维计算机视觉领域，具体涉及一种数据驱动的大规模园林场景点云对象渐进发现方法
。

技术介绍

[0002]场景对象发现旨在从场景点云中找出场景中对象的位置并给出对象的类别标签
。
园林场景是一种较为特殊的场景，场景内部对象非常繁多，对象之间的边界较为模糊
。
同时，部分类别的对象属于不规则物体，类间差异较大，如何从这种点云中识别出有价值的对象依旧是一个难点问题
。
[0003]现有场景对象发现方法可以分为基于点
、
基于体素以及基于视图的方法，基于点的方法直接在点集上进行操作，如文献
1:Shi S,Wang X,Li H.Pointrcnn:3d object proposal generation and detection from point cloud[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2019:770
‑
779.
；文献2：
Ali W,Abdelkarim S,Zidan M,et al.Yolo3d:End
‑
to
‑
end real
‑
time 3d oriented object bounding box detection from lidar point cloud[C]//Proceedings of the European conference on computer vision(ECCV)workshops.2018:0
‑
0.
通过提取逐点的特征并送入后续的任务头以完成对象的发现，但是由于场景点云数量极大，逐点特征的提取会产生巨量的存储空间，这在实际应用中往往不可行
。
基于视图的方法，如文献
3:Zhou Y,Sun P,Zhang Y,et al.End
‑
to
‑
end multi
‑
view fusion for 3d object detection in lidar point clouds[C]//Conference on Robot Learning.PMLR,2020:923
‑
932.
；文献
4:Meyer G P,Laddha A,Kee E,et al.Lasernet:An efficient probabilistic 3d object detector for autonomous driving[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2019:12677
‑
12686.
；文献
5:Beltr
á
n J,Guindel C,Moreno F M,et al.Birdnet:a 3d object detection framework from lidar information[C]//2018 21st International Conference on Intelligent Transportation Systems(ITSC).IEEE,2018:3517
‑
3523.
；文献6：公开号为
CN114202546A
的中国专利“一种基于语义分割的园林图像量化方法”；文献7：公开号为
CN114926637A
的中国专利“基于多尺度距离图与点云语义分割的园林地图构建方法”，将点云投影至多个视图并使用二维处理网络提取特征和提取对象，但是由于园林场景对象之间的边界不够清晰，遮挡和自遮挡会使得投影产生巨额的信息损失，信息的丢失意味着算法无法准确找到对象的位置
。
基于体素的方法如文献
8:Zhou Y,Tuzel O.Voxelnet:End
‑
to
‑
end learning for point cloud based 3d object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2018:4490
‑
4499.
首先将点云体素化，并使用稀疏卷积对体素化场景进行处理，再使用三维识别头发现对象，然而这些方法要求在检测阶段就提供物体精确的包围框信息，考虑到园林场景的构成较为复杂，直接给出物体精确的包围框有可能是不可行的
。

技术实现思路

[0004]专利技术目的：本专利技术所要解决的技术问题是针对目前园林场景对象发现较为困难的问题，提出一种数据驱动的大规模园林场景点云对象渐进发现方法，包括如下步骤：
[0005]步骤1，搭建对象检测网络，将园林点云输入至对象检测网络，生成对象的包围框，并根据包围框将对象点云裁剪出来，获得每个包围框的对象点云；
[0006]步骤2，搭建前背景分割网络，将每个包围框的对象点云输入至前背景分割网络，获得前景点云；
[0007]步骤3，搭建对象识别网络，将前景点云输入至对象识别网络，获得园林场景点云对象；
[0008]步骤4，重复步骤2和步骤3直至所有包围框的对象点云被处理完，完成园林场景点云对象发现
。
[0009]进一步地，步骤1包括以下步骤：
[0010]步骤1‑1，对于一个输入园林点云
P∈R
N
×6，其中
N
为点数量，每一点包含
XYZ
坐标信息和
RGB
颜色信息共计6维，首先根据体素大小
v
将其体素化为园林体素
V
p
∈R
W
×
H
×
D
×3，
W,H,D
分别是园林体素的宽
、
高
、
长，每个体素包含
RGB
颜色信息共计3维，
v>0
；
[0011]步骤1‑2，搭建对象检测网络，所述对象检测网络依次包括体素特征提取网络
F
vox
以及包围框生成网络
F
bb
；
[0012]步骤1‑3，使用对象检测数据集训练对象检测网络；
[0013]步骤1‑4，对于一个园林体素
V
p
，首先将其输入进体素特征提取网络
F
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据驱动的大规模园林场景点云对象渐进发现方法，其特征在于，包括如下步骤：步骤1，搭建对象检测网络，将园林点云输入至对象检测网络，生成对象的包围框，并根据包围框将对象点云裁剪出来，获得每个包围框的对象点云；步骤2，搭建前背景分割网络，将每个包围框的对象点云输入至前背景分割网络，获得前景点云；步骤3，搭建对象识别网络，将前景点云输入至对象识别网络，获得园林场景点云对象；步骤4，重复步骤2和步骤3直至所有包围框的对象点云被处理完，完成园林场景点云对象发现
。2.
根据权利要求1所述的一种数据驱动的大规模园林场景点云对象渐进发现方法，其特征在于，步骤1包括以下步骤：步骤1‑1，对于一个输入园林点云
P∈R
N
×6，其中
N
为点数量，每一点包含
XYZ
坐标信息和
RGB
颜色信息共计6维，首先根据体素大小
v
将其体素化为园林体素
V
p
∈R
W
×
H
×
D
×3，
W
，
H
，
D
分别是园林体素的宽
、
高
、
长，每个体素包含
RGB
颜色信息共计3维，
v
＞0；步骤1‑2，搭建对象检测网络，所述对象检测网络依次包括体素特征提取网络
F
vox
以及包围框生成网络
F
bb
；步骤1‑3，使用对象检测数据集训练对象检测网络；步骤1‑4，对于一个园林体素
V
p
，首先将其输入进体素特征提取网络
F
vox
，并得到园林体素特征其中
C1是园林体素特征的通道数，
C1≥32
；其次，将园林体素特征输入包围框生成网络
F
bb
并得到园林对象包围框并得到园林对象包围框其中
n
bb
是包围框个数，9表示包围框属性个数，前3维是包围框的中心点坐标，中间三维是包围框的宽高长，最后三维是包围框的旋转角；对于每一个包围框
B
i
，
1≤i≤n
bb
，根据该包围框的9个属性从园林点云
P
中裁剪出来园林对象的裁剪点云其中
O
i
表示第
i
个包围框中的对象
。3.
根据权利要求2所述的一种数据驱动的大规模园林场景点云对象渐进发现方法，其特征在于，步骤2包含以下步骤：步骤2‑1，搭建前背景分割网络，所述前背景分割网络依次包括第一点云特征提取网络
F
pfeat1
以及前背景预测网络
F
fb
；步骤2‑2，使用前背景分割数据集训练前背景分割网络，前背景分割网络仅需训练一次；步骤2‑3，将裁剪点云输入第一点云特征提取网络
F
pfeat1
得到逐点特征其中，是裁剪点云点数量；
c
p
是裁剪点云点特征通道数，
c
p
≥32
；将逐点特征输入前背景预测网络
F
fb
得到每一个点的前景置信度将所有前景置信度大于
c
m
的点取出来得到前景点云其中是前景点数量，
0.5
＜
c
m
＜
1.0。4.
根据权利要求3所述的一种数据驱动的大规模园林场景点云对象渐进发现方法，其特征在于，步骤3包含以下步骤：
步骤3‑1，搭建对象识别网络，所述对象识别网络依次包括第二点云特征提取网络
F
pfeat2
以及对象分类网络
F
ocls
；步骤3‑2，使用对象识别数据集训练对象识别网络，对象识别网络仅需训练一次；步骤3‑3，将前景点云输入第二点云特征提取网络
F
pfeat2
得到前景点云特征使用平均池化将前景点云特征压缩成前景点云向量将前景点云向量输入对象分类网络
F
ocls
得到对象类别
。5.
根据权利要求2或4所述的一种数据驱动的大规模园林场景点云对象渐进发现方法，其特征在于，步骤1‑1中的体素化包含以下步骤：步骤1‑1‑1，计算园林体素的宽高长：
W
＝
int((max(P[
：，
0])
‑
min(P[
：，
0]))/v)+1H
＝
int((max(P[
：，
1])
‑
min(P[
：，
1]))/v)+1D
＝
int((max(P[
：，
2])
‑
min(P[
：，
2]))/v)+1
其中，
int(
·
)
表示向下取整，
max(
·
)
表示取最大值，
min(
·
)
表示取最小值，
[
：
]
表示索引操作；步骤1‑1‑2，对于第
(i
v
，
j
v
，
k
v
)
个体素块
1≤i
v
≤W
，
1≤j
v
≤H
，
1≤k
v
≤D
，确定其包围的三维空间范围计算方式如下：计算方式如下：步骤1‑1‑3，计算在该三维空间范围内的点的索引计算索引的过程如下：首先将索引初始化为一个空的列表，对于
P
的每一行
i
r
，如果，如果则将
i
r
加入中；遍历完
P
中的每一行，得到索引根据索引值从
P
中取点，得到体素子点其中
m
表示体素子点的数量；步骤1‑1‑4，聚合体素子点，获得体素块的
RGB
值，包括如果
m
＝0，则跳过该体素块，否则，对体素子点执行以下操作得到体素块的
RGB
值：其中表示取出矩阵的第3至6列；步骤1‑1‑5，对所有的体素块，重复执行步骤1‑1‑2至步骤1‑1‑4，获得园林体素
V
p
。6.
根据权利要求5所述的一种数据驱动的大规模园林场景点云对象渐进发现方法，其特征在于，步骤1‑4中对于一个园林体素
V
p
，首先将其输入体素特征提取网络
F
vox
包括使用滑动窗口的方式将园林体素
V
p
输入至体素特征提取网络
F
vox
：首先，根据滑动窗口的大小
W
s
，
H
s
，
D
s
计...

【专利技术属性】
技术研发人员：孙正兴，王一，骆守桐，孙蕴瀚，
申请(专利权)人：南京大学，
类型：发明
国别省市：