一种3D点云语义分割的方法、装置及系统制造方法及图纸

本发明专利技术提供一种3D点云语义分割的方法、装置及系统，用于解决现有技术中存在的无法对3D点云语义进行有效分割的技术问题，所述方法包括：分别获取待检测的RGB图像及与RGB图像对应的第一3D点云，采用预训练模型对RGB图像中的物体进行检测与判断，确定检测到的物体是否为指定类型物体；若是，则从第一3D点云中获取第二3D点云，并移除第二3D点云中的地面点云；对移除地面点云后的第二3D点云进行3D聚类，获取点云片集合；确定检测到的物体的3D点云所含点数的最大值和最小值，从点云片集合中过滤出包含点数在最大值和最小值之间的目标点云片；确定目标点云片中所含点数最多的点云片为检测到的物体的3D语义点云。

A method, device and system for semantic segmentation of 3D point cloud

【技术实现步骤摘要】
一种3D点云语义分割的方法、装置及系统
本专利技术涉及计算机视觉
，特别涉及一种3D点云语义分割的方法、装置及系统。
技术介绍
近年来，随着激光雷达、三原色深度(RedGreenBlue–Depth，RGB-D)相机等3D传感器在机器人、无人驾驶领域的广泛应用，深度学习在3D点云数据的应用已经成为研究热点之一。3D点云是指在一个三维坐标系统中的一组向量的集合，这些向量通常以x，y，z三维坐标的形式表示，一般用来代表一个物体的外表面形状，另外，除了(x，y，z)代表的几何信息外，可能还含有RGB颜色、强度、灰度值，深度或者返回次数等信息，而3D点云语义分割是指将3D点云划分为语义上有意义的部分，然后在语义上将每个部分标记为预定义的类之一，即分割3D点云，区分出不同的分割物。目前，常见的3D点云语义分割方法通常是将3D点云转换为手工体素网格特征或者是多视角的图像特征，然后送入深度学习网络进行特征提取，这样转换特征的方法不仅数据量大、而且计算复杂，如果降低分辨率，则分割精度会下降。鉴于此，如何对3D点云语义进行有效分割，从而提高本文档来自技高网...

【技术保护点】
1.一种3D点云语义分割的方法，其特征在于，包括：/n分别获取待检测的RGB图像及与所述RGB图像对应的第一3D点云，采用预训练模型对所述RGB图像中的物体进行检测与判断，确定检测到的物体是否为指定类型物体，其中，所述预训练模型为根据快速区域卷积神经网络Faster R-CNN生成的目标检测模型；/n若是指定类型物体，则从所述第一3D点云中获取第二3D点云，并移除所述第二3D点云中的地面点云，其中，所述第二3D点云与所述RGB图像中所述检测到的物体的目标检测框对应；/n对所述移除地面点云后的第二3D点云进行3D聚类，获取点云片集合，其中，所述点云片集合包括至少一个点云片，所述点云片表示不同类型...

【技术特征摘要】
1.一种3D点云语义分割的方法，其特征在于，包括：
分别获取待检测的RGB图像及与所述RGB图像对应的第一3D点云，采用预训练模型对所述RGB图像中的物体进行检测与判断，确定检测到的物体是否为指定类型物体，其中，所述预训练模型为根据快速区域卷积神经网络FasterR-CNN生成的目标检测模型；
若是指定类型物体，则从所述第一3D点云中获取第二3D点云，并移除所述第二3D点云中的地面点云，其中，所述第二3D点云与所述RGB图像中所述检测到的物体的目标检测框对应；
对所述移除地面点云后的第二3D点云进行3D聚类，获取点云片集合，其中，所述点云片集合包括至少一个点云片，所述点云片表示不同类型的物体的3D点云；
确定所述检测到的物体的3D点云所含点数的最大值和最小值，从所述点云片集合中过滤出包含点数在所述最大值和最小值之间的目标点云片；
从所述目标点云片中获取所含点数最多的点云片，确定所述所含点数最多的点云片为所述检测到的物体的3D语义点云。


2.如权利要求1所述的方法，其特征在于，分别获取待检测的RGB图像及与所述RGB图像对应的第一3D点云之前，还包括：
获取预训练模型的样本RGB图像集，其中，所述样本RGB图像集包括至少一个样本RGB图像；
在所述样本RGB图像集的样本RGB图像中标注指定类型物体，生成样本数据集；
利用所述样本数据集训练FasterR-CNN，生成所述预训练模型。


3.如权利要求1所述的方法，其特征在于，移除所述第二3D点云中的地面点云，包括：
对所述第二3D点云进行中值滤波以及体素化处理；
根据地面方程，确定所述中值滤波以及体素化处理后的第二3D点云中的地面点云；
将所述地面点云从所述中值滤波以及体素化处理后的第二3D点云中移除。


4.如权利要求3所述的方法，其特征在于，对所述移除地面点云后的第二3D点云进行3D聚类，获取点云片集合，包括：
根据所述移除地面点云后的第二3D点云中第一点的3D邻域球，将在所述3D邻域球中的点加入所述第一点对应的点云片，其中，所述3D邻域球是以所述第一点为球心，预设阈值为半径的球；
直到所述第一点对应的点云片中的任一点的3D邻域球中的点都已加入所述第一点对应的点云片，获取所述第一点对应的点云片；
根据所述移除地面点云后的第二3D点云中第二点的3D邻域球，获取第二点对应的点云片，其中，所述第二点是除所述第一点对应的点云片中的点外的任一点；
直到所述移除地面点云后的第二3D点云中任一点都已加入对应的点云片，获取点云片集合。


5.如权利要求1或4所述的方法，其特征在于，确定所述检测到的物体的3D点云所含点数的最大值和最小值，包括：
根据所述检测到的物...

【专利技术属性】
技术研发人员：刘文彬，张弥，
申请(专利权)人：浙江欣奕华智能科技有限公司，
类型：发明
国别省市：浙江;33