自动驾驶场景下的三维点云数据实例分割方法及系统技术方案

本发明专利技术提供了一种自动驾驶场景下的三维点云数据实例分割方法及系统，包括：利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到视柱内每一个点云所属的类别，实现对点云数据的实例分割。本发明专利技术提出的自动驾驶场景下的三维点云数据实例分割方法及系统，可以有效的增强目标细节特征表达，从而增强对点云困难样本的预测能力，提升了自动驾驶场景下点云实例分割的表现。

【技术实现步骤摘要】
自动驾驶场景下的三维点云数据实例分割方法及系统
本专利技术涉及计算机视觉
，具体地，涉及一种适用于自动驾驶场景下的三维点云数据实例分割方法及系统。
技术介绍
随着激光雷达等3D传感器在无人驾驶、机器人项目中的应用，三维数据越来越受到学术界和工业界的重视。点云是一种重要的三维数据表示形式，它通过直接测量获取，与人类观察世界的方式相仿，能够最大程度地保留物体的真实三维结构信息。基于点云的计算机视觉任务更是有着重要的实际意义，如何构建数学模型表示、处理和分析点云数据成为当前自动驾驶领域亟待解决的问题。对三维点云数据实例分割问题来说，目前如何实现高质量的室外大场景实例分割仍是一个尚未解决的问题。首先，点云数据格式具有不规则性与高度的稀疏性，如何有效提取点云包含的信息仍有待探究。其次，室外的点云场景包含开阔空间中经扫描的所有物体表面点，因此存在大量的非目标背景噪声，使得目标物体识别十分困难。早期的基于自动驾驶激光点云的分割算法将问题分解为地面的去除和前景物体的聚类，算法流程是首先以迭代的方式提取地面，例如随机抽样一致性算法，而后利用点云的结构特征对其余非地面的点进行聚类。早期的算法虽然考虑了滤除背景噪声，然而过多的依赖于手动选择特征，而且迭代的算法精确度和效率不稳定，无法应用在无人驾驶场景。近期Wu等人在《IEEEInternationalConferenceonRoboticsandAutomation(ICRA),2018,pp.1887–1893》发表了题为“Squeezeseg:Convolutionalneuralnetswithrecurrentcrfforreal-timeroad-objectsegmentationfrom3dlidarpointcloud”的文章，该文章提出基于深度学习框架的道路目标分割的算法，使用投影的方式将点云转化为球面表示的图形，而后使用二维卷积神经网络进行学习和预测，从而实现点云的语义分割，在此基础上加入深度信息进一步处理，能够实现实例分割。该文章把点云信息的特征选取和语义预测结合在一起，能够使二维卷积神经网络应用在三维点云数据上，算法不需要人工的特征选择，泛化性较强。然而，该算法中三维向二维的投影造成了不可弥补的信息丢失，导致卷积神经网络的学习能力有限。此外，复杂的背景噪声严重的影响了目标物体的识别，使得总体的分割准确度很低，因此该算法的性能有待提高，即使提升了运算速率，依旧离无人驾驶应用非常遥远。此外，经调研还发现，当前点云分割算法表现出类别间极大的不均衡性，模型对于简单样本过拟合，对于困难样本欠拟合，导致物体平均识别准确度较低，目前仍没有针对提升点云困难样本实例分割的有效算法。
技术实现思路
本专利技术针对现有技术中存在的上述缺陷，提供了一种适用于自动驾驶场景下的三维点云数据实例分割方法及系统。本专利技术是通过以下技术方案实现的。根据本专利技术的一个方面，提供了一种自动驾驶场景下的三维点云数据实例分割方法，包括：利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到每一个视柱点云所属的类别，实现对视柱点云数据实例分割。优选地，所述利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱，包括：将原始点云数据作为输入，通过基于三维点云目标检测的方法进行感兴趣区域的提取，预测点云空间鸟瞰图上物体的位置与类别信息，将感兴趣区域映射回点云空间中，提取出带有类别置信度先验信息的视柱点云，即得到感兴趣区域点云视柱。优选地，所述对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集，包括：采用交叉验证方法提取感兴趣区域点云视柱中同分布的正样本与负样本物体点云视柱。优选地，所述交叉验证方法为：对感兴趣区域点云视柱采用k折交叉验证法，将点云视柱随机抽样为数量相等的k个数据组D1,D2,……Dk，使用D1数据组作为训练集训练得到感兴趣区域提案网络模型M1，使用D2数据组作为验证集经过模型M1产生候选区域H1，再令D2作为训练数据，训练得到模型M2，D1作为验证数据生成候选区域H2；合并H1,H2,……Hk，则得到了所需的训练数据集H，由此引入可学习的正样本及与其推理过程同分布的负样本数据集，即得到视柱点云数据集。优选地，所述提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，包括：将每一个视柱点云转换成点云数量统一的张量，得到采样数据；对采样数据中的每个点进行局部特征结合，找出每个点的局部区域；对每个点的局部区域进行基于三维点的局部特征提取，得到高维语义特征信息。优选地，所述将每一个视柱点云转换成点云数量统一的张量，得到采样数据，包括：采用最远点采样算法进行均匀采样，以一个点云作为初始查询点，遍历剩余点云并选取欧式距离最远点保留；以已经取出的点集作为查询点，计算剩余点到点集所有点的最短距离作为测量值，选取测量值最大的点保留；循环上述过程，直到采样到目标数量为止，得到采样数据。优选地，所述对每个点的局部区域进行局部特征提取，得到高维语义特征信息，包括：对每一个提取出的局部区域，通过共享参数的多层感知结构进行特征提取，将每个点抽象至1024维的特征，得到的特征即为高维语义特征信息。优选地，在进行局部特征提取过程中，还包括：增加感兴趣区域点云视柱的类别相关置信度分数，作为类别先验来辅助实例分割分类器，从而提升点云语义信息预测的速度和准确率；使用类别相关置信度分数一位有效编码格式级联每一个局部特征，避免过强的先验信息导致无法提取点云的高级语义特征，同时增加对先验预测的容错率；优选地，通过卷积层构成的类别分类器逐点判断每一个局部特征所属的类别，即得到每一个视柱点云所属的类别。优选地，所述带权重的多分类焦点损失函数为：其中，n表示类别的数量，ci表示类别，α为类别相关权重，γ为调制因子，表示对于类别ci，样本预测为正的概率。根据本专利技术的另一个方面，提供了一种自动驾驶场景下的三维点云数据实例分割系统，包括：交叉验证的视柱提取模块和基于三维点的多分类焦点损失实例分割模块，其中：所述交叉验证的视柱提取模块，利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；所述多分类焦点损失实例分割模块，提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到每一个视柱点云所属的类别，实现对视柱点云数据实例分割。优选地，所述交叉本文档来自技高网...

【技术保护点】
1.一种自动驾驶场景下的三维点云数据实例分割方法，其特征在于，包括：/n利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；/n提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到每一个视柱点云所属的类别，实现对视柱点云数据实例分割。/n

【技术特征摘要】
1.一种自动驾驶场景下的三维点云数据实例分割方法，其特征在于，包括：
利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱；对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集；
提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，同时引入带权重的多分类焦点损失函数，得到每一个视柱点云所属的类别，实现对视柱点云数据实例分割。


2.根据权利要求1所述的自动驾驶场景下的三维点云数据实例分割方法，其特征在于，所述利用目标物体的空间位置信息对室外街道场景进行初步识别与划分，形成感兴趣区域点云视柱，包括：
将原始点云数据作为输入，通过基于三维点云目标检测的方法进行感兴趣区域的提取，预测点云空间鸟瞰图上物体的位置与类别信息，将感兴趣区域映射回点云空间中，提取出带有类别置信度先验信息的视柱点云，即得到感兴趣区域点云视柱。


3.根据权利要求1所述的一种适用于自动驾驶场景下的三维点云数据实例分割方法，其特征在于，所述对感兴趣区域点云视柱提取包含物体的视柱点云与同分布的负样本视柱背景点云，形成视柱点云数据集，包括：
采用交叉验证方法提取感兴趣区域点云视柱中同分布的正样本与负样本物体点云视柱；其中，所述交叉验证方法为：
对感兴趣区域点云视柱采用k折交叉验证法，将点云视柱随机抽样为数量相等的k个数据组D1,D2,……Dk，使用D1数据组作为训练集训练得到感兴趣区域提案网络模型M1，使用D2数据组作为验证集经过模型M1产生候选区域H1，再令D2作为训练数据，训练得到模型M2，D1作为验证数据生成候选区域H2；合并H1,H2,……Hk，则得到了所需的训练数据集H，由此引入可学习的正样本及与其推理过程同分布的负样本数据集，即得到视柱点云数据集。


4.根据权利要求1所述的自动驾驶场景下的三维点云数据实例分割方法，其特征在于，所述提取视柱点云数据集中每一个视柱点云包含物体的高维语义特征信息，包括：
将每一个视柱点云转换成点云数量统一的张量，得到采样数据；
对采样数据中的每个点进行局部特征结合，找出每个点的局部区域；
对每个点的局部区域进行基于三维点的局部特征提取，得到高维语义特征信息。


5.根据权利要求4所述的自动驾驶场景下的三维点云数据实例分割方法，其特征在于，还包括如下任意一项或任意多项：
-所述将每一个视柱点云转换成点云数量统一的张量，得到采样数据，包括：
采用最远点采样算法进行均匀采样，以一个点云作为初始查询点，遍历剩余点云并选取欧式距离最远点保留；
以已经取出的点集作为查询点，计算剩余点到点集所有点的最短距离作为测量值，选取测量值最大的点保留；
循环上述过程，直到采样到目标数量为止，得到采样数据；
-所述对每个点的局部区域进行局部特征提取，得到高维语义特征信息，包括：
对每一个提取出的局部区域，通过共享参数的多层感知结构进行特征提取，将每个点抽象至1024维的特征，得到的特征即为高维语义特征信息；
-在进行局部特征提取过程中，还包括：
增加感兴趣区域点云视柱的类别相关置信度分数，作为类别先验来辅助实例分割分类器，从而提升点云语义信息预测的速度和准确率；使用类别相关置信度分数一位有效编码格式级联每一个局部特征，避免过强的先验信息导致无法提取点云的高级语义特征，同时增加对先验预测的容错率；
-通过卷积层构成的类别分类器逐点判断每一个局部特征所属的类别，即得到每一个视柱点云所属的类别。


6.根据权利要求1所述的自动驾驶场景下的三维点云数据实例分割方法，其特征在于，所述带权重的多分类焦点损失函数为：



其中，n表示类别的数量，ci表示类别，α...

【专利技术属性】
技术研发人员：熊红凯，左琛，戴文睿，李成林，邹君妮，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31