一种面向工业场景的工件点云实例分割方法技术

本发明专利技术公开了一种面向工业场景的工件点云实例分割方法，涉及3D机器视觉和深度学习技术领域，包括：步骤1、进行图像采集与数据转换，获得工件的点云数据；步骤2、点云预处理，滤除点云数据中的无效点和工作台平面；步骤3、点云标注，对预处理后的点云数据进行实例标注得到标注文件；标注文件和点云数据构成模型训练所需的点云实例分割数据集；步骤4、数据增强；步骤5、点云实例分割模型构建；步骤6、点云实例分割模型训练；步骤7、点云实例分割模型预测，使用训练好的点云实例分割模型进行推理，输入验证集中的数据，输出并显示预测得到的实例类别及点云组成。及点云组成。及点云组成。

【技术实现步骤摘要】
一种面向工业场景的工件点云实例分割方法


[0001]本专利技术涉及3D机器视觉和深度学习
，尤其涉及一种面向工业场景的工件点云实例分割方法。

技术介绍

[0002]近年来，随着科技的进步和社会的发展，工业机械臂广泛应用于各个工业生产领域。然而，工业机械臂缺乏对周围环境的感知能力，只能依靠预先设定的程序重复完成工作，对于堆垛、码料、摆盘等常见的工业生产过程，依赖人工辅助完成前序处理码放步骤，已经满足不了智能化生产制造的需求。为适应当前制造业高度智能化、信息化的趋势，需要通过传感器技术和深度学习方法弥补工业机械臂感知不足的缺陷，使得工业机械臂能够独立完成较复杂的工业生产过程。随着3D数据采集技术的迅速发展，使用3D扫描仪、激光雷达、RGB
‑
D相机等传感器很容易获取原始3D数据。相较于2D图像，3D数据能够提供更加丰富的特征信息，如几何形状和尺度大小等信息。如果能够通过对原始3D数据的预处理和特征提取来构建一个智能感知模块，工业机械臂就可以获得对周围环境的一定的感知能力，从而协助工业机械臂完成工业生产过程。
[0003]然而，如果使用传统的点云实例分割方法作为核心推理模块，由于这类方法主要通过点云中点与点间的距离、法向量等几何特征来对比点云中某点与其邻域内其它点的特征来判断该点与其邻域点是否属于同一个集合来实现分割，存在严重依赖于特征的选取和先验知识、分割精度不高、效率低下等缺点，难以满足工业生产中对于精度和效率的要求。
[0004]近年来，随着深度学习和2D目标检测、实例分割的迅速发展，3D目标检测、点云语义分割、点云实例分割也成为了研究热点，为工业场景下的智能感知模块构建提供了新的解决方案。相较于传统的点云实例分割方法，深度学习方法有如下优势：1、深度学习方法以数据为驱动，可以在大规模数据集上进行预训练得到泛化模型，进而在小规模特定场景数据集上进行微调得到针对特定场景的模型，因而模型能够有更强的泛化能力；2、深度学习方法通过多层非线性运算单元提取高维抽象特征，能够提取点云颜色、点云密度、几何信息、语义等多方面较高级别的信息，对于目标实例的边界处理更加精确，因而能够实现更高准确度的分割；3、深度学习方法通常使用GPU加速计算，因而模型能够有更快的推理速度。
[0005]李宗民等人在中国专利技术专利申请“一种基于transformer的点云实例分割方法”(申请号为CN202111319758.8)中通过使用深度学习与计算机视觉算法来实现点云实例分割。该方法包括通过激光雷达获取点云场景信息、对原始点云数据进行下采样、对采样后的点云数据进行区域划分、使用Self
‑
attention结构对各区域点云数据进行处理，通过MLP提取各区域点云特征，得到各区域的Q、K和V等步骤。该方法能够充分挖掘各区域局部与全局之间的关系特征，达到对各实例进行分割的目的，但基于Transformer的模型计算复杂度较高、推理时间较长，不适用于工业场景下的工件点云实例分割。
[0006]综上分析，目前将基于深度学习的点云实例分割方法应用于工业场景仍然存在以下问题：
[0007]1、目前大多数点云实例分割主干网络使用融合子流形稀疏卷积(Submanifold Sparse Convolution)的3D U
‑
Net网络。该网络对于大场景点云有较好的特征提取效果，但针对工业场景下工件这类体积较小的物体，其特征提取效果不佳，无法满足对于工件的高精度分割。
[0008]2、点云实例分割方法可能难以处理工件表面存在反射或阴影的情况。当工件表面出现反射或阴影时，会影响3D相机的数据采集，使得点云数据不够完整，导致分割效果不准确，因而需要在算法中加入更加鲁棒的处理逻辑。
[0009]3、基于深度学习的点云实例分割方法对于硬件的要求较高，需要耗费更多的计算资源和时间来处理点云及预测实例分割结果，而工业场景的任务对于实时性的要求较高，因而需要设计更轻量级的网络模型以提高推理速度。
[0010]因此，本领域的技术人员致力于开发一种新的面向工业场景的工件点云实例分割方法，解决现有技术中存在的上述问题。

技术实现思路

[0011]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是如何实现工件点云实例分割中更好的特征提取，包括克服工件表面出现反射或阴影对分割效果的影响，以及如何实现工件点云实例分割在速度与精度之间的更好权衡。
[0012]为实现上述目的，本专利技术提供了一种基于MinkowskiNet和多层级特征融合的工业场景下工件点云实例分割方法。首先，通过MinkowskiNet提供的Minkowski稀疏卷积构建ResNet
‑
34主干网络提取点云特征，然后，以中心偏移向量预测作为辅助任务，经过语义类别预测分支、中心偏移向量预测分支以及聚类模块后输出初步的分割预测实例，再进一步使用Minkowski稀疏卷积构建ResNet
‑
18进行特征重提取及跨层级特征融合，并基于融合后的特征经过掩码预测分支和掩码评分分支生成最终的预测实例结果。
[0013]本专利技术提供的一种面向工业场景的工件点云实例分割方法，包括以下步骤：
[0014]步骤1、进行图像采集与数据转换，获得工件的点云数据；
[0015]步骤2、点云预处理，滤除所述点云数据中的无效点和工作台平面，保存剩余的点云数据作为所述工件的点云表示；
[0016]步骤3、点云标注，对预处理后的所述点云数据进行实例标注得到标注文件；所述标注文件和所述点云数据构成模型训练所需的点云实例分割数据集；
[0017]步骤4、数据增强，对所述点云实例分割数据集进行数据增强；
[0018]步骤5、点云实例分割模型构建，包括构建主干网络模块、语义类别及偏移向量预测模块、聚类模块、特征重提取及融合模块、掩码预测及掩码评分模块；
[0019]步骤6、点云实例分割模型训练，将经过数据增强的所述点云实例分割数据集按照8:2的比例划分为训练集和验证集，将所述训练集输入到所述点云实例分割模型中进行训练；
[0020]步骤7、点云实例分割模型预测，使用训练好的所述点云实例分割模型进行推理，输入所述验证集中的数据，输出并显示预测得到的实例类别及点云组成。
[0021]进一步地，所述步骤5中包括以下子步骤：
[0022]步骤5.1、所述主干网络模块通过MinkowskiNet提取多尺度的点云特征，其中，所
述MinkowskiNet引入Minkowski张量和Minkowski卷积构建ResNet
‑
34作为所述点云特征的提取网络；
[0023]步骤5.2、对于所述步骤5.1提取的所述点云特征，所述语义类别及偏移向量预测模块通过多层MLP分别预测出所述点云实例分割数据集中每个点的语义类别及所述每个点到该点所属的实例几何中心的偏移向量，其中，所述语义类别和所述偏移向量分别用N
×
N
cl本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向工业场景的工件点云实例分割方法，其特征在于，所述方法包括以下步骤：步骤1、进行图像采集与数据转换，获得工件的点云数据；步骤2、点云预处理，滤除所述点云数据中的无效点和工作台平面，保存剩余的点云数据作为所述工件的点云表示；步骤3、点云标注，对预处理后的所述点云数据进行实例标注得到标注文件；所述标注文件和所述点云数据构成模型训练所需的点云实例分割数据集；步骤4、数据增强，对所述点云实例分割数据集进行数据增强；步骤5、点云实例分割模型构建，包括构建主干网络模块、语义类别及偏移向量预测模块、聚类模块、特征重提取及融合模块、掩码预测及掩码评分模块；步骤6、点云实例分割模型训练，将经过数据增强的所述点云实例分割数据集按照8:2的比例划分为训练集和验证集，将所述训练集输入到所述点云实例分割模型中进行训练；步骤7、点云实例分割模型预测，使用训练好的所述点云实例分割模型进行推理，输入所述验证集中的数据，输出并显示预测得到的实例类别及点云组成。2.如权利要求1所述的面向工业场景的工件点云实例分割方法，其特征在于，所述步骤5中包括以下子步骤：步骤5.1、所述主干网络模块通过MinkowskiNet提取多尺度的点云特征，其中，所述MinkowskiNet引入Minkowski张量和Minkowski卷积构建ResNet
‑
34作为所述点云特征的提取网络；步骤5.2、对于所述步骤5.1提取的所述点云特征，所述语义类别及偏移向量预测模块通过多层MLP分别预测出所述点云实例分割数据集中每个点的语义类别及所述每个点到该点所属的实例几何中心的偏移向量，其中，所述语义类别和所述偏移向量分别用N
×
N
classes
维和N
×
3维的向量来表示，N为所述点云实例分割数据集中点的个数，N
classes
为所述工件的类别数；步骤5.3、所述聚类模块根据所述偏移向量将所述点云实例分割数据集中的所述每个点向该点所属的所述实例几何中心移动，获取以所述实例几何中心为中心的半径为r的球内的所有点，将与所述实例几何中心有相同所述语义类别的点聚为一簇，得到若干个初步分割预测实例；步骤5.4、所述特征重提取及融合模块使用Minkowski稀疏卷积构建ResNet
‑
18作为特征重提取网络，使用所述ResNet
‑
18提取若干个所述初步分割预测实例的实例级特征，并与所述ResNet
‑
34提取的所述点云特征进行融合，得到融合特征；步骤5.5、所述掩码预测及掩码评分模块基于所述融合特征，通过两层MLP预测出实例级的掩码，滤除所述初步分割预测实例中的背景点；同时，通过一个掩码评分分支来生成最终分割预测实例的置信度评分。3.如权利要求2所述的面向工业场景的工件点云实例分割方法，其特征在于，所述步骤5.5中的所述掩码评分分支也基于所述融合特征，通过一层全局平均池化层和一层MLP，计算所述掩码与ground truth之间...

【专利技术属性】
技术研发人员：吴盟，庄开宇，杨根科，褚健，
申请(专利权)人：上海交通大学宁波人工智能研究院，
类型：发明
国别省市：