【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种基于点云分割的工件抓取方法、装置、设备及存储介质。
技术介绍
1、随着工业化进程的不断加快，机械臂抓取技术在工业自动化、仓储物流、医疗和科学研究等领域取得了重大进展。机械臂抓取方法已被广泛研究，现有的机械臂抓取的方法可分为两类：基于预定路径的抓取以及基于视觉引导的机械臂抓取。
2、基于预定路径的抓取是最传统的机械臂抓取方法，即通过对机器人进行编码，实现不同步骤的固定点位设计，使机械臂按照预设的轨迹运动，达到目标位置，然后进行抓取。基于路径的抓取存在着以下问题：1、刚性要求高，要求产品有序摆放和定位精确，难以适应产品无序堆叠的情况；2、自动化程度低，需要工程师定制化预先编程，无法针对产品不同情况实现自适应调整；3、生产效率低，难以适应不同批次产品，需要不断同步更新示教点位信息。
3、基于视觉引导的机械臂抓取是目前的主流方法，分为基于2d视觉引导的机械臂抓取以及基于3d视觉引导的机械臂抓取。基于2d视觉引导的机械臂抓取方法使用适当的光源和图像传感器(ccd摄像机)获取工件的表面图像，利用图像处理算法获取图像特征信息进行姿态估计，但是基于2d视觉引导的机械臂由于缺乏3d姿态信息，只能实现引导机械臂竖直向下抓取，无法满足工业生产中日益复杂的抓取要求；基于3d视觉引导的机械臂抓取利用3d传感器可以获取到物体在三维空间里的位姿信息，根据被抓取产品位姿信息转换出机械臂的目标位置，可以实现高精度的机械臂柔性抓取。
4、目前，已经有很多方法实现了基于3d视觉引导的机械臂抓取，
5、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供一种基于点云分割的工件抓取方法、装置、设备及存储介质，旨在解决现有技术中无序堆叠点云分割时采取传统聚类算法存在分割精度不高甚至无法分割的技术问题。
2、为实现上述目的，本专利技术提供一种基于点云分割的工件抓取方法，所述基于点云分割的工件抓取方法包括：
3、采集预抓取工件的2d预抓取工件图像和对应的目标三维点云；
4、输入所述2d预抓取工件图像和对应的目标三维点云至已训练多模态实例分割网络模型进行点云分割，输出预抓取工件点云；
5、获取标准工件的模版点云，采取由粗到精的配准方式对所述标准工件的模版点云与所述预抓取工件点云进行匹配，获得预抓取工件的姿态信息；
6、将所述预抓取工件的姿态信息转化为机器人坐标系下的目标姿态信息，根据所述目标姿态信息引导机械臂完成所述预抓取工件的抓取。
7、优选地，所述输入所述2d预抓取工件图像和对应的目标三维点云至已训练多模态实例分割网络模型进行点云分割，输出预抓取工件点云之前，还包括：
8、采集无序堆叠的多个样本工件的2d样本工件图像和对应的样本三维点云；
9、对所述2d样本工件图像和对应的三维点云进行数据预处理，获得样本数据集；
10、构建初始多模态实例分割网络模型；
11、输入所述样本数据集对所述初始多模态实例分割网络模型进行训练，获得已训练多模态实例分割网络模型。
12、优选地，所述对所述2d样本工件图像和对应的三维点云进行数据预处理，获得样本数据集，包括：
13、对所述2d样本工件图像和对应的三维点云进行数据增强，对应获得增强图像和增强点云；
14、将所述增强点云转化为规则化体素；
15、所述增强图像及所述规则化体素构成样本数据集。
16、优选地，所述初始多模态实例分割网络模型包括2d分支网络以及3d分支网络，所述2d分支网络为采用resnet-34作为主干网络的2d-unet，所述3d分支网络为采用sparseconvne作为主干网络的3d-unet；
17、相应地，所述输入所述样本数据集对所述初始多模态实例分割网络模型进行训练，获得已训练多模态实例分割网络模型，包括：
18、输入所述样本数据集至所述初始多模态实例分割网络模型；
19、所述初始多模态实例分割网络模型中的所述2d分支网络提取所述样本数据集中所述增强图像的2d图片特征，并且将所述样本数据集中的所述规则化体素投影得到的稀疏深度图作为额外输入，通过残差结构将深度编码器对所述稀疏深度图提取的特征与所述2d图片特征进行融合，输出逐像素类别和第一实例标签预测；
20、所述初始多模态实例分割网络模型中的所述3d分支网络将所述样本数据集中所述增强图像的rgb信息作为每个体素的特征，并且将从所述样本数据集中的所述规则化体素中提取的点云特征输入到attention-fps中进行实例聚类操作，将通过sparseconvnet从所述规则化体素中提取的点云语义特征和attention-fps提取的实例编码特征进行连接融合，并且通过解码器输出逐点类别和第二实例标签预测；
21、通过额外的辅助头对所述逐像素类别、所述第一实例标签预测、所述逐点类别和所述第二实例标签预测进行处理，获得模拟输出；
22、根据所述模拟输出通过共享损失进行端到端联合训练，获得已训练多模态实例分割网络模型。
23、优选地，所述从所述样本数据集中的所述规则化体素中提取的点云特征输入到attention-fps中进行实例聚类操作，包括：
24、从所述样本数据集中的所述规则化体素中提取的点云特征输入到attention-fps中，执行以下步骤：
25、s1，选择所述点云特征中每个点的预测语义分数大于注意力权重α作为前景点集f；
26、s2，选择所述前景点集f中的k个点进行第一轮采样，并且将所述前景点集f中与其他点距离最大点设置为第一采样点；
27、s3，根据所述第一采样点对已采样部分的掩码预测分数进行更新；
28、s4，循环上述步骤s1、s2和s3，迭代重复采样，以实现实例聚类操作。
29、优选地，所述初始多模态实例分割网络模型中的所述2d分支网络提取所述样本数据集中所述增强图像的2d图片特征，并且将所述样本数据集中的所述规则化体素投影得到的稀疏深度图作为额外输入，通过残差结构将深度编码器对所述稀疏深度图提取的特征与所述2d图片特征进行融合，输出逐像素类别和第一实例标签预测，包括：本文档来自技高网...
【技术保护点】
1.一种基于点云分割的工件抓取方法，其特征在于，所述基于点云分割的工件抓取方法包括：
2.如权利要求1所述的基于点云分割的工件抓取方法，其特征在于，所述输入所述2D预抓取工件图像和对应的目标三维点云至已训练多模态实例分割网络模型进行点云分割，输出预抓取工件点云之前，还包括：
3.如权利要求2所述的基于点云分割的工件抓取方法，其特征在于，所述对所述2D样本工件图像和对应的三维点云进行数据预处理，获得样本数据集，包括：
4.如权利要求2所述的基于点云分割的工件抓取方法，其特征在于，所述初始多模态实例分割网络模型包括2D分支网络以及3D分支网络，所述2D分支网络为采用ResNet-34作为主干网络的2D-UNet，所述3D分支网络为采用SparseConvNe作为主干网络的3D-UNet；
5.如权利要求4所述的基于点云分割的工件抓取方法，其特征在于，所述从所述样本数据集中的所述规则化体素中提取的点云特征输入到Attention-FPS中进行实例聚类操作，包括：
6.如权利要求4所述的基于点云分割的工件抓取方法，其特征在于，所
7.如权利要求1～6中任一项所述的基于点云分割的工件抓取方法，其特征在于，所述获取标准工件的模版点云，采取由粗到精的配准方式对所述标准工件的模版点云与所述预抓取工件点云进行匹配，获得预抓取工件的姿态信息，包括：
8.一种基于点云分割的工件抓取装置，其特征在于，所述基于点云分割的工件抓取装置包括：
9.一种基于点云分割的工件抓取设备，其特征在于，所述基于点云分割的工件抓取设备上存储有基于点云分割的工件抓取程序，所述基于点云分割的工件抓取程序被处理器执行时实现如权利要求1至7中任一项所述的基于点云分割的工件抓取方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有基于点云分割的工件抓取程序，所述基于点云分割的工件抓取程序被处理器执行时实现如权利要求1至7中任一项所述的基于点云分割的工件抓取方法的步骤。
...【技术特征摘要】
1.一种基于点云分割的工件抓取方法，其特征在于，所述基于点云分割的工件抓取方法包括：
2.如权利要求1所述的基于点云分割的工件抓取方法，其特征在于，所述输入所述2d预抓取工件图像和对应的目标三维点云至已训练多模态实例分割网络模型进行点云分割，输出预抓取工件点云之前，还包括：
3.如权利要求2所述的基于点云分割的工件抓取方法，其特征在于，所述对所述2d样本工件图像和对应的三维点云进行数据预处理，获得样本数据集，包括：
4.如权利要求2所述的基于点云分割的工件抓取方法，其特征在于，所述初始多模态实例分割网络模型包括2d分支网络以及3d分支网络，所述2d分支网络为采用resnet-34作为主干网络的2d-unet，所述3d分支网络为采用sparseconvne作为主干网络的3d-unet；
5.如权利要求4所述的基于点云分割的工件抓取方法，其特征在于，所述从所述样本数据集中的所述规则化体素中提取的点云特征输入到attention-fps中进行实例聚类操作，包括：
6.如权利要求4所述的基于点云分割的工件抓取方法，其特征在于，所述初始多模态实例分割网络模型中...
【专利技术属性】
技术研发人员：梅爽，郝开发，吴承睿，范泽涵，文国军，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。