一种基于稀疏卷积神经网络的机械臂无序抓取方法、存储介质和电子设备技术

技术编号：41874468 阅读：26 留言：0更新日期：2024-07-02 00:26

本发明专利技术公开了一种基于稀疏卷积神经网络的机械臂无序抓取方法、存储介质和电子设备，包括:在Pybullet物理仿真环境中搭建抓取场景；仿真环境中根据场景点云进行抓取点采样，生成训练样本及标签；构建PointGrasp‑Net模型，对PointGrasp‑Net模型进行训练，得到最优权重参数。本发明专利技术在仿真环境中采集数据，摆脱真实环境的限制，节省成本。本发明专利技术中PointGrasp‑Net网络模型只对有效的3D场景点进行处理而非整个点云空间，计算速度快，能够实时生成抓取姿态，并且根据点云数据的特点，融入了点云的曲率和法线信息，提高抓取成功率。在物体的表面点云上随机生成抓取姿态，不受物体形状结构的影响，随机无序抓取，适用于非结构化场景。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及械臂抓取，尤其涉及一种基于稀疏卷积神经网络的机械臂无序抓取方法、存储介质和电子设备。

技术介绍

1、目前，随着国内经济的发展，人们的生活有了很大的提高，各种科技的进步，给人类带来了许多便利；以机械臂为代表的机器人应用，逐渐出现在大众的面前。对机械臂来说，最突出的特点，为其能够像人类一样抓取物体。对抓取这种操作来说，不仅仅与物体本身有关，更与物体所在的场景有关。而理解场景，并从中获取机械爪的抓取姿态，是令机械臂能够完美抓取物体的关键问题所在。

2、现有的抓取姿态的生成，大多是从rgb图片出发，获取物体的二维平面抓取点，缺少对三维场景的理解，很容易出现抓取失败的情况。而一些通过三维点云获取抓取姿态的方法，因计算量的原因，往往进行很大程度的场景压缩，造成了场景信息的缺失。在各种针对三维点云理解的深度学习中，大多基于点云的空间坐标进行特征提取，譬如点的法线及点云曲率等关键信息并未充分利用。

技术实现思路

1、本专利技术的目的是提供一种基于稀疏卷积神经网络的机械臂无序抓取方法、存储介质和电子设备，能够在相同的时间下，对点云信息进行更加细致的特征提取，采用新的网络模型，获得更好的抓取姿态，增加抓取成功率。

2、本专利技术采用的技术方案为：

3、一种基于稀疏卷积神经网络的机械臂无序抓取方法，其步骤如下：

4、步骤1、搭建仿真环境，在仿真环境中对场景点云进行随机采样，随机生成爪子抓取姿态，进行抓取，获取抓取姿态及抓取标签作为一组数据；</p>

5、步骤2、对得到的数据进行平衡处理，删除过多的抓取失败数据，并将数据划分成训练集和验证集；

6、步骤3、构建pointgrasp-net模型,所述pointgrasp-net模型具体包括重复u-net模块、通道注意力机制和多头输出模块；

7、步骤4、对pointgrasp-net模型进行训练，获得最优参数；

8、所述步骤1具体包括以下步骤：

9、构建仿真环境，在其中随机放置不同的物体，由深度图生成抓取场景，得到场景点云信息，使用kd-tree获取各个点的法线信息，并利用曲率采样处理场景点云，对点云进行随机采样，基于采样点生成抓取姿态，并进行抓取评估，获得此场景下该点对应的抓取标签。

10、所述步骤3中的重复u-net模块以插入通道注意力模块的残差模块作为主要构成单元，构成左侧下采样和右侧上采样，左侧下采样包括多个卷积模块，每个模块都包含子流形稀疏残差模块、多批量归一化处理、修正线性单元和用于下采样的空间稀疏卷积层；右侧上采样同样由卷积模块构成，包括子流形稀疏残差模块、多批量归一化处理、修正线性单元和用于上采样的空间稀疏卷积层；重复u-net模块输出到多头输出模块，输出模块均由子流形稀疏卷积构成。

11、所述多头输出模块包括三个子流形稀疏卷积层和三个激活函数，多头输出模块的输入来自重复u-net模块，每个输出头均经过三层归一化、激活函数及子流形稀疏残卷积，输出预测值。

12、所述通道注意力机制包括用于采样的稀疏卷积层、用于全连接的子流形稀疏卷积层及激活函数；通道注意力模块的输入为卷积模块输出的特征值，经过通道注意力模块后与卷积之前的值直接进行融合。

13、所述通道注意力模块的输出特征值基于以下公式:

14、mc(f)＝σ(submconv3d(sparseconv3d(f))+submconv3d(sparseconv3d(f)))

15、式中，σ为sigmoid函数；submconv3d作为全连接层，分别调整sparseconv3d参数，实现平均池化和最大池化；f为通道注意力模块的输入。

16、所述步骤4具体包括以下步骤：

17、步骤4.1、选择lion优化器和学习率调整机制，构建损失函数：

18、

19、式中，x_lab，x_rot，x_wid分别为训练的抓取标签、抓取姿态及夹爪宽度；y_lab，y_rot，y_wid分别为预测的抓取标签、抓取姿态及夹爪宽度；bce为二元交叉熵；mse为均方误差；y_roti*x_roti为预测与训练的抓取姿态的四元数之积；n为训练样本的每个批次数，δ为影响因子；

20、步骤4.2、读取场景数据，对场景点云进行批次处理；

21、步骤4.3、进行超参数设置，设置训练的epoch及batch_size；加载训练数据，将数据进行堆叠，并确定batch的输出形式为tensor；接着，将处理好的数据载入pointgrasp-net模型，得到预测的结果，选取对应点的预测结果，与真实数据的标签求取损失值；对参数进行更新；直至模型的loss值收敛，得到pointgrasp-net模型的最优权重参数。

22、所述步骤4中，对场景点云及抓取标签进行批次处理具体包括以下步骤：将多批次的数据逐个添加至列表中，并以列表中对应的位置来记录场景点云的采样点的位置，在进行多批次数据的处理中，将列表中的采样点对应的位置，进行一个场景点云总数的叠加。

23、一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，使所述计算机可读存储介质所在设备执行如上所述的基于稀疏卷积神经网络的机械臂无序抓取方法。

24、一种电子设备，包括：存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上所述的基于稀疏卷积神经网络的机械臂无序抓取方法。

25、本专利技术不依赖于真实环境数据，通过在仿真空间中直接进行训练，便可迁移到真实环境；使用稀疏卷积网络对点云场景进行直接学习，使得输出抓取姿态速度更快，而且本申请充分结合点云的特征信息，囊括的点云信息相比现有技术中更多，最终能够得到更好的抓取姿态，进而提升抓取成功率。

本文档来自技高网...

【技术保护点】

1.一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于：包括如下步骤：

2.根据权利要求1所述一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于，所述步骤1具体包括以下步骤：

3.根据权利要求1所述一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于，所述步骤3中的重复U-Net模块以插入通道注意力模块的残差模块作为主要构成单元，构成左侧下采样和右侧上采样，左侧下采样包括多个卷积模块，每个模块都包含子流形稀疏残差模块、多批量归一化处理、修正线性单元和用于下采样的空间稀疏卷积层；右侧上采样同样由卷积模块构成，包括子流形稀疏残差模块、多批量归一化处理、修正线性单元和用于上采样的空间稀疏卷积层；重复U-Net模块输出到多头输出模块，输出模块均由子流形稀疏卷积构成。

4.根据权利要求3所述一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于，所述多头输出模块包括三个子流形稀疏卷积层和三个激活函数，多头输出模块的输入来自重复U-Net模块，每个输出头均经过三层归一化、激活函数及子流形稀疏残卷积，输出预测值。

5.根据权利要

6.根据权利要求5所述一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于，所述通道注意力模块的输出特征值基于以下公式：

7.根据权利要求1所述一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于，所述步骤4具体包括以下步骤：

8.根据权利要求7所述一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于，所述步骤4中，对场景点云及抓取标签进行批次处理具体包括以下步骤：将多批次的数据逐个添加至列表中，并以列表中对应的位置来记录场景点云的采样点的位置，在进行多批次数据的处理中，将列表中的采样点对应的位置，进行一个场景点云总数的叠加。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时，使所述计算机可读存储介质所在设备执行权利要求1-8任意一项所述的基于稀疏卷积神经网络的机械臂无序抓取方法。

10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，所述处理器执行所述程序时实现如权利要求1-8任一所述的基于稀疏卷积神经网络的机械臂无序抓取方法。

...

【技术特征摘要】

1.一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于：包括如下步骤：

2.根据权利要求1所述一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于，所述步骤1具体包括以下步骤：

3.根据权利要求1所述一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于，所述步骤3中的重复u-net模块以插入通道注意力模块的残差模块作为主要构成单元，构成左侧下采样和右侧上采样，左侧下采样包括多个卷积模块，每个模块都包含子流形稀疏残差模块、多批量归一化处理、修正线性单元和用于下采样的空间稀疏卷积层；右侧上采样同样由卷积模块构成，包括子流形稀疏残差模块、多批量归一化处理、修正线性单元和用于上采样的空间稀疏卷积层；重复u-net模块输出到多头输出模块，输出模块均由子流形稀疏卷积构成。

4.根据权利要求3所述一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于，所述多头输出模块包括三个子流形稀疏卷积层和三个激活函数，多头输出模块的输入来自重复u-net模块，每个输出头均经过三层归一化、激活函数及子流形稀疏残卷积，输出预测值。

5.根据权利要求3所述一种基于稀疏卷积神经网络的机械臂无序抓取方法，其特征在于，所述通道注意力机制包括用于采样的稀疏卷积层、用于全连接的子流形...

【专利技术属性】
技术研发人员：代震，董孟豪，连晨轩，万富瑞，陈慧彬，喻方，吴俊霆，牛薇然，李义，陈立家，王赞，
申请(专利权)人：河南大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人