本发明专利技术公开了一种基于语义分割网络的六自由度抓取检测算法，包括以下步骤：获取六自由度抓取检测数据集，将抓取参数数组转换为抓取参数语义标签图像；将数据集中的RGB图像和转化得到的抓取参数语义标签图像进行缩放、归一化、分类还原以及训练测试集的划分；搭建六自由度抓取检测语义分割网络，训练该网络；将RGB图像数据送入完成训练的六自由度抓取检测语义分割网络，得到预测的抓取参数语义图像；将预测得到的抓取参数语义标签图像转换为相对于相机坐标系的抓取参数；驱动配置末端执行器的机器人按照抓取参数进行抓取。本发明专利技术采用上述结构的一种基于语义分割网络的六自由度抓取检测算法，网络模型更加稳健鲁棒，预测结果更加准确。果更加准确。果更加准确。
【技术实现步骤摘要】
一种基于语义分割网络的六自由度抓取检测算法
[0001]本专利技术属于计算机视觉与机器人抓取
，具体涉及一种基于语义分割网络的六自由度抓取检测算法。
技术介绍
[0002]机器人的抓取和操作是机器人与环境交互的重要方式，而机器人抓取是更为基础和重要的环节，尽管目前已有大量研究人员研究抓取问题，但由于抓取问题是一个相当复杂的问题，这不仅表现在抓取场景的多样性，也体现在抓取位姿分析、抓取运动规划等方面的精密性。
[0003]机器人抓取问题可分解为两个主要步骤：一是检测抓取位姿；二是进行运动规划。这其中检测抓取位姿是实现机器人成功抓取的关键。目前抓取位姿检测主要包括两种方式：一种是数学分析法，另一种是数据驱动法。
[0004]数据分析法，需要通过一系列复杂的运算得到机器人抓取目标物体的位置和姿态，运算效率低、分析过程复杂，并且难于迁移到其他新的场景。
[0005]随着人工智能和机器视觉的不断发展，以数据驱动的神经网络被逐渐应用于抓取位姿检测研究，典型的方法有：二维平面抓取检测和六自由度抓取检测。二维平面抓取一般用有向矩形来表示，目前已有大量二维平面抓取可使用的数据集，并且已开展了大量研究，取得了很好的预测效果，但二维平面抓取只能实现垂直于平面的抓取，无法适应更加灵活复杂的场景。六自由度抓取能够实现从任意方向抓取物体，抓取更加灵活，然而目前的六自由度抓取检测的研究大部分是以深度图像或者三维点云作为输入，这将增加预测的不稳定性，并且容易受到深度图像噪声的影响。此外，六自由度抓取检测中，抓取的姿态是3
×
3的矩阵，大部分研究直接使用回归的方式预测抓取姿态，这将导致预测结果并不理想。
技术实现思路
[0006]本专利技术的目的是提供一种基于语义分割网络的六自由度抓取检测算法，能够克服现有的二维平面抓取检测和六自由度抓取检测的问题，提高预测结果的准确性，适应更加灵活复杂的场景。
[0007]为实现上述目的，本专利技术提供了一种基于语义分割网络的六自由度抓取检测算法，包括以下步骤：
[0008]步骤1：获取六自由度抓取检测数据集，并通过所设计的数据转换方法将抓取参数数组转换为抓取参数语义标签图像；
[0009]步骤2：将数据集中的RGB图像和转化得到的抓取参数语义标签图像进行缩放、归一化、分类还原以及训练测试集的划分；
[0010]步骤3：搭建六自由度抓取检测语义分割网络，并用处理后的数据训练该网络；
[0011]步骤4：将RGB图像数据送入完成训练的六自由度抓取检测语义分割网络，得到预测的抓取参数语义图像；
[0012]步骤5：将预测得到的抓取参数语义标签图像，通过所提出的后处理操作，转换得到相对于相机坐标系的抓取参数；
[0013]步骤6：通过后处理得到的抓取参数，驱动配置末端执行器的机器人对场景中的物体进行抓取。
[0014]优选的，步骤1具体包括：
[0015]步骤1.1：获取GraspNet
‑
1Billion六自由度抓取检测数据集，读取并转换数据集中的抓取标签；
[0016]步骤1.2：将处理后得到的抓取标签中的抓取深度和开合宽度的具体数值转化为分类；
[0017]步骤1.3：将处理后得到的抓取标签中的旋转姿态矩阵转换为旋转向量，并将其分解为单位方向向量和绕着单位方向向量旋转的角度，然后通过分类匹配模板，转换得到单位方向向量和绕着单位方向向量旋转的角度的分类；
[0018]步骤1.4：通过构造抓取参数的三维点云，将抓取参数转换为抓取参数语义标签图像。
[0019]优选的，步骤2具体包括：
[0020]步骤2.1：将数据集中的RGB图像和转化得到的抓取参数语义标签图像由原有的720
×
1280像素尺寸，通过邻近点采样方式缩小为224
×
224像素尺寸，以提高模型运行速度，并且适应网络结构；
[0021]步骤2.2：将RGB图像的数据除以255进行归一化；将抓取参数的标签图像由图像中的分类转化为实际的分类数值；
[0022]步骤2.3：按照8:2的比例将数据集中前100个用于训练的场景中的数据随机打乱后划分为训练数据和测试数据。
[0023]优选的，步骤3具体包括：
[0024]步骤3.1：搭建六自由度抓取检测语义分割网络；
[0025]步骤3.2：设置优化器、损失函数、加载数据的批次以及迭代次数；
[0026]步骤3.3：用迭代器加载数据处理后的训练数据和测试数据，以训练模型。
[0027]优选的，步骤4具体包括：
[0028]步骤4.1：将RGB图像进行包括图片缩小、归一化的数据预处理操作；
[0029]步骤4.2：将经过数据预处理的RGB图像送入完成训练的六自由度抓取检测语义分割网络，得到预测的抓取参数语义图像。
[0030]优选的，步骤5具体包括：
[0031]步骤5.1：将预测得到的224
×
224像素尺寸抓取参数语义图像，通过邻近点采样的方式，还原为原有的720
×
1280像素尺寸；
[0032]步骤5.2：筛除代表背景分类的一系列抓取参数；
[0033]步骤5.3：通过字典或者数组，将预测得到的经过筛选的抓取参数由分类还原为其对应的实际数值；
[0034]步骤5.4：通过输入的深度图像，由抓取点的图像信息索引得到深度图中对应像素位置的深度，进而通过深度值计算出三维坐标下的抓取点的坐标；
[0035]步骤5.5：通过旋转向量的单位方向向量r和绕着单位方向向量旋转的角度θ，计算
得到旋转向量，再将旋转向量转化为旋转姿态矩阵R，至此得到相机坐标系下的抓取参数G＝[X,Y,Z,R,d,w]；
[0036]其中，(X，Y，Z)表示抓取点在相机坐标系下的三维坐标，R表示3
×
3的旋转姿态矩阵，d和w是夹持器沿着接近方向靠近物体的抓取深度和夹持器的开口宽度。
[0037]优选的，步骤6具体包括：
[0038]步骤6.1：将预测得到的相对于相机坐标系的抓取参数通过实际环境中使用的深度相机在世界坐标系中的齐次变换矩阵，转换为相对于世界坐标系的抓取参数；
[0039]步骤6.2：由预测的抓取参数，通过逆运动学解算，规划机器人的末端姿态和运行路径；
[0040]步骤6.3：驱动机器人到达预测的抓取位姿，并由配置在机器人末端的夹持器抓取物品。
[0041]因此，本专利技术采用上述结构的一种基于语义分割网络的六自由度抓取检测算法，该方法以RGBD图像作为输入，使网络模型更加稳健鲁棒，并且将抓取姿态通过一系列变换后实现了用分类而不是回归的方式预测抓取姿态，使预测结果更加准确。
[0042]下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。
附图说明
[0043]图1为本专利技术一种基于语义分割网络的六自由度本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于语义分割网络的六自由度抓取检测算法，其特征在于：包括以下步骤：步骤1：获取六自由度抓取检测数据集，并通过所设计的数据转换方法将抓取参数数组转换为抓取参数语义标签图像；步骤2：将数据集中的RGB图像和转化得到的抓取参数语义标签图像进行缩放、归一化、分类还原以及训练测试集的划分；步骤3：搭建六自由度抓取检测语义分割网络，并用处理后的数据训练该网络；步骤4：将RGB图像数据送入完成训练的六自由度抓取检测语义分割网络，得到预测的抓取参数语义图像；步骤5：将预测得到的抓取参数语义标签图像，通过所提出的后处理操作，转换得到相对于相机坐标系的抓取参数；步骤6：通过后处理得到的抓取参数，驱动配置末端执行器的机器人对场景中的物体进行抓取。2.如权利要求1所述的一种基于语义分割网络的六自由度抓取检测算法，其特征在于：步骤1具体包括：步骤1.1：获取GraspNet
‑
1Billion六自由度抓取检测数据集，读取并转换数据集中的抓取标签；步骤1.2：将处理后得到的抓取标签中的抓取深度和开合宽度的具体数值转化为分类；步骤1.3：将处理后得到的抓取标签中的旋转姿态矩阵转换为旋转向量，并将其分解为单位方向向量和绕着单位方向向量旋转的角度，然后通过分类匹配模板，转换得到单位方向向量和绕着单位方向向量旋转的角度的分类；步骤1.4：通过构造抓取参数的三维点云，将抓取参数转换为抓取参数语义标签图像。3.如权利要求2所述的一种基于语义分割网络的六自由度抓取检测算法，其特征在于：步骤2具体包括：步骤2.1：将数据集中的RGB图像和转化得到的抓取参数语义标签图像由原有的720
×
1280像素尺寸，通过邻近点采样方式缩小为224
×
224像素尺寸，以提高模型运行速度，并且适应网络结构；步骤2.2：将RGB图像的数据除以255进行归一化；将抓取参数的标签图像由图像中的分类转化为实际的分类数值；步骤2.3：按照8:2的比例将数据集中前100个用于训练的场景中的数据随机打乱后划分为训练数据和测试数据。4.如权利要求3所述的一种基于语义分割网络的六自由度抓...
【专利技术属性】
技术研发人员：张向燕，张勤俭，李海源，沈勇，王勇，
申请(专利权)人：北京邮电大学北京大学口腔医学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。