一种抓取检测模型的训练方法技术

本发明专利技术公开了一种抓取检测模型的训练方法

【技术实现步骤摘要】
一种抓取检测模型的训练方法、识别方法、系统、设备


[0001]本专利技术涉及人工智能
，尤其是一种抓取检测模型的训练方法
、
识别方法
、
系统
、
设备
。

技术介绍

[0002]近年来，随着社会科技的不断发展，应用机器人
/
机械手去自动抓取堆叠场景下的目标物体的场景越发常见
。
[0003]目前，针对机器人
/
机械手在堆叠场景下的自动识别并抓取物体的问题，传统的抓取检测方法主要有两种：
[0004]第一种方法是通过平面
RGB
图像直接输出一个或者多个物体抓取框，具体可以使用
Yolo
算法实现，抓取参数主要有抓取物体的中心点的位置以及旋转角，此种方法适合机械臂从上往下进行抓取，并且对于单个对象效果较好，但这一方法在场景越复杂的情况下，算法的性能越差，越容易对场景中的目标物体边缘产生误判，并且缺乏深度信息，从而使得机械臂抓不准，甚至有可能对物体表面造成破坏；
[0005]第二个方法是则是以直接或间接
(RGB
‑
D
图像
)
获得的场景点云作为输入，利用点云的语义和几何信息，将其输入至骨干网络当中获得待抓取物体的
6D(
即六个自由度
)
姿态并且执行抓取
。
但这种方法过于理想，太依赖于环境
(
相机周围的光线以及点云数据的质量
)
，在堆叠场景中很容易将接触的不同物体当成一个整体，并且对于尺寸较小或者不规则的物体容错率较小，在一些要求不产生碰撞的场景中，算法评估的抓取质量过低，这将导致场景中严重接触的物体无法被成功抓取
。
[0006]因此，现有技术存在的问题还亟需解决和优化
。

技术实现思路

[0007]本专利技术的目的在于至少一定程度上解决相关技术中存在的技术问题之一
。
[0008]为此，本专利技术实施例的第一个目的在于提供一种抓取检测模型的训练方法，该训练方法可以有效提高抓取检测模型对堆叠物体边缘的区分能力，有效提高抓取检测模型的识别准确性
。
[0009]本申请实施例的第二个目的在于提供一种抓取检测模型的识别方法
。
[0010]本申请实施例的第三个目的在于提供一种抓取检测模型的训练系统
。
[0011]为了达到上述技术目的，本申请实施例所采取的技术方案包括：
[0012]第一方面，本申请实施例提供了一种抓取检测模型的训练方法，所述训练方法包括：
[0013]获取标注好的
RGB
‑
D
图像训练集，以及对所述标注好的
RGB
‑
D
图像训练集进行点云转换处理，得到点云数据集；
[0014]对所述标注好的
RGB
‑
D
图像训练集进行多尺度特征提取处理，得到全局特征图集；
[0015]根据所述全局特征图集对所述点云数据集进行特征插值处理，得到插值特征集，
以及对所述点云数据集进行尺寸平衡处理，得到局部特征数据集；
[0016]对所述局部特征数据集和所述插值特征数据集进行特征融合处理，得到语义空间特征集，并对所述语义空间特征集进行多角度预测处理，得到训练预测候选集；
[0017]根据所述训练预测候选集对初始化的抓取检测模型进行参数更新，得到训练好的抓取检测模型
。
[0018]另外，根据本申请上述实施例的训练方法，还可以具有以下附加的技术特征：
[0019]进一步地，在本申请的一个实施例中，所述对所述标注好的
RGB
‑
D
图像训练集进行多尺度特征提取处理，得到全局特征图集，包括：
[0020]对所述
RGB
‑
D
图像训练集进行第一特征提取处理，得到第一特征图集；
[0021]对所述第一特征图集进行第二特征提取处理，得到第二特征图集；
[0022]对所述第二特征图集进行第三特征提取处理，得到第三特征图集；
[0023]对所述第一特征图集
、
所述第二特征图集和所述第三特征图集进行语义聚合处理，得到全局特征图集
。
[0024]进一步地，在本申请的一个实施例中，所述根据所述全局特征图集对所述点云数据集进行特征插值处理，得到插值特征集，包括：
[0025]对所述点云数据集依次进行上采样处理和实例分割处理，得到第一中间数据集；
[0026]对所述第一中间数据集进行下采样处理，得到第二中间数据集；
[0027]根据所述全局特征图集对所述第二中间数据集进行特征插值处理，得到所述插值特征集
。
[0028]进一步地，在本申请的一个实施例中，所述对所述点云数据集进行尺寸平衡处理，得到局部特征数据集，包括：
[0029]获取预设的多层环形圆柱；
[0030]根据所述多层环形圆柱对所述点云数据集进行分组处理，得到分组数据集；
[0031]根据所述第一中间数据集对所述分组数据集进行感知处理，得到所述局部特征数据集
。
[0032]进一步地，在本申请的一个实施例中，所述对所述语义空间特征集进行多角度预测处理，得到训练预测候选集，包括：
[0033]对所述语义空间特征集进行上采样处理，得到第三中间数据集；
[0034]对所述第三中间数据集进行抓取宽度处理，得到宽度候选集；
[0035]对所述第三中间数据集进行抓取角度处理，得到角度候选集；
[0036]对所述第三中间数据集进行抓取概率处理，得到概率候选集；
[0037]根据所述宽度候选集
、
所述角度候选集和所述概率候选集，生成所述训练预测候选集
。
[0038]进一步地，在本申请的一个实施例中，所述根据所述训练预测候选集对初始化的抓取检测模型进行参数更新，得到训练好的抓取检测模型，包括：
[0039]获取与所述训练预测候选集对应的堆叠物体标签；
[0040]根据所述训练预测候选集和所述堆叠物体标签，确定训练损失值；
[0041]根据所述训练损失值，对所述初始化的抓取检测模型进行参数更新，得到训练好的抓取检测模型
。
[0042]第二方面，本申请实施例提供了一种抓取检测模型的识别方法，包括：
[0043]获取待检测的
RGB
‑
D
图像；
[0044]将所述待检测的
RGB
‑
D
图像输入至如上述第一方面任一种所述的抓取检测模型中，得到预测候选集；
[0045]对所述预测候选集进行混乱度分析，得到第一预测候选框，所述第一预测候选框用于表征在所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种抓取检测模型的训练方法，其特征在于，所述训练方法包括：获取标注好的
RGB
‑
D
图像训练集，以及对所述标注好的
RGB
‑
D
图像训练集进行点云转换处理，得到点云数据集；对所述标注好的
RGB
‑
D
图像训练集进行多尺度特征提取处理，得到全局特征图集；根据所述全局特征图集对所述点云数据集进行特征插值处理，得到插值特征集，以及对所述点云数据集进行尺寸平衡处理，得到局部特征数据集；对所述局部特征数据集和所述插值特征数据集进行特征融合处理，得到语义空间特征集，并对所述语义空间特征集进行多角度预测处理，得到训练预测候选集；根据所述训练预测候选集对初始化的抓取检测模型进行参数更新，得到训练好的抓取检测模型
。2.
根据权利要求1所述的抓取检测模型的训练方法，其特征在于，所述对所述标注好的
RGB
‑
D
图像训练集进行多尺度特征提取处理，得到全局特征图集，包括：对所述
RGB
‑
D
图像训练集进行第一特征提取处理，得到第一特征图集；对所述第一特征图集进行第二特征提取处理，得到第二特征图集；对所述第二特征图集进行第三特征提取处理，得到第三特征图集；对所述第一特征图集
、
所述第二特征图集和所述第三特征图集进行语义聚合处理，得到全局特征图集
。3.
根据权利要求1所述的抓取检测模型的训练方法，其特征在于，所述根据所述全局特征图集对所述点云数据集进行特征插值处理，得到插值特征集，包括：对所述点云数据集依次进行上采样处理和实例分割处理，得到第一中间数据集；对所述第一中间数据集进行下采样处理，得到第二中间数据集；根据所述全局特征图集对所述第二中间数据集进行特征插值处理，得到所述插值特征集
。4.
根据权利要求3所述的抓取检测模型的训练方法，其特征在于，所述对所述点云数据集进行尺寸平衡处理，得到局部特征数据集，包括：获取预设的多层环形圆柱；根据所述多层环形圆柱对所述点云数据集进行分组处理，得到分组数据集；根据所述第一中间数据集对所述分组数据集进行感知处理，得到所述局部特征数据集
。5.
根据权利要求1所述的抓取检测模型的训练方法，其特征在于，所述对所述语义空间特征集进行多角度预测处理，得到训练预测候选集，包括：对所述语义空间特征集进行上采样处理，得到第三中间数据集；对所述第三中间数据集进行抓取宽度处理，得到宽度候选集；对所述...

【专利技术属性】
技术研发人员：程良伦，陈泳斌，王涛，
申请(专利权)人：广东能哥知识科技有限公司，
类型：发明
国别省市：