基于自监督表示学习的视觉抓取检测方法及系统技术方案

本发明专利技术提供了一种基于自监督表示学习的视觉抓取检测方法及系统，方法包括：步骤1：根据获取到的深度图像，得到有标注图像数据集和无标注图像数据集；步骤2：在编码器中通过孪生网络对无标注图像数据集进行训练，并且通过度量学习损失方法提取相似抓取对象之间的共同特征；步骤3：利用有标注图像数据集对解码器进行微调，得到训练模型；步骤4：通过训练模型进行视觉抓取。与现有技术相比，本发明专利技术通过各种数据增强技术，借助度量学习损失，提取相似抓取对象之间的共性，提升了模型的泛化能力，利用已标注的数据对解码器进行微调，从抓取质量图和后续抓取规划生成的抓取位姿中推断出最佳抓取候选，从而提升视觉抓取能力。从而提升视觉抓取能力。从而提升视觉抓取能力。

Visual capture detection method and system based on self supervised representation learning

【技术实现步骤摘要】
基于自监督表示学习的视觉抓取检测方法及系统


[0001]本专利技术涉及视觉抓取检测
，具体地，涉及一种基于自监督表示学习的视觉抓取检测方法及系统。

技术介绍

[0002]随着机器人技术的不断发展，机器人逐渐应用于工业和家庭等场景，这些应用场景通常要求机器人能够进行自主抓取。目前，大多数工业机器人仍然基于固定位置抓取来执行重复性任务。为了适应机器人技术的发展，机器人自主抓取应运而生。自主抓取涉及感知、规划和控制等内容，机器人需要与环境互动并自主完成任务，即知道该抓取哪个对象以及如何抓取。
[0003]一个完整的机器人抓取过程可以分为以下三个步骤：抓取检测、轨迹规划和运动控制。抓取检测是定位物体并生成该物体抓取姿势的过程，可以大致分为两类方法：基于几何分析方法和数据驱动方法。基于几何分析方法通常通过分析和计算物理模型的几何和运动学进行抓取检测。数据驱动方法主要基于机器学习方法，通常需要大量人为标记样本。
[0004]专利文献CN109702741A公开了一种基于自监督学习神经网络的机械臂视觉抓取系统，包括：景深摄像头、实例分割本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督表示学习的视觉抓取检测方法，其特征在于，包括:步骤1：根据获取到的深度图像，得到有标注图像数据集和无标注图像数据集；步骤2：在编码器中通过孪生网络对所述无标注图像数据集进行训练，并且通过度量学习损失方法提取相似抓取对象之间的共同特征；步骤3：利用所述有标注图像数据集对解码器进行微调，得到训练模型；步骤4：通过所述训练模型进行视觉抓取。2.根据权利要求1所述的基于自监督表示学习的视觉抓取检测方法，其特征在于，所述步骤1，包括：步骤101：通过3D相机获取所述深度图像；步骤102：对所述深度图像中的第一部分进行标注处理，得到所述有标注图像数据集；步骤103：根据所述深度图像中的其余部分，得到所述无标注图像数据集。3.根据权利要求1所述的基于自监督表示学习的视觉抓取检测方法，其特征在于，所述步骤2，包括：步骤201：对所述无标注图像数据集中的深度图像进行数据增强处理后，输入到孪生网络进行训练，得到增强图像；步骤202：利用度量学习的损失值提取所述增强图像中相似抓取对象之间的共同特征。4.根据权利要求1所述的基于自监督表示学习的视觉抓取检测方法，其特征在于，所述步骤3，包括：步骤301：利用反向传播算法和梯度优化算法对所述有标注图像数据集进行微调，得到所述训练模型。5.根据权利要求1所述的基于自监督表示学习的视觉抓取检测方法，其特征在于，所述步骤4，包括：步骤401：根据所述训练模型，输入深度图像，输出抓取质量图；步骤402：根据所述抓取质量图，得到抓取质量点，进行视觉抓取。6.一种基于自监督表示学习的视觉抓取检...

【专利技术属性】
技术研发人员：阚震，李琳，李智军，王邵晨，周章力，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：