基于深度学习的机器人抓取方法、系统、介质和电子设备技术方案

本申请提供了一种基于深度学习的机器人抓取方法、系统、计算机可读存储介质和电子设备。该方法包括：根据输入的深度图像构建目标物体的三维点云信息，并进行封装，得到目标物体的输入数据；根据目标物体的输入数据，基于预先训练的抓取方式评估模型，得到位于目标场景下的目标物体的候选抓取方式中不同抓取方式的抓取评估值；选取抓取评估值最高的抓取方式，对目标场景下的目标物体进行抓取。籍此，通过虚拟目标物体的生成方式提供实际使用场景的输入数据，辅助提供机器人抓取方式的决策依据，实现对真实场景中面对三维物体时，选择抓取方式的快速分析和有效决策；为机器人应用在实际使用过程中的动作和行为提供重要的决策依据。依据。依据。

【技术实现步骤摘要】
基于深度学习的机器人抓取方法、系统、介质和电子设备


[0001]本申请涉及机器人感知
，特别涉及一种基于深度学习的机器人抓取方法、系统、计算机可读存储介质和电子设备。

技术介绍

[0002]物体抓取是指在给定目标物体和环境限制的可达性约束条件下，能够获得最佳成功率的抓取方式选择。针对目标物体选取合适的抓取方式是机器人应用中的一项基本任务，比如，对于一项基础的物体搬运任务，机器人首先具备正确识别物体的能力，并在适当的时机采取最佳的抓取方式，才能顺利完成后续的搬运动作。在实际的应用场景中，由于目标物体存在形状、姿态、材料属性等一系列不确定因素，且受到环境光线、视角等情况的影响，往往对机器人的正确观测并执行抓取行为添加了较大的挑战，如何正确地识别目标三维物体及相关的环境限制，在给定的抓取方式范围中选取最适合当前场景的方案或配置选项，是机器人领域亟待解决的问题之一。
[0003]传统方法通常会基于物理学理论的分析结论来规划抓取的方向、力度、速度等信息，但这些方法都隐含假定视觉感知系统获取到的信息是理想条件下完美无差错的，这一条件在实际应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的机器人抓取方法，其特征在于，包括：根据输入的深度图像构建目标物体的三维点云信息，并进行封装，得到所述目标物体的输入数据；根据所述目标物体的输入数据，基于预先训练的抓取方式评估模型，得到位于所述目标场景下的所述目标物体的候选抓取方式中不同抓取方式的抓取评估值；选取所述抓取评估值最高的抓取方式，对所述目标场景下的所述目标物体进行抓取。2.根据权利要求1所述的基于深度学习的机器人抓取方法，其特征在于，所述根据输入的深度图像构建目标物体的三维点云信息，并进行封装，得到所述目标物体的输入数据，包括：基于深度估计方法，根据输入的所述深度图像，构建所述目标物体的点云信息；对所述目标物体的点云信息进行封装，得到所述目标物体的输入数据。3.根据权利要求1所述的基于深度学习的机器人抓取方法，其特征在于，所述根据所述目标物体的输入数据，基于预先训练的抓取方式评估模型，得到目标场景下所述目标物体的候选抓取方式中不同抓取方式的抓取评估值，具体为：基于预先训练的所述抓取方式评估模型，对所述目标物体的输入数据执行模型前向传播操作，根据所述目标物体的特征属性的影响因子，获取目标场景下所述目标物体的候选抓取方式中不同抓取方式的抓取评估值；其中，所述目标物体的特征属性包括：所述目标物体的形状、姿态、位置。4.根据权利要求1所述的基于深度学习的机器人抓取方法，其特征在于，所述基于深度学习的机器人抓取方法还包括：根据预先得到的训练物体的三维点云数据，通过概率采样的方法，生成所述抓取方式评估模型的训练场景数据；根据所述训练场景数据和预设的损失函数，对基于深度学习的所述抓取方式评估模型进行迭代更新。5.根据权利要求4所述的基于深度学习的机器人抓取方法，其特征在于，所述根据预先得到的训练物体的三维点云数据，通过概率采样的方法，生成所述抓取方式评估模型的训练场景数据，包括：根据预设应用场景集合中的所述目标场景，从训练物体集合中选取与所述目标场景相对应的训练物体；其中，所述训练物体集合包含多个不同类别的...

【专利技术属性】
技术研发人员：王卫军，王兆广，徐友法，张允，孙海峰，杨亚，郭雨晨，陈凯，
申请(专利权)人：上海微电机研究所中国电子科技集团公司第二十一研究所，
类型：发明
国别省市：