基于深度学习的机器人抓取方法、系统、介质和电子设备技术方案

本申请提供了一种基于深度学习的机器人抓取方法、系统、计算机可读存储介质和电子设备。该方法包括：根据输入的深度图像构建目标物体的三维点云信息，并进行封装，得到目标物体的输入数据；根据目标物体的输入数据，基于预先训练的抓取方式评估模型，得到位于目标场景下的目标物体的候选抓取方式中不同抓取方式的抓取评估值；选取抓取评估值最高的抓取方式，对目标场景下的目标物体进行抓取。籍此，通过虚拟目标物体的生成方式提供实际使用场景的输入数据，辅助提供机器人抓取方式的决策依据，实现对真实场景中面对三维物体时，选择抓取方式的快速分析和有效决策；为机器人应用在实际使用过程中的动作和行为提供重要的决策依据。依据。依据。

【技术实现步骤摘要】
基于深度学习的机器人抓取方法、系统、介质和电子设备


[0001]本申请涉及机器人感知
，特别涉及一种基于深度学习的机器人抓取方法、系统、计算机可读存储介质和电子设备。

技术介绍

[0002]物体抓取是指在给定目标物体和环境限制的可达性约束条件下，能够获得最佳成功率的抓取方式选择。针对目标物体选取合适的抓取方式是机器人应用中的一项基本任务，比如，对于一项基础的物体搬运任务，机器人首先具备正确识别物体的能力，并在适当的时机采取最佳的抓取方式，才能顺利完成后续的搬运动作。在实际的应用场景中，由于目标物体存在形状、姿态、材料属性等一系列不确定因素，且受到环境光线、视角等情况的影响，往往对机器人的正确观测并执行抓取行为添加了较大的挑战，如何正确地识别目标三维物体及相关的环境限制，在给定的抓取方式范围中选取最适合当前场景的方案或配置选项，是机器人领域亟待解决的问题之一。
[0003]传统方法通常会基于物理学理论的分析结论来规划抓取的方向、力度、速度等信息，但这些方法都隐含假定视觉感知系统获取到的信息是理想条件下完美无差错的，这一条件在实际应用场景中很难满足。复杂多变且不可预知的使用场景往往会使这类基于规则分析判断的抓取规划出现错误。因此，通过物理原理分析的抓取规划往往不具备实际操作的可行性，而通过经验学习得到的相关参数很可能遇到跨域效果降低的影响。这些挑战导致机器人在实际应用过程中无法有效地选择正确的抓取方式，导致机器人行为操作的成功率降低。
[0004]因此，需要提供一种针对上述现有技术不足的改进技术方案。

技术实现思路

[0005]本申请的目的在于提供一种基于深度学习的机器人抓取方法、系统、计算机可读存储介质和电子设备，以解决或缓解上述现有技术中存在的问题。
[0006]为了实现上述目的，本申请提供如下技术方案：
[0007]本申请提供了一种基于深度学习的机器人抓取方法，包括：根据输入的深度图像构建目标物体的三维点云信息，并进行封装，得到所述目标物体的输入数据；根据所述目标物体的输入数据，基于预先训练的抓取方式评估模型，得到位于所述目标场景下的所述目标物体的候选抓取方式中不同抓取方式的抓取评估值；选取所述抓取评估值最高的抓取方式，对所述目标场景下的所述目标物体进行抓取。
[0008]优选的，所述根据输入的深度图像构建目标物体的三维点云信息，并进行封装，得到所述目标物体的输入数据，包括：基于深度估计方法，根据输入的所述深度图像，构建所述目标物体的点云信息；对所述目标物体的点云信息进行封装，得到所述目标物体的输入数据。
[0009]优选的，所述根据所述目标物体的输入数据，基于预先训练的抓取方式评估模型，
得到目标场景下所述目标物体的候选抓取方式中不同抓取方式的抓取评估值，具体为：基于预先训练的所述抓取方式评估模型，对所述目标物体的输入数据执行模型前向传播操作，根据所述目标物体的特征属性的影响因子，获取目标场景下所述目标物体的候选抓取方式中不同抓取方式的抓取评估值；其中，所述目标物体的特征属性包括：所述目标物体的形状、姿态、位置。
[0010]优选的，所述基于深度学习的机器人抓取方法还包括：根据预先得到的训练物体的三维点云数据，通过概率采样的方法，生成所述抓取方式评估模型的训练场景数据；根据所述训练场景数据和预设的损失函数，对基于深度学习的所述抓取方式评估模型进行迭代更新。
[0011]优选的，所述根据预先得到的训练物体的三维点云数据，通过概率采样的方法，生成所述抓取方式评估模型的训练场景数据，包括：根据预设应用场景集合中的所述目标场景，从训练物体集合中选取与所述目标场景相对应的训练物体；其中，所述训练物体集合包含多个不同类别的所述训练物体；所述预设应用场景集合包含多个不同的所述目标场景，多个不同的所述目标场景分别与多个不同类别的所述训练物体相对应；基于渲染引擎或三维重建方法，生成所述训练物体的三维点云数据；其中，所述训练物体的三维点云数据为可用于渲染的格式；对所述三维点云数据进行渲染，并根据所述训练物体在所述目标场景的统计数据，对所述训练物体进行概率采样，生成所述抓取方式评估模型的满足预设条件概率分布的训练场景数据。
[0012]优选的，所述根据所述训练场景数据和预设的损失函数，对基于深度学习的所述抓取方式评估模型进行迭代更新，具体为：根据所述训练场景数据和预设的交叉熵损失函数，通过随机梯度下降方法，对基于深度卷积神经网络的所述抓取方式评估模型中各层的权重和偏置值进行迭代更新。
[0013]优选的，所述基于深度学习的机器人抓取方法还包括：基于TensorFlow学习框架，构建所述抓取方式评估模型。
[0014]本申请实施例还提供一种基于深度学习的机器人抓取系统，包括：输入单元，配置为，根据输入的深度图像构建目标物体的三维点云信息，并进行封装，得到所述目标物体的输入数据；评估单元，配置为，根据所述目标物体的输入数据，基于预先训练的抓取方式评估模型，得到目标场景下所述目标物体的候选抓取方式中不同抓取方式的抓取评估值；决策单元，配置为，选取所述抓取评估值最高的抓取方式，对所述目标场景下的所述目标物体进行抓取。
[0015]本申请实施例还提供一种计算机可读存储介质，其上存储由计算机程序，所述程序如上任一实施例所述的基于深度学习的机器人抓取方法。
[0016]本申请实施例还提供一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上任一实施例所述的基于深度学习的机器人抓取方法。
[0017]与最接近的现有技术相比，本申请实施例的技术方案具有如下有益效果：
[0018]本申请实施例提供的技术方案中，根据输入的深度图像构建目标场景中的目标物体的三维点云信息，并进行封装，得到目标物体的输入数据；然后，根据目标物体的输入数据，基于预先训练的抓取方式评估模型，得到位于目标场景下目标物体的候选抓取方式中
不同抓取方式的抓取评估值；最后，选取抓取评估值最高的抓取方式，对目标场景下的目标物体进行抓取。籍此，通过虚拟目标物体的生成方式提供实际使用场景的输入数据，利用针对抓取方式有效性进行评估的抓取方式评估模型，对多个抓取方式同时评估，能够快速评估当前输入图片下不同候选抓取方式对于抓取效果的综合评分，根据该抓取效果综合评分向量，选取最适合当前场景决策依据的效果最优的抓取方式；辅助提供机器人抓取方式的决策依据，实现对真实场景中面对三维物体时选择抓取方式的快速分析和有效决策；为机器人应用在实际使用过程中的动作和行为提供重要的决策依据。
附图说明
[0019]构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：
[0020]图1为根据本申请的一些实施例提供的一种基于深度学习的机器人抓取方法的流程示意图；
[0021]图2为图1所示实施例基于深度学习的机器人抓取方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的机器人抓取方法，其特征在于，包括：根据输入的深度图像构建目标物体的三维点云信息，并进行封装，得到所述目标物体的输入数据；根据所述目标物体的输入数据，基于预先训练的抓取方式评估模型，得到位于所述目标场景下的所述目标物体的候选抓取方式中不同抓取方式的抓取评估值；选取所述抓取评估值最高的抓取方式，对所述目标场景下的所述目标物体进行抓取。2.根据权利要求1所述的基于深度学习的机器人抓取方法，其特征在于，所述根据输入的深度图像构建目标物体的三维点云信息，并进行封装，得到所述目标物体的输入数据，包括：基于深度估计方法，根据输入的所述深度图像，构建所述目标物体的点云信息；对所述目标物体的点云信息进行封装，得到所述目标物体的输入数据。3.根据权利要求1所述的基于深度学习的机器人抓取方法，其特征在于，所述根据所述目标物体的输入数据，基于预先训练的抓取方式评估模型，得到目标场景下所述目标物体的候选抓取方式中不同抓取方式的抓取评估值，具体为：基于预先训练的所述抓取方式评估模型，对所述目标物体的输入数据执行模型前向传播操作，根据所述目标物体的特征属性的影响因子，获取目标场景下所述目标物体的候选抓取方式中不同抓取方式的抓取评估值；其中，所述目标物体的特征属性包括：所述目标物体的形状、姿态、位置。4.根据权利要求1所述的基于深度学习的机器人抓取方法，其特征在于，所述基于深度学习的机器人抓取方法还包括：根据预先得到的训练物体的三维点云数据，通过概率采样的方法，生成所述抓取方式评估模型的训练场景数据；根据所述训练场景数据和预设的损失函数，对基于深度学习的所述抓取方式评估模型进行迭代更新。5.根据权利要求4所述的基于深度学习的机器人抓取方法，其特征在于，所述根据预先得到的训练物体的三维点云数据，通过概率采样的方法，生成所述抓取方式评估模型的训练场景数据，包括：根据预设应用场景集合中的所述目标场景，从训练物体集合中选取与所述目标场景相对应的训练物体；其中，所述训练物体集合包含多个不同类别的...

【专利技术属性】
技术研发人员：王卫军，王兆广，徐友法，张允，孙海峰，杨亚，郭雨晨，陈凯，
申请(专利权)人：上海微电机研究所中国电子科技集团公司第二十一研究所，
类型：发明
国别省市：