物体的抓取方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及一种物体的抓取方法、装置、电子设备、存储介质和计算机程序产品。所述方法包括：获取包含物体的第一帧的第一场景图像、以及包含物体的在后的第二帧的第二场景图像；根据第一场景图像和所述第二场景图像，获取第一帧的第一候选抓取姿态集合及第二帧的第二候选抓取姿态集合，并获取第一候选抓取姿态集合和第二候选抓取姿态集合的关联程度；从第一候选抓取姿态集合中确定对应第一帧的第一抓取姿态，并基于第一抓取姿态、关联程度，从第二候选抓取姿态集合中确定对应第二帧的第二抓取姿态；控制执行机构根据第二抓取姿态对运动物体进行抓取。采用本方法能够提升运动物体抓取的稳定性和准确性。取的稳定性和准确性。取的稳定性和准确性。

【技术实现步骤摘要】
物体的抓取方法、装置、电子设备和存储介质


[0001]本申请涉及机器人
，特别是涉及一种物体的抓取方法、装置、电子设备、存储介质和计算机程序产品。

技术介绍

[0002]作为机器人领域的重要问题，物体抓取在农业、工业和服务业都有着重要价值。物体抓取的主流思路是通过传感器获取场景的二维或三维图像，利用抓取姿态检测技术预测机械臂末端夹爪在抓取物体时的位置和朝向，经过运动规划后执行抓取动作。
[0003]传统技术中，对于运动物体的抓取检测，一般是将动态物体抓取转化为物体姿态追踪问题，通过持续跟踪同一个物体并预测其在空间中的姿态，根据人工预先设定的抓取姿态模板对运动物体进行抓取，这种方法由于对物体的抓取姿态是人工设定的，分布较为稀疏，不能随着位置移动而灵活变化，导致最后的抓取效果并不理想。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提升物体抓取准确性的物体的抓取方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种物体的抓取方法，所述方法包括：
[0006]获取包含所述物体的第一帧的第一场景图像、以及包含所述物体的在后的第二帧的第二场景图像；
[0007]根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度；
[0008]从所述第一候选抓取姿态集合中确定对应所述第一帧的第一抓取姿态，并基于所述第一抓取姿态、所述关联程度，从所述第二候选抓取姿态集合中确定对应所述第二帧的第二抓取姿态；
[0009]控制执行机构根据所述第二抓取姿态对所述运动物体进行抓取。
[0010]在其中一个实施例中，所述根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：
[0011]通过抓取生成模型处理所述第一场景图像和所述第二场景图像，获得所述第一帧的第一候选抓取姿态集合和所述第二帧的第二候选抓取姿态集合；
[0012]通过抓取关联模型对所述第一候选抓取姿态集合和所述第二候选抓取姿态集合进行处理，确定所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度。
[0013]在其中一个实施例中，所述抓取关联模型的训练方式，包括：
[0014]获取样本数据集的第一样本抓取姿态集合和第二样本姿态抓取集合；
[0015]确定所述第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取
姿态之间的抓取距离；
[0016]将各所述抓取距离与预设距离阈值进行比较，确定样本目标抓取姿态集合，所述样本目标抓取姿态集合由所述第二样本姿态抓取集合和所述第一样本抓取姿态集合中同类型的样本抓取姿态构成的集合；
[0017]基于所述第一样本抓取姿态集合、所述第二样本姿态抓取集合以及样本目标抓取姿态集合，确定损失函数值；
[0018]根据所述损失函数值，迭代初始权重参数，训练获得所述抓取关联模型。
[0019]在其中一个实施例中，所述第一样本抓取姿态集合中包括各第一样本抓取姿态关联的第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量；所述第二样本抓取姿态集合中包括各第二样本抓取姿态关联的第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量；
[0020]所述确定所述第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离，包括：
[0021]基于所述第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量，确定所述第一样本抓取姿态的第一样本旋转量和第一样本平移量；
[0022]根据所述第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量，确定所述第二样本抓取姿态的第二样本旋转量和第二样本平移量；
[0023]基于所述第一样本旋转量和所述第二样本旋转量，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的旋转距离；
[0024]根据所述第一样本平移量和所述第二样本平移量，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的平移距离；
[0025]根据所述旋转距离和所述平移距离，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的抓取距离。
[0026]在其中一个实施例中，所述通过抓取生成模型处理所述第一场景图像和所述第二场景图像，获得所述第一帧的第一候选抓取姿态集合和所述第二帧的第二候选抓取姿态集合，包括：
[0027]获取所述第一场景图像的第一场景点云；
[0028]对所述第一场景点云进行点云场景分析，得到多个第一场景种子点；
[0029]获取所述第二景图像的第二场景点云；
[0030]对所述第二场景点云进行点云场景分析，得到多个第二场景种子点；
[0031]对每个第一场景种子点分别进行特征提取处理，获得对应的第一抓取结果，所述第一抓取结果包括第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；
[0032]对每个第二场景种子点分别进行特征提取处理，获得对应的第二抓取结果，所述第一抓取结果包括第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量。
[0033]在其中一个实施例中，所述第一候选抓取姿态集合包括各第一抓取姿态关联的第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；所述第二候选抓取姿态集合包括各抓取姿态关联的第二抓取姿态预测值、第二几何特征向量以及第二候选抓取特征向量；
[0034]所述通过抓取关联模型对所述第一候选抓取姿态集合和所述第二候选抓取姿态
集合进行处理，确定所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：
[0035]对所述第一抓取姿态进行色彩特征处理，获得所述第一抓取姿态对应的第一色彩特征向量；
[0036]对所述第二抓取姿态进行色彩特征处理，获得所述第二抓取姿态对应的第二色彩特征向量；
[0037]将所述第一抓取姿态预测值、第一几何特征向量和第一色彩特征向量进行向量处理，拼接到所述第一候选抓取特征向量上，得到第一初始拼接特征向量；
[0038]将所述第二抓取姿态预测值、第二几何特征向量和第二色彩特征向量进行向量处理，拼接到所述第二候选抓取特征向量上，得到第二初始拼接特征向量；
[0039]分别对所述第一初始拼接特征向量和所述第二初始拼接特征向量进行处理，得到对应的第一目标拼接特征向量和第二目标拼接特征向量；
[0040]基于所述第一目标拼接特征向量和第二目标拼接特征向量，得到所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度。
[0041]在其中一个实施例中，所述针对各本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体的抓取方法，其特征在于，所述方法包括：获取包含所述物体的第一帧的第一场景图像、以及包含所述物体的在后的第二帧的第二场景图像；根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度；从所述第一候选抓取姿态集合中确定对应所述第一帧的第一抓取姿态，并基于所述第一抓取姿态、所述关联程度，从所述第二候选抓取姿态集合中确定对应所述第二帧的第二抓取姿态；控制执行机构根据所述第二抓取姿态对所述运动物体进行抓取。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一场景图像和所述第二场景图像，获取所述第一帧的第一候选抓取姿态集合及所述第二帧的第二候选抓取姿态集合，并获取所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度，包括：通过抓取生成模型处理所述第一场景图像和所述第二场景图像，获得所述第一帧的第一候选抓取姿态集合和所述第二帧的第二候选抓取姿态集合；通过抓取关联模型对所述第一候选抓取姿态集合和所述第二候选抓取姿态集合进行处理，确定所述第一候选抓取姿态集合和所述第二候选抓取姿态集合的关联程度。3.根据权利要求2所述的方法，其特征在于，所述抓取关联模型的训练方式，包括：获取样本数据集的第一样本抓取姿态集合和第二样本姿态抓取集合；确定所述第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离；将各所述抓取距离与预设距离阈值进行比较，确定样本目标抓取姿态集合，所述样本目标抓取姿态集合由所述第二样本姿态抓取集合和所述第一样本抓取姿态集合中同类型的样本抓取姿态构成的集合；基于所述第一样本抓取姿态集合、所述第二样本姿态抓取集合以及样本目标抓取姿态集合，确定损失函数值；根据所述损失函数值，迭代初始权重参数，训练获得所述抓取关联模型。4.根据权利要求3所述的方法，其特征在于，所述第一样本抓取姿态集合中包括各第一样本抓取姿态关联的第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量；所述第二样本抓取姿态集合中包括各第二样本抓取姿态关联的第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量；所述确定所述第一样本抓取姿态集合和第二样本姿态抓取集合中，任意两个样本抓取姿态之间的抓取距离，包括：基于所述第一样本抓取姿态预测值、第一样本几何特征向量、第一样本候选抓取特征向量，确定所述第一样本抓取姿态的第一样本旋转量和第一样本平移量；根据所述第二样本抓取姿态预测值、第二样本几何特征向量、第二样本候选抓取特征向量，确定所述第二样本抓取姿态的第二样本旋转量和第二样本平移量；基于所述第一样本旋转量和所述第二样本旋转量，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的旋转距离；
根据所述第一样本平移量和所述第二样本平移量，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的平移距离；根据所述旋转距离和所述平移距离，确定所述第一样本抓取姿态和所述第二样本抓取姿态之间的抓取距离。5.根据权利要求2所述的方法，其特征在于，所述通过抓取生成模型处理所述第一场景图像和所述第二场景图像，获得所述第一帧的第一候选抓取姿态集合和所述第二帧的第二候选抓取姿态集合，包括：获取所述第一场景图像的第一场景点云；对所述第一场景点云进行点云场景分析，得到多个第一场景种子点；获取所述第二景图像的第二场景点云；对所述第二场景点云进行点云场景分析，得到多个第二场景种子点；对每个第一场景种子点分别进行特征提取处理，获得对应的第一抓取结果，所述第一抓取结果包括第一抓取姿态预测值、第一几何特征向量以及第一候选抓取特征向量；对每个第二场景种子点...

【专利技术属性】
技术研发人员：王晨曦，方浩树，卢策吾，
申请(专利权)人：非夕科技有限公司，
类型：发明
国别省市：