【技术实现步骤摘要】
本申请涉及计算机，尤其涉及机器人抓取规划方法、装置、电子设备、存储介质和计算机程序产品。
技术介绍
1、视觉引导的机械臂模仿学习，在复杂环境中的抓取和识别方面已经得到广泛应用，然而，如何更有效地利用视觉信息仍然是当前研究的前沿问题。其中，预训练的视觉表示是当前研究的一个重要方向，这为机器人在模拟和实际环境中更好地理解和应用视觉信息提供了强大的能力。但是，目前的预训练的视觉表示依赖于自监督学习目标，存在三维信息的捕获与理解局限、计算资源难以在边缘设备上部署以及自监督学习目标的适应性等问题。
技术实现思路
1、本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种机器人抓取规划方法，通过在预训练阶段利用大规模数据集学习深度信息，然后将该3d视觉表示学习应用于机器人控制的2d表示学习中，可以更好地捕捉视觉感知信息，同时通过本体感知信息融合方式，提高机器人的操作精度和效率，实现在没有3d信息的情况下进行抓取，从而提高抓取的准确性。
2、本申请还提出一种机器人抓取规划装置、电子设备、存储介质和计算机程序产品。
3、根据本申请第一方面实施例的机器人抓取规划方法，包括：
4、获取目标物体的rgb图像和机器人的本体感知信息；所述本体感知信息表征所述机器人的自身状态信息和对周围环境及物体的感知信息；
5、将所述rgb图像和所述本体感知信息输入至机器人抓取视觉表征模型，获取所述机器人抓取视觉表征模型输出的所述机器人的抓取动作信息；所述机器人
6、基于所述抓取动作信息，确定所述机器人的抓取规划信息。
7、根据本申请的一个实施例，所述机器人抓取视觉表征模型是基于以下步骤训练得到的：
8、基于所述样本rgb图像和所述深度图，确定第一损失函数；
9、基于所述第一损失函数对编码器进行训练，并基于训练后的编码器确定所述样本rgb图像的特征图；
10、基于所述特征图和所述样本本体感知信息，确定第二损失函数；
11、对所述第二损失函数进行模型训练，得到所述机器人抓取视觉表征模型。
12、根据本申请的一个实施例，所述基于所述样本rgb图像和所述深度图，确定第一损失函数，包括：
13、基于所述样本rgb图像和所述深度图，确定样本判断矩阵；所述样本判断矩阵包括正样本和负样本；
14、基于所述样本判断矩阵，确定正像素组和负像素组；
15、基于所述正像素组和所述负像素组，确定像素级损失函数；
16、基于所述像素级损失函数和实例级损失函数，确定所述第一损失函数。
17、根据本申请的一个实施例，所述基于所述特征图和所述样本本体感知信息，确定第二损失函数，包括：
18、对所述特征图进行平均池化处理，得到所述特征图的特征向量；
19、确定所述特征图的特征向量序列与所述样本本体感知信息的矩阵序列的交叉注意力结果；
20、基于所述特征向量、所述交叉注意力结果和设定任务目标，确定所述第二损失函数，所述设定任务目标表征存放所述目标物体的位置。
21、根据本申请的一个实施例，所述基于所述样本rgb图像和所述深度图，确定样本判断矩阵，包括：
22、对所述样本rgb图像和所述深度图进行裁剪，得到第一视图和第二视图；所述第一视图包括第一rgb视图和第一深度视图；所述第二视图包括第二rgb视图和第二深度视图；
23、确定所述第一rgb视图与所述第二rgb视图之间的距离，以及所述第一深度视图与所述第二深度视图之间的深度值；
24、基于所述距离以及距离阈值，确定所述样本rgb图像的第一样本判断矩阵；
25、基于所述深度值以及深度阈值，确定所述深度图的第二样本判断矩阵；
26、基于所述第一样本判断矩阵和所述第二样本判断矩阵，确定所述样本判断矩阵。
27、根据本申请的一个实施例，所述基于所述正像素组和所述负像素组，确定像素级损失函数，包括：
28、基于所述正像素组和所述负像素组，确定所述第一视图的损失函数和所述第二视图的损失函数；
29、基于所述第一视图的损失函数和所述第二视图的损失函数，确定所述像素级损失函数。
30、根据本申请的一个实施例，确定所述实例级损失函数的步骤如下：
31、对所述第一rgb视图的特征图的不同视角进行编码，得到第三rgb视图；
32、对所述第二rgb视图的特征图的不同视角进行编码，得到第四rgb视图；
33、基于预测头网络确定所述第三rgb视图的特征矩阵，以及所述第四rgb视图的特征矩阵；
34、基于所述第三rgb视图及其特征矩阵、所述第四rgb视图及其特征矩阵，确定所述实例级损失函数。
35、根据本申请第二方面实施例的机器人抓取规划装置，包括：
36、获取模块，用于获取目标物体的rgb图像和机器人的本体感知信息；所述本体感知信息表征所述机器人的自身状态信息和对周围环境及物体的感知信息；
37、识别模块，用于将所述rgb图像和所述本体感知信息输入至机器人抓取视觉表征模型，获取所述机器人抓取视觉表征模型输出的所述机器人的抓取动作信息；所述机器人抓取视觉表征模型是基于样本本体感知信息和样本rgb图像及与所述样本rgb图像所对应的深度图训练得到的；
38、规划模块，用于基于所述抓取动作信息，确定所述机器人的抓取规划信息。
39、根据本申请第三方面实施例的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述机器人抓取规划方法。
40、根据本申请第四方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述机器人抓取规划方法。
41、根据本申请第五方面实施例的计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上述任一种所述机器人抓取规划方法。
42、本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
43、在预训练阶段利用大规模数据集学习深度信息，然后将该3d视觉表示学习应用于机器人控制的2d表示学习中，可以更好地捕捉视觉感知信息，从而在相同的网络架构下提取更好的特征表示。通过这种迁移学习的方式可以有效地节省训练时间和成本，并且在训练数据不足的情况下也能够获得更好的性能。
44、采用机器人的本体感知信息融合方式，将机器人的本体感知信息与视觉感知信息进行融合，可以有效地提高机械臂抓取路径规划的效果。通过融合机器人的本体感知信息，可以更好地考虑机器人的物理限制和环境约束，从而更准确地规划抓取路径。通过本体感知信息本文档来自技高网...
【技术保护点】
1.一种机器人抓取规划方法，其特征在于，包括：
2.根据权利要求1所述的机器人抓取规划方法，其特征在于，所述机器人抓取视觉表征模型是基于以下步骤训练得到的：
3.根据权利要求2所述的机器人抓取规划方法，其特征在于，所述基于所述样本RGB图像和所述深度图，确定第一损失函数，包括：
4.根据权利要求2所述的机器人抓取规划方法，其特征在于，所述基于所述特征图和所述样本本体感知信息，确定第二损失函数，包括：
5.根据权利要求3所述的机器人抓取规划方法，其特征在于，所述基于所述样本RGB图像和所述深度图，确定样本判断矩阵，包括：
6.根据权利要求5所述的机器人抓取规划方法，其特征在于，所述基于所述正像素组和所述负像素组，确定像素级损失函数，包括：
7.根据权利要求5所述的机器人抓取规划方法，其特征在于，确定所述实例级损失函数的步骤如下：
8.一种机器人抓取规划装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的机器人抓取规划方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的机器人抓取规划方法。
...【技术特征摘要】
1.一种机器人抓取规划方法，其特征在于，包括：
2.根据权利要求1所述的机器人抓取规划方法，其特征在于，所述机器人抓取视觉表征模型是基于以下步骤训练得到的：
3.根据权利要求2所述的机器人抓取规划方法，其特征在于，所述基于所述样本rgb图像和所述深度图，确定第一损失函数，包括：
4.根据权利要求2所述的机器人抓取规划方法，其特征在于，所述基于所述特征图和所述样本本体感知信息，确定第二损失函数，包括：
5.根据权利要求3所述的机器人抓取规划方法，其特征在于，所述基于所述样本rgb图像和所述深度图，确定样本判断矩阵，包括：
6.根据权利要求5所述的机器人抓取规划方法，其特征在于，所述基于所述正像素组和所述负像素组，确定像...
【专利技术属性】
技术研发人员：徐志远，黎金铭，祝毅晨，车正平，刘冬，奉飞飞，唐剑，
申请(专利权)人：美的集团上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。