用于在训练和运行时环境中控制机器人物体拾取和放置的基于机器学习的系统和方法技术方案

公开了用于控制由机器人系统进行的物体拾取和放置的方法、系统和软件。该方法包括为物体分配机器学习模型的机器学习训练数据。机器学习训练数据包括分配给以多个不同物体姿势定位的物体的多个已知抓取位置标签。该方法包括在机器人系统的工作空间中提供物体。对于工作空间中处于多个不同物体姿势中的第一姿势的物体，该方法包括：在物体上映射第一候选抓取位置；针对物体上的第一候选抓取位置执行机器人运动；并且根据至少一个预定性能标准评估针对第一候选抓取位置的执行的结果。估针对第一候选抓取位置的执行的结果。估针对第一候选抓取位置的执行的结果。

【技术实现步骤摘要】
【国外来华专利技术】用于在训练和运行时环境中控制机器人物体拾取和放置的基于机器学习的系统和方法
[0001]相关申请的交叉引用
[0002]本专利申请要求于2019年4月16日提交的美国专利申请第16/385,470号的权益，其出于所有目的通过引用并入本文。


[0003]本公开涉及物体的机器人抓取，并且更具体地涉及用于由机械臂对物体的基于机器学习的抓取的系统和方法。

技术介绍

[0004]在至少一些已知方法中，二维(2D)或三维(3D)模型适合要由机器人抓取的物体。备选地，在这样的已知系统和方法中，使用分析推理来计算物体上的抓取位置。这种已知系统和方法的缺点包括对3D建模的时间和计算资源密集型要求、以及模型应用在实际运行时环境中的有效性取决于机器人系统效率的这一事实。此外，这种基于几何的方法忽略预测抓取位置的物体的密度和质量分布。此外，基于物体模型的虚拟模拟训练系统和方法容易出现过度拟合，这会增加抓取失败率。此外，在已知系统和方法中，使用人工标记的物体图像数据集既具有挑战性又不切实际地耗时，并且难以针对工业相关单元操作进行放大。
专利技术内本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于控制由机器人系统进行的物体拾取和放置的方法，所述机器人系统包括：与存储器设备通信的处理器、与所述处理器通信的机械臂、以及可操作地耦合到所述机械臂并且与所述处理器通信的物体夹具设备，所述方法包括：(a)由所述处理器为物体分配并且在所述存储器设备中存储机器学习模型的机器学习训练数据，其中所述机器学习训练数据包括分配给以多个不同物体姿势定位的所述物体的多个已知抓取位置标签；(b)在所述机器人系统的工作空间中提供所述物体；(c)对于所述工作空间中处于所述多个不同物体姿势中的第一姿势的所述物体：(i)由所述处理器在所述物体上映射第一候选抓取位置；(ii)由所述机械臂和所述物体夹具设备针对所述物体上的所述第一候选抓取位置执行机器人运动；以及(iii)由所述处理器根据至少一个预定性能标准来评估针对所述第一候选抓取位置的所述执行的结果。2.根据权利要求1所述的方法，其中：所述多个已知抓取位置标签被分配给存储在所述存储器设备中的所述物体的多个已知图像中的每个已知图像；所述机器学习训练数据作为一组数据对被存储在所述存储器设备中，所述一组数据对中的每个数据对对应于所述多个已知抓取位置标签中的一个已知抓取位置标签，所述多个已知抓取位置标签中的所述一个已知抓取位置标签分配给所述物体的所述多个已知图像中的一个已知图像；以及所述映射包括基于以下各项在所述物体上映射所述第一候选抓取位置：由所述处理器获取的以所述第一姿势定位在所述工作空间中的所述物体的一个或多个图像、以及所述一组数据对中的第一数据对。3.根据权利要求1所述的方法，其中：所述映射包括由所述处理器将所述机器学习模型的映射函数应用于所述工作空间中处于所述第一姿势的所述物体；以及所述方法还包括：响应于所述执行的所述结果满足所述至少一个预定性能标准，由所述处理器将所述映射函数分配给所述机器学习模型以用于所述机器人系统的所述工作空间中处于所述第一姿势的所述物体上的所述第一候选抓取位置。4.根据权利要求1所述的方法，还包括：(iv)响应于所述执行的所述结果不满足所述至少一个预定性能标准：(A)由所述处理器在所述工作空间中处于所述第一姿势的所述物体上映射至少第二候选抓取位置，其中所述至少第二候选抓取位置不同于所述第一候选抓取位置；(B)由所述处理器针对所述物体上的所述至少第二候选抓取位置将(c)(i)
‑
(c)(iii)迭代至少一次迭代；以及(C)对于所述迭代：如果所述执行的所述结果满足所述至少一个预定性能标准，则由所述处理器将至少第二映射函数分配给所述机器学习模型以用于所述机器人系统的所述工作空间中处于所述
第一姿势的所述物体上的所述至少第二候选抓取位置；否则：由所述处理器针对所述物体上的至少一个后续候选抓取位置将(c)(i)
‑
(c)(iii)后续迭代至少一次后续迭代。5.根据权利要求4所述的方法，其中所述一组数据对包括第一数据对和至少第二数据对，并且其中所述映射(iv)(A)包括基于以下各项在所述物体上映射所述至少第二候选抓取位置：由所述处理器获取的以所述第一姿势定位在所述工作空间中的所述物体的一个或多个图像、以及所述至少第二数据对。6.根据权利要求1所述的方法，还包括由所述处理器基于所述第一候选抓取位置在所述工作空间中在所述物体上的位置来确定自主运动控制方案。7.根据权利要求1所述的方法，其中所述机器人系统还包括一个或多个传感器，所述一个或多个传感器与所述处理器通信并且可操作地耦合到以下中的至少一项：所述机械臂和所述物体夹具设备，并且其中所述执行包括：由所述机械臂和所述物体夹具设备抓取所述物体；以及由所述处理器从所述一个或多个传感器获取针对所述抓取的抓取质量数据。8.根据权利要求7所述的方法，其中所述评估包括基于所获取的所述抓取质量数据来评估所述机械臂和所述物体夹具设备中的至少一项对所述物体的抓取质量。9.根据权利要求1所述的方法，其中在不由所述处理器估计所述工作空间中的所述物体的所述第一姿势的情况下，所述映射被执行。10.根据权利要求1所述的方法，其中所述工作空间包括所述机器人系统的运行时工作空间，所述方法还包括：在所述运行时工作空间中提供所述物体；以及由...

【专利技术属性】
技术研发人员：黄金苗，卡洛斯，
申请(专利权)人：ABB瑞士股份有限公司，
类型：发明
国别省市：