在未知或动态环境中的自主操作，例如机器人抓握和操纵提出了各种技术挑战。例如，给定物体的三维(3D)重构通常关注物体的几何形状，而不考虑物体的3D模型如何用于解决或执行机器人操作任务。如本文所描述，根据各种实施例，基于自主机器对物体或在物理环境内执行的任务生成物体和/或物理环境的模型。因此，在某些情况下，可以取决于使用模型执行的任务对给定物体或环境进行不同的建模。此外，可以取决于与模型相关联的任务以不同的分辨率对物体或环境的部分进行建模。环境的部分进行建模。环境的部分进行建模。
【技术实现步骤摘要】
【国外来华专利技术】用于自主机器人操作的面向任务的3D重构
技术介绍
[0001]在未知或动态环境中的自主操作(例如机器人抓握和操纵)提出了各种技术挑战。例如，此类操作可以在工业4.0中具有多种应用。动态环境中的自主操作可应用于大规模定制(例如，多品种、小批量制造)、智能工厂中的按需灵活制造流程、智能商店中的仓库自动化、智能物流中配送中心的自动化交付等。为了执行自主操作，例如抓握和操纵，机器人可以通过探索环境来学习技能。特别是，例如，机器人可能会在不同的情况下与不同的物体进行交互。然而，机器人在现实世界中的这种物理交互通常是耗时的、成本高昂的，并且在某些情况下是危险的。物体或环境的三维(3D)重构可以创建机器人的给定环境或机器人或机器人的一部分的数字双胞胎或模型，这可以使机器人能够有效和安全地学习技能。
[0002]然而，本文认识到，当前用于重构或建模的方法缺乏效率和能力。此外，在某些情况下，动态环境中自主机器的性能受到对那些环境建模的各种缺点的抑制，特别是对那些环境中的物体建模的各种缺点的抑制。
技术实现思路
[0003]本专利技术的实施例通过提供用于对物体和物理环境进行建模同时节省计算资源的方法、系统和装置来解决和克服本文描述的一个或多个缺点或技术问题，使得自主机器可以在这些环境中运行。在各种示例中，基于由模型代表的物体执行的自主任务的先验知识生成面向任务的3D构造模型。这样做时，可以生成在模型的各个部分具有可变分辨率的重构模型。例如，这种变化的分辨率可以节省在线重构时间和内存存储器。
[0004]在示例方面，用于在物理环境中操作自主机器的方法可以由自主系统执行。自主系统可以检测物理环境中的物体。该物体可以定义多个区域。可以识别需要自主机器与物体交互的任务。该方法还可以包括确定物体的多个区域中与任务相关联的选择区域。基于该任务，自主系统可以拍摄物体的图像。图像可以定义物体的不同视图，使得物体的不同视图基于任务。视图可以是深度图像、RGB图像、RGB
‑
D图像、IR(热红外)图像等。基于物体的不同视图，自主系统可以生成物体的物体模型，其中物体模型在选择区域处定义多个区域中的其他区域相比更大的分辨率。在某些情况下，可以基于任务定位传感器，以便拍摄物体的特定图像或物理环境的图像。在另一方面，物理环境可以定义多个表面，并且自主系统可以确定多个表面中与任务相关联的选择表面。此外，基于选择表面的图像，自主系统可以生成物理环境的环境模型，其中环境模型在选择表面定义比多个表面的其他表面更大的分辨率。基于环境模型，自主机器可以沿着避开物理环境的选择表面和/或其他表面的轨迹移动物体。
附图说明
[0005]当结合附图阅读时，从以下详细描述中可以最好地理解本专利技术的前述和其他方面。为了说明本专利技术，在附图中示出了当前优选的实施例，然而应当理解，本专利技术不限于所公开的具体手段。图中包括以下图：
[0006]图1示出了根据示例实施例的在包括各种物体的示例物理环境中的示例自主机器。
[0007]图2图示了示例未知物体和未知物体的视图，其可以由自主系统拍摄以用于模型或重构。
[0008]图3示出了可以使用基于任务的物体重构来执行的示例操作。
[0009]图4图示了图2中所示的未知物体的示例重构，其中使用基于抓握任务拍摄的视图来生成重构。
[0010]图5图示了根据另一个示例实施例的在另一个示例物理环境中的另一个示例自主机器。
[0011]图6是示出了根据示例实施例的可由自主系统执行的示例操作的流程图。
[0012]图7是示出根据另一示例实施例的可由自主系统执行的示例操作的另一流程图。
[0013]图8图示了可以在其中实现本公开的实施例的计算环境。
具体实施方式
[0014]在本文中认识到，构建(或重构)物体和环境的模型的当前方法缺乏效率和能力。例如，给定物体的三维(3D)重构通常关注物体的几何形状，而不考虑物体的3D模型如何用于解决或执行机器人操作任务。如本文所用，除非另有说明，机器人和自主机器可以互换使用，没有限制。如本文所描述，根据各种实施例，基于自主机器对物体或在物理环境内执行的任务生成物体和/或物理环境的模型。因此，在某些情况下，可以取决于使用模型执行的任务对给定物体或环境进行不同的建模。此外，可以取决于与模型相关联的任务以不同的分辨率对物体或环境的部分进行建模。
[0015]在某些情况下，当前的重构或建模方法缺乏效率和能力，因为没有充分利用机器人任务的先验知识。例如，为了驱动机器人通过手柄拿起咖啡杯，机器人可能需要高精度地估计手柄的表面几何形状。因此，杯子的重构模型可能需要手柄的高分辨率，而杯子其他表面的分辨率低。本文还认识到，当前具有唯一分辨率的重构模型在在线重构和内存占用方面效率低。此外，在某些情况下，自主机器在动态环境中的性能受到对那些环境建模的各种缺点的抑制，特别是对那些环境中的物体建模的各种缺点的抑制。
[0016]现在参考图1，示出了示例工业或物理环境100。如本文所使用，物理环境可以指代任何未知或动态的工业环境。重构或模型可以定义物理环境100或物理环境100内的一个或多个物体106的虚拟表示。物理环境100可以包括计算机化的自主系统102，其被配置为执行一个或多个制造操作，例如组装、运输等。自主系统102可以包括一个或多个机器人设备或自主机器，例如自主机器104，其被配置为执行一个或多个工业任务。系统102可以包括一个或多个计算处理器，配置为处理系统102、特别是自主机器104的信息和控制操作。自主机器104可以包括一个或多个处理器，例如处理器108，配置为处理信息和/或控制与自主机器104相关联的各种操作。用于在物理环境中操作自主机器的自主系统可以进一步包括用于存储器模块的存储器。处理器还可以被配置为执行模块以处理信息并基于信息生成模型。应当理解，所示环境100和系统102出于示例的目的而被简化了。环境100和系统102可以根据需要而变化，并且所有这样的系统和环境都被认为在本公开的范围内。
[0017]仍参照图1，自主机器104还可以包括机械臂或机器人操纵器110和被配置为支撑
机器人操纵器110的基座112。基座112可以包括轮子114或能够以其他方式被配置为在物理环境100内移动。自主机器104可以进一步包括附接到机器人操纵器110的末端执行器116。末端执行器116可以包括夹具或被配置为抓握和/或移动物体106的一个或多个工具。机器人操纵器110可以配置为移动以便改变例如，末端执行器116的位置，以便在物理环境100内放置或移动物体106。系统102还可以包括一个或多个照相机或传感器，例如三维(3D)点云照相机118，其被配置为检测或记录物理环境100内的物体106。相机118可以被安装到机器人操纵器110或以其他方式配置以生成给定场景的3D点云，例如物理环境100。替代地或附加地，系统102的一个或多个相机可以包括一个或多个标准二维(2D)相机，其可以记录或捕捉来自不同视点的图像(例如，RGB图像或深度图像)。这些图像本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种在物理环境中操作自主机器的方法，所述方法包括：检测所述物理环境内的物体，所述物体定义多个区域；识别需要所述自主机器与所述物体交互的任务；确定所述物体的所述多个区域中与所述任务相关联的选择区域；基于所述任务，拍摄所述物体的图像，所述图像定义所述物体的不同视图，使得所述物体的所述不同视图基于所述任务；和基于所述物体的所述不同视图，生成所述物体的物体模型，其中，所述物体模型定义所述选择区域的与所述多个区域中的其他区域相比更大的分辨率。2.根据权利要求1所述的方法，其中，拍摄所述物体的图像还包括：基于所述任务来定位传感器，所述传感器拍摄所述物体的图像或所述物理环境的图像。3.根据权利要求1所述的方法，其中，所述物理环境定义多个表面，所述方法还包括：确定所述物理环境的所述多个表面的与所述任务相关联的选择表面；和基于所述任务来拍摄所述物理环境的图像，所述图像定义所述物理环境的不同视图，使得所述物理环境的所述不同视图基于所述任务。4.根据权利要求3所述的方法，所述方法还包括：基于所述选择表面的视图，生成所述物理环境的环境模型，其中，所述环境模型定义所述选择表面的与所述多个表面的其他表面相比更大的分辨率。5.根据权利要求4所述的方法，所述方法还包括：基于所述环境模型，所述自主机器沿着避开所述选择表面的轨迹移动所述物体。6.根据权利要求5所述的方法，所述方法还包括：所述自主机器沿着避开所述多个表面的轨迹移动所述物体，使得在所述物体与所述物理环境的所述多个表面之间没有碰撞。7.根据权利要求4所述的方法，所述方法还包括：向生成对抗神经网络(GAN)提供所述物理环境的所述不同视图；和通过所述GAN生成所述环境模型的一部分，所述环境模型的所述部分定义所述多个表面的除了所述选择表面之外的表面。8.根据权利要求1所述的方法，其中，捕捉所述物体的图像还包括：拍摄所述物体的所述选择区域的图像以及拍摄所述物体的所述多个区域中除所述选择区域以外的区域的图像，其中，对所述选择区域比对所述多个区域中的所述其他区域拍摄的图像更多。9.根据权利要求1所述的方法，所述方法还包括：向生成对抗神经网络(GAN)提供所述物体的所述不同视图；和通过所述GAN生成所述物体模型的一部分，所述物体模型的所述部分包括所述多个区域中除所述选择区域之外的区域。10.一种自主系统，所述自主系统包括：自主机器，被配置为在物理环境中运行；处理器；和存储器，用于存储指令，当所述处理器执行所述指令时，使得所述自主系统：检测所述物理环境内的物体，所述物体定义多个区域；
识别需要所述自主机器与所述物体交互的任务；确定所述物体的所述多个区域中与所述任务相关联的选择区域；基于所述任务...
【专利技术属性】
技术研发人员：温成涛，海科，
申请(专利权)人：西门子股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。