自主系统和由自主系统执行的方法技术方案

本公开涉及自主系统和由自主系统执行的方法。本文认识到，机器人或自主系统在计算空料箱的抓取分数时可能会损失时间。此外，当在空料箱上尝试抓取时，例如由于相关的抓取分数计算，机器人会因为不必要地被用来尝试抓取而损失额外的时间。在某些情况下，这种使用可能会磨损机器人，或损坏机器人。自主系统可以分类或确定料箱是容纳有对象还是空的，例如，当料箱是空的时，就不执行抓取计算。在一些示例中，系统在执行每次抓取计算之前，在运行时间对特定的料箱进行分类。因此，本文所述的系统可以避免执行不必要的抓取计算，从而节省处理时间和开销，以及解决其他技术问题。以及解决其他技术问题。以及解决其他技术问题。

【技术实现步骤摘要】
自主系统和由自主系统执行的方法


[0001]本公开涉及机器人领域，更具体地涉及自主系统和由自主系统执行的方法。

技术介绍

[0002]自主操作，例如机器人抓取和操纵，在未知或动态环境中面临各种技术挑战。动态环境中的自主操作可应用于大规模定制(例如，高混合、低量制造)、智能工厂的按需柔性制造流程、智能商店的仓库自动化、智能物流中从配送中心自动交付等。为了执行自主操作，如抓取和操纵，在某些情况下，机器人可以使用机器学习来学习技能，特别是深度神经网络或强化学习。
[0003]特别是，例如，机器人可能在不同的情况下与不同的对象交互。其中一些对象可能对特定机器人来说是未知的。料箱拾取是机器人可以使用人工智能进行的操作示例。料箱拾取是指机器人从容器或料箱中抓取可以定义随机或任意姿势的对象。机器人可以移动或运输这些对象，并把它们放在不同的地方进行包装或进一步处理。然而，应认识到，目前的机器人抓取方法缺乏效率和能力。特别是，由于在进行中的各种技术挑战，目前的方法往往不能适当或有效地识别特定机器人的某些工作空间内的对象。

技术实现思路

[0004]本专利技术的实施方式通过提供在执行与料箱有关的任何抓取计算之前，在机器人的运行时间期间确定料箱或容器是空的还是容纳有用于机器人抓取的对象的方法、系统和装置来解决和克服一个或多个所描述的缺点或技术问题。
[0005]在一个示例方面，自主系统包括机器人，该机器人被配置为在活跃工业运行时间中运行以便定义运行时间。该机器人包括末端执行器，被配置为在工作空间内抓取多个对象。自主系统可以包括深度相机，被配置为捕获工作空间的深度图像。自主系统还包括处理器和存储指令的存储器，当指令通过处理器执行时，使自主系统执行各种操作。特别是，该系统可以检测工作空间中的料箱。该料箱可以定义任何能够容纳多个对象中的一个或多个的容器或托盘。基于深度图像并且不执行抓取计算，在各种示例中，系统可以确定该料箱是空的还是容纳有至少一个对象。
附图说明
[0006]当结合附图阅读时，从下面的详细描述中可以最好地理解本专利技术的上述及其他方面。为了说明本专利技术，在附图中示出了目前优选的实施方式，但应理解，本专利技术并不限于所公开的具体工具。示图中包括以下附图：
[0007]图1示出了根据一个示例实施方式的在示例物理环境中的示例自主系统，该自主系统包括能够容纳各种对象的料箱。
[0008]图2示出了根据一个示例实施方式的自主系统的示例计算系统，该计算系统被配置为确定料箱是否为空。
[0009]图3示出了可以实现本公开的实施方式的计算环境。
具体实施方式
[0010]作为初始事项，机器人料箱拾取通常包括配备有传感器或摄像头的机器人，这样的机器人可以使用机器人末端执行器从容器(料箱)中抓取(拾取)随机姿势的对象。在本文所述的各种示例中，对象可以是机器人已知的或未知的，对象可以是相同类型或混合的。在某些情况下，机器人在每次拾取前都会执行料箱拾取算法，以便计算和确定机器人接下来执行的抓取。特别是，例如，特定的机器人系统可以使用深度神经网络来计算抓取点。然而，本文认识到，机器人抓取中涉及的一个技术问题是评估或确定机器人的特定工作空间是空的还是容纳有对象。在一个实施方式中，如果工作空间是空的，则不触发抓取计算。替代地，继续举例，如果工作空间、特别是工作空间中的料箱容纳有对象，就会触发抓取计算。本文认识到，目前的抓取神经网络通常计算并返回抓取计算，而不管料箱是否为空。在这样的系统中，当特定的工作空间是空的，与返回的抓取相关的质量分数可能较低。然而，本文进一步认识到，为空的工作空间计算抓取分数可能是不可靠的。例如，特定的系统可能无法依靠其抓取神经网络来正确评估特定的料箱是有东西还是空的。特别是，对于识别空的工作空间的任务来说，神经网络的错误率可能过高，这样，特定的系统可能生成假阳性。例如，系统可以生成与空料箱相关的抓取计算分数(抓取分数)，表明在空料箱内有对象。
[0011]此外，本文进一步认识到，机器人或自主系统可能会损失计算空料箱的抓取分数的时间。此外，当在空料箱上尝试抓取时，例如由于相关的抓取分数计算，机器人会因为不必要地被用于尝试抓取而损失额外的时间。在某些情况下，这种使用可能会磨损机器人，或损坏机器人。
[0012]本文所述的实施方式可以分类或确定料箱是容纳有对象还是空的，例如，当料箱是空的时候，就不执行抓取计算。在一些示例中，系统在运行时在每次执行抓取计算之前，对特定的料箱进行分类。因此，本文所述的系统可以避免执行不必要的抓取计算，从而节省处理时间和开销。附加地，本文所描述的系统可以避免基于模糊或不正确的抓取计算在空料箱中尝试抓取，从而节省操作时间并保护机器人和相关组件。
[0013]现在参考图1，示出了一个工业或物理环境或工作空间100的示例。正如本文所使用的，物理环境或工作空间可以指任何未知或动态的工业环境。除非另有规定，物理环境和工作空间在这里可以互换使用，不受限制。重构或建模可以定义物理环境或工作空间100的虚拟表示，或物理环境100内的一个或多个对象106。为了举例，对象106可以被放置在料箱或容器中，例如料箱107，以便被定位用于抓取。除非本文另有规定，否则料箱、容器、托盘、盒子或类似的东西可以互换使用，不受限制。举例而言，对象106可以通过一个或多个机器人从料箱107中拾取，并运输或放置在另一个位置，例如料箱107之外。示例中的对象106被示出为矩形对象，例如盒子，但可以理解，对象106可以是替代性的形状，或者根据需要定义替代性的结构，并且所有这些对象都被认为是在本公开的范围内。
[0014]物理环境100可以包括一个计算机化的自主系统102，该系统被配置为执行一个或多个制造操作，如装配、运输或类似操作。自主系统102可以包括一个或多个机器人设备或自主机器，例如自主机器或机器人设备104，被配置为执行一个或多个工业任务，例如料箱拾取、抓取或类似任务。系统102可以包括一个或多个计算处理器，被配置为处理信息和控
制系统102的操作，特别是自主机器104的操作。自主机器104可以包括一个或多个处理器，例如处理器108，其被配置为处理信息和/或控制与自主机器104相关的各种操作。用于在物理环境中操作自主机器的自主系统可以进一步包括用于存储模块的存储器。处理器可以进一步被配置为执行这些模块，以便处理信息并根据信息生成模型。可以理解，图示的环境100和系统102是为举例目的而简化的。环境100和系统102可以根据需要而变化，并且所有这些系统和环境都被认为是在本公开的范围内。
[0015]仍然参照图1，自主机器104可以进一步包括机械臂或操纵器110和被配置为支持机器人操纵器110的底座112。底座112可以包括轮子114，或者可以被配置为以其他方式在物理环境100内移动。自主机器104可以进一步包括连接到机器人操纵器110的末端执行器116。末端执行器116可以包括一个或多个工具，被配置为抓取和/或移动对象106。示例的末端执行器116包括手指抓取器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自主系统，被配置为在活跃工业环境中运行，以便定义运行时间，所述自主系统包括：机器人，定义末端执行器，所述末端执行器被配置为在工作空间内抓取多个对象；深度相机，被配置为捕获工作空间的深度图像；一个或多个处理器；以及存储指令的存储器，当所述指令通过所述一个或多个处理器执行时，使所述自主系统在运行时间期间：检测工作空间中的料箱，所述料箱能够容纳所述多个对象中的一个或多个；以及基于所述深度图像并且不执行抓取计算，确定所述料箱是空的还是容纳有至少一个对象。2.根据权利要求1所述的自主系统，其中，所述料箱沿横向方向定义了底端和与底端相对的顶端，所述底端与所述顶端相比沿所述横向方向距离所述深度相机较远，所述顶端定义了开口，使得所述深度相机进一步被配置为从沿所述横向方向的角度捕获所述料箱的所述深度图像。3.根据权利要求2所述的自主系统，所述存储器进一步存储指令，当通过所述一个或多个处理器执行时，指令使所述自主系统在运行时间期间：确定沿所述横向方向的从所述深度相机到所述底端的第一距离。4.根据权利要求3所述的自主系统，所述存储器进一步存储指令，当通过所述一个或多个处理器执行时，指令使所述自主系统在运行时间期间：执行k均值聚类，以便确定第一聚类和第二聚类，所述第一聚类与所述第一距离相关，所述第二聚类与沿所述横向方向距离所述深度相机的第二距离相关，所述第二距离小于所述第一距离。5.根据权利要求4所述的自主系统，所述存储器进一步存储指令，当通过所述一个或多个处理器执行时，指令使所述自主系统在运行时间期间：将第一像素分配给所述第一聚类；将第二像素分配给所述第二聚类；将所述第二像素与所述第一像素进行比较，以确定像素比；以及将所述像素比与决策边界进行比较，以确定所述料箱是空的还是容纳有至少一个对象。6.根据权利要求5所述的自主系统，所述存储器进一步存储指令，当通过所述一个或多个处理器执行时，指令使所述自主系统在运行时间期间：当所述像素比小于所述决策边界时，确定所述料箱是空的；以及响应于确定所述料箱是空的，向控制所述机器人的应用程序发送指示，所述指示通知所述应用程序所述料箱是空的。7.根据权利要求5所述的自主系统，所述存储器进一步存储指令，当通过所述一个或多个处理器执行时，指令使所述自主系统在运行时间期间：当所述像素比大于所述决策边界时，确定所述料箱容纳有至少一个对象；以及响应于确定所述料箱容纳有至少一个对象，激活神经网络以计算在所述至少一个对...

【专利技术属性】
技术研发人员：伊内斯，
申请(专利权)人：西门子股份公司，
类型：发明
国别省市：