基于传感器的用于自主机器的复杂场景的构建制造技术

在工业设定中自主机器的当前应用中，环境(特别是机器与之交互的设备和系统)是已知的，使得自主机器能够成功地在特定环境中操作。因此，当前在变化的环境(例如具有不确定性的复杂环境)内使任务自动化的方法缺乏能力和效率。在示例方面，用于操作物理环境内的自主机器的方法包括检测物理环境内的对象。自主机器能够确定并且执行与对象的被检测的子部件相关联的操作原理，以便完成要求自主机器与对象交互的任务。在某些情况下，自主机器先前未遇到过对象。到过对象。到过对象。

【技术实现步骤摘要】
【国外来华专利技术】基于传感器的用于自主机器的复杂场景的构建


[0001]本申请涉及自主机器。本文所述的技术特别适合于但不限于工业设定中用于自主机器的建模环境。

技术介绍

[0002]第四次工业革命的当前目标是推动大规模定制以降低大规模生产的成本。如果机器例如能够在不必用特定和详细的指令(例如用于机器人航路点或手动示教路径的指令)编程的情况下操作，则自主机器能够帮助实现该目标。然而，工业设定中的自主机器通常需要与大量高度可变且有时复杂的系统交互。这种自主机器可能需要操作的系统通常包括已经安装在现场的设备，其能够被称为棕色地带设备。
[0003]作为示例，当试图使用自主移动机器人在给定环境中使烘烤过程自动化时，在某些情况下，机器人将会遇到各种各样的设备和设备类型。这种设备能够具有手动控制接口、手动门或用于设定时间和温度的变化的程序。继续烘烤的示例，如果人在不了解自主机器人的情况下与环境交互，则可能出现更多的问题。例如，人能够在环境中打开门、从环境中移除(或添加)产品、改变环境内设备的设定等。
[0004]本文认识到，考虑到人或也在环境内交互的其它对象的不确定性，建立捕获给定环境和环境内设备的可变性的模型能够是复杂的(如果有可能的话)。在工业设定中自主机器的当前应用中，环境(特别是机器与之交互的设备和系统)是已知的，使得自主机器能够成功地在特定环境中操作。因此，当前在变化的环境(例如具有不确定性的复杂环境)内使任务自动化的方法缺乏能力和效率。

技术实现思路

[0005]本专利技术的实施例通过提供自动生成复杂环境模型的方法、系统和装置来解决和克服本文所述的一个或多个缺点，以便在各种环境中操作自主机器。
[0006]在示例方面，用于操作物理环境内的自主机器的方法包括检测物理环境内的对象。对象能够限定多个子部件。该方法还能够包括接收要求自主机器与对象交互的任务。能够检测多个子部件中的子部件，以便限定被检测的子部件。此外，能够确定被检测的子部件的分类。基于被检测的子部件的分类，能够确定与被检测的子部件相关联的操作原理。然后，自主机器能够执行与被检测的子部件相关联的操作原理，以便完成要求自主机器与对象交互的任务。在某些情况下，自主机器先前未遇到过对象。
附图说明
[0007]当结合附图阅读时，从以下详细描述中能够最好地理解本专利技术的上述方面和其它方面。出于说明本专利技术的目的，在附图中示出了目前优选的实施例，然而，应当理解，本专利技术不限于所公开的特定手段。附图中包括以下附图：
[0008]图1示出了根据示例实施例在示例物理环境中包括与对象交互的自主机器的示例
系统。
[0009]图2示出了根据另一示例实施例的在另一示例物理环境中与限定各种子部件的另一对象交互的自主机器。
[0010]图3是根据各种示例实施例的示例神经网络(CNN)模型或系统的框图。
[0011]图4是根据示例实施例的用于操作自主机器的流程图。
[0012]图5示出了其中能够实施本专利技术的实施例的计算环境的示例。
具体实施方式
[0013]本专利技术的实施例通过提供用于对复杂环境(例如包括未知设备或固有不确定性的环境)建模的方法、系统和装置来解决和克服本文所述的一个或多个缺点或技术问题，使得自主机器能够在这些环境中操作。这种环境能够包括棕色地带设备，因此本文所述的模型考虑了棕色地带设备。棕色地带设备是指可能已经安装在特定环境中的设备，因此特定环境中的自主机器可能遇到棕色地带设备。在某些情况下，考虑棕色地带设备的模型可能不必访问特定设备的位置、规格、CAD信息、运动学和/或操作行为。
[0014]在本文所述的各种实施例中，不是用能够针对具有确定性的特定环境的详细指令来编程自主设备，而是用产品特定目标来编程自主机器。作为示例，产品目标能够是基于可用部件和基于机柜的数字孪生来组装电控箱。为此，自主机器可能需要在可用孔中用铆钉紧固部件。继续示例，自主机器能够自动地检测(例如，用相机)各种细节。能够被检测到的示例细节包括但不限于哪些部件可用、需要从何处拾取部件、需要放置部件在何处(例如，以便避免零件的碰撞或损坏)、需要放置铆钉在何处，以及哪些工具最适合当前任务。
[0015]当解决与在各种环境中实施自主机器相关联的问题时，可能遇到各种技术问题或子问题。示例子问题是碰撞避免。为了设计在给定环境中避免不希望的碰撞的自主机器或代理，在某些情况下，建立环境的实时地图，并且将自主机器定位在地图中。作为示例，算法(例如即时定位与地图构建(SLAM)算法)能够估计或建模自主机器的位置。此外，SLAM能够利用各种深度传感器(例如距离传感器、激光雷达、双相机和/或3D点云相机)来收集传感器数据。此外，算法(例如SLAM)能够基于被估计/建模的自主机器的位置，并且还基于从深度传感器收集的传感器数据来构建碰撞表面地图。碰撞表面地图或碰撞地图能够使系统(特别是自主机器)能够在没有碰撞的情况下执行各种操作，例如导航复杂的走廊或可变的障碍物位置(例如停放的汽车、物品的托盘)。在某些情况下，碰撞地图还能够使机器能够避免移动对象(例如人)。
[0016]然而，本文认识到，这种碰撞地图不包含与环境相关的语义细节。示例语义细节包括但不限于哪个边界是哪个机器的一部分、环境中存在哪些类型的机器、环境中存在的机器的功能、特定用户界面位于环境内的设备上的何处、如何操作环境内的用户界面、与机器人系统能够如何移动相关的运动学、环境内的机器的门当前是否打开、环境内打开的门能够如何关闭等。本文进一步认识到，这种语义细节尤其能够是环境内给定的自主系统的可操作性所需要的，或者能够增强环境内给定的自主系统的可操作性。此外，本文认识到，这种细节通常不由自主机器访问。
[0017]在工业环境中实施自主机器的另一示例方法中，为特定的自主机器设计了特定的环境模型。作为示例，铣床的机器维护可能要求将金属原始零件从托盘装载到铣床中，将零
件紧固到铣床上，激活铣削程序以执行铣削操作，以及将铣削过的零件卸载到另一托盘。继续示例，这些维护操作能够通过将机械臂附接到铣床的精确已知的位置来执行。控制机械臂或机器人的程序能够接收CAD信息或将要铣削的原始零件的模型。然后，程序能够使用相机来检测零件的位置。机械臂能够在示教点抓取给定零件，该示教点能够是在零件的相关CAD模型中预设的位置。然后，机械臂能够在铣床的限定的位置装载零件。此后，例如通过机器人与用户界面交互或者通过执行由机器人触发的软件程序，能够手动地触发铣削操作。在执行铣削操作之后，机器人能够在限定的位置抓取零件，并且将零件从机器卸载到另一个托盘上。
[0018]本文认识到，通常示教或硬编码上述示例中的机器人所使用的各种知识，例如关于零件的几何形状的知识、在何处需要抓取对象、需要将对象放置在机器中的何处等。此外，在这种示例中，机器人(例如，机械臂)和铣床之间的相对位置，特别是机器人和铣床的接口是固定的。因此，能够在没有附加信息的情况下，通过使用机械臂按压按钮来执行机器的操作，因为能够在机器的模型中限定精本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于操作物理环境内的自主机器的方法，所述方法包括：检测所述物理环境内的对象，所述对象限定多个子部件；接收任务，所述任务要求所述自主机器与所述对象交互；检测所述多个子部件中的子部件，以便限定被检测的子部件；确定所述被检测的子部件的分类；基于所述被检测的子部件的所述分类，确定与所述被检测的子部件相关联的操作原理；以及由所述自主机器执行与被检测的子部件相关联的所述操作原理，以便完成要求所述自主机器与所述对象交互的所述任务。2.根据权利要求1所述的方法，所述方法还包括：确定所述自主机器先前未与所述物理环境内的所述对象交互；以及响应于确定所述自主机器先前未与所述物理环境内的所述对象交互，检测所述多个子部件中的所述子部件。3.根据权利要求1所述的方法，其中，确定所述操作原理还包括：检索与所述被检测的子部件的所述分类相关联的策略，所述策略指示所述操作原理。4.根据权利要求1所述的方法，所述方法还包括：辨别所述被检测的子部件，以便确定所述子部件的特性；以及基于所述被检测的子部件的所述特性，检索与所述被检测的子部件相关联的所述操作原理。5.根据权利要求4所述的方法，其中，辨别所述被检测的子部件还包括确定所述自主机器先前已经与所述被检测的子部件交互，所述方法还包括：确定所述自主机器先前未与所述物理环境内的所述对象交互；以及响应于确定所述自主机器先前未与所述物理环境内的所述对象交互，检测所述多个子部件中的所述子部件。6.根据权利要求1所述的方法，其中，确定所述操作原理还包括：检索与所述被检测的子部件的所述分类相关联的策略，所述策略指示多个潜在的操作原理，其中，所述操作原理是所述潜在的操作原理中的一个操作原理。7.根据权利要求6所述的方法，其中，基于所述被检测的子部件的一个或多个特征，按照成功可能性的策略中的顺序来排列所述多个潜在的操作原理。8.根据权利要求6所述的方法，所述方法还包括：由所述自主机器按照顺序执行所述潜在的操作原理中的每一个操作原理，直到所述任务完成。9.根据权利要求1所述的方法，其中，确定所述被检测的子部件的所述分类还包括：使用所述多个子部件的图像来训练神经网络；以及将所述被检测的子部件的图像发送到所述神经网络。10.根据权利要求1所述的方法，其中，确定所述操作原理还包括：由所述自主机器的一个或多个传感器监视另一个机器或人完成所述任务。11.根据前述权利要求中任一项所述的方法，所述方法还包括：存储与所述操作原理相关的信息，...

【专利技术属性】
技术研发人员：胡安，
申请(专利权)人：西门子股份公司，
类型：发明
国别省市：