机器人系统的混合现实辅助空间编程技术方案

公开了一种用于机器人设备的空间编程的基于计算机的系统和方法。混合现实工具可选择与机器人设备的一个或多个交互任务有关的对象。可定位对象的空间位置，包括对象的笛卡尔坐标和取向坐标。可执行应用程序以使用空间位置来操作机器人设备。基于初始参数，可在混合现实环境中模拟机器人设备对与技能集有关的对象执行一个或多个任务。

Hybrid Reality Assisted space programming of robot system

【技术实现步骤摘要】
【国外来华专利技术】机器人系统的混合现实辅助空间编程
本申请涉及自动化和控制。更具体地，本申请涉及在自动化和控制中使用的机器人系统的混合现实辅助编程。
技术介绍
向机器人教授不同的技能带来了许多问题，仅举几例，诸如对专业知识和精力的要求、对机器人制造商软件的依赖性、各种编程语言/硬件的集成、任务的复杂程度以及缺乏有效的方法来无缝实现对多个机器人的编程。机器人任务执行需要不同技能的组合，采用工具(例如直接编程环境、示教器、运动跟踪器或视觉系统)来生成控制程序。用这些工具，用户可为机器人创建不同类型的任务，诸如拾取和放置；复杂几何形状的3D打印或加工；组件的焊接等。现有的用于对机器人系统进行编程的最新技术包括基于代码的编程、示教器、基于视觉的系统以及运动跟踪。在对机器人进行编程以执行特定任务时，常规的基于代码的编程需要具有机器人学和编程语言(例如C++、Python)的专业知识。例如，用户通过分析来自传感器的输入并利用存储器中的预定义动作，为机器人编程一系列动作以完成单独的任务。示教器方法已被开发为对代码编程的改进，应用通用接口以对工业机器人进行编程，用于生产、装配和运输，仅举几例。这种技术的主要缺点包括重复教学过程，缺乏可重用性以及由于人为因素导致指导不准确的倾向。基于视觉的系统采用摄像机来提供图像或视频信息，以允许机器人执行诸如对象识别、路径规划、避障、拾取和放置等任务。通常，基于视觉的编程不能够捕获机器人与对象之间的物理联系和动态交互，其阻碍了可训练性。相机使用的图像位于2D空间中，而机器人在3D空间中操作。当依赖于这种编程方法时，弥合维度之间的差距仍然是一个严重的问题。运动跟踪提供了通过视觉和非视觉传感器的输入来学习观察到的运动序列的能力。通过分析来自运动传感器的输入数据，可轻松而准确地重新创建复杂的移动和真实的物理交互，诸如二阶运动、重量转移和力交换。通常，人体运动跟踪具有低延迟的特征，并且跟踪系统接近于软实时或硬实时操作。另一方面，移动跟踪设备及其相应的硬件/软件的成本昂贵，并且还需要高技术的技术人员来操作。通常，当前使用的方法缺乏任务的可重用性、可扩展性和可转移性，因为如果分配了不同的任务，则需要对机器人进行重新编程。附图说明当结合附图阅读时，根据以下详细描述可最好地理解本专利技术的前述和其他方面。为了说明本专利技术，在附图中示出了当前优选的实施方式，然而，应理解，本专利技术不限于所公开的具体手段。附图中包括以下图：图1示出根据本公开的实施方式的基于计算机的工具的系统的示例；图2示出根据本公开的实施方式的混合现实环境的示例性配置；图3示出根据本公开的实施方式的技能引擎架构的图；图4是根据本公开的实施方式的用于机器人设备的抓取姿势的空间编程的示例的图；图5是根据本公开的实施方式的用于机器人设备的路径的空间编程的示例的图；图6示出根据本公开的实施方式的使用MR工具调整机器人设备的空间坐标的界面的示例；以及图7示出可在其中实施本公开的实施方式的计算环境的示例。具体实施方式此后，术语“混合现实”(MR)用于描述真实对象和虚拟对象的组合环境。可使用MR、增强现实(AR)或虚拟现实(VR)技术来模拟虚拟对象。为了简单起见，在本公开中使用术语MR。公开了用于机器人编程平台的方法和系统，该机器人编程平台可通过MR教学工具向机器人系统教授不同的技能集。在机器人设备的技能引擎的编程阶段期间，针对一个或多个技能集，学习与对象的交互任务有关的空间参数。所公开的方法和系统提出了对用于执行这种基于计算机的任务的计算机功能的改进。尽管当前可用的工具可对机器人设备技能引擎进行编程，但是本公开的实施方式使得技能引擎能够被安装并连接到MR环境，这具有多个优点，包括对专业编程语言中的专业知识的较低依赖性以及在积累机器人设备的技能集方面的可扩展性。图1示出根据本公开的实施方式的基于计算机的工具的系统的示例。在一个实施方式中，用户101可在操作图形用户界面(GUI)设备105以训练机器人设备的技能引擎110时佩戴诸如微软全息透镜(MicrosoftHoloLens)的混合现实(MR)设备115。技能引擎110可具有储存在存储器中的多个应用程序120，每个程序用于执行技能集或任务的特定技能。对于每个应用120，可基于由MR工具(例如MR设备115和MR系统数据130)辅助的学习来开发一个或多个模块122。由于应用模块122被编程为学习机器人设备的任务，任务参数可被储存为本地技能数据112或基于云的技能数据114。MR设备115可为可穿戴的观看设备，其可在显示屏上显示与工作环境中的真实对象叠加和对齐的模拟对象的数字表示。MR设备115可被配置成在用户101监控应用程序120的执行时显示MR工作环境。真实环境可在MR设备115中作为可穿戴头戴耳机中的直接视图(例如，通过透明或半透明材料)来查看或通过由内置或外部摄像头生成的呈现在显示屏上的视频图像来查看。例如，用户101可操作MR设备115，该MR设备可启动本地储存的应用，以加载MR环境的虚拟方面并通过同步服务器166与真实方面进行同步。同步服务器166可接收由MR设备115捕获的真实和虚拟信息，真实信息来自传感器162以及虚拟信息由模拟器164生成。MR设备115可被配置成接受来自用户101的手势输入，以用于编辑、调整、更新或中断应用120。GUI设备105可被实施为诸如平板电脑、小键盘或触摸屏的计算机设备，以允许输入初始设置和参数以及基于用户101的输入编辑、调整或更新应用120。GUI设备105可与MR设备115协同工作以对应用120进行编程。MR系统数据130可包括从各种传感器162以及诸如开关、高速计数器或其组合的其他类型的设备接收的各种数字和模拟信号以及正交脉冲。传感器类型的示例可包括运动、振动、温度、旋转速度、压力、光学和音频中的一项或多项。以下将来自实际传感器的此类数据称为“真实数据”，以区别于从物理组件的模拟实体或数字孪生获得的虚拟数据。如图1所示，真实产品/工件数据151可包括与用于跟踪和监控工作环境中产品或工件的任何感测、切换或计数设备有关的信号。例如，感知传感器可安装在工作区域中，用于监控和跟踪产品/工件。真实数据的其他示例包括与工件的工作表面有关的真实表面数据153、与机器人设备(诸如可与产品/工件交互和操作的机器人抓取器)有关的真实单元1数据，以及与视觉传感设备(诸如相机)有关的真实视觉系统数据157。技能引擎110在输入模块150处接收真实数据，该输入模块可被配置为用于每个相应输入信号的单独模块，并且可将信号转换为应用可用的输入信息。MR系统数据130可包括与MR环境的模拟组件的特性有关的虚拟数据。模拟器164可生成模拟信号格式(诸如针对真实数据所描述的模拟信号、数字信号或脉冲信号)的虚拟数据。还可以已转换为应用120可用的信息的格式将虚拟数据提供给技能引擎110。一个或多个输入模块140可被配置成接收任一格式的虚拟数据。在一个实施方式中，虚拟数据可经由本文档来自技高网...

【技术保护点】
1.一种用于机器人设备的空间编程的基于计算机的方法，所述方法包括：/n通过混合现实工具选择与所述机器人设备的一个或多个交互任务有关的对象；/n通过技能引擎确定所述对象的空间位置，该空间位置包括所述对象的笛卡尔坐标和取向坐标；/n执行应用程序以使用所述空间位置操作所述机器人设备；以及/n在混合现实环境中，模拟所述机器人设备对与技能集有关的所述对象执行所述一个或多个交互任务，所述执行基于初始参数。/n

【技术特征摘要】
【国外来华专利技术】20170417 US 62/486,0421.一种用于机器人设备的空间编程的基于计算机的方法，所述方法包括：
通过混合现实工具选择与所述机器人设备的一个或多个交互任务有关的对象；
通过技能引擎确定所述对象的空间位置，该空间位置包括所述对象的笛卡尔坐标和取向坐标；
执行应用程序以使用所述空间位置操作所述机器人设备；以及
在混合现实环境中，模拟所述机器人设备对与技能集有关的所述对象执行所述一个或多个交互任务，所述执行基于初始参数。


2.根据权利要求1所述的方法，还包括：
迭代执行以下步骤，直到在空间容差阈值内实现对于执行所述一个或多个任务的参数的收敛：
响应于从用户接收到的指令，通过所述混合现实工具修改所述初始参数；以及
使用修改的参数重复执行所述一个或多个任务的所述模拟。


3.根据权利要求2所述的方法，还包括：
基于所述参数的所述收敛，接收所述一个或多个任务的可接受模拟执行的指示；
将所述技能集映射到对应于所述指示的所述参数；以及
将所述映射上传到数据库。


4.根据权利要求1所述的方法，还包括：显示对确认所述对象的选择的指示。


5.根据权利要求1所述的方法，其中所述技能集包括抓取所述对象的任务，并且所述模拟包括：
相对于所述对象的所述笛卡尔坐标和所述取向坐标，设置所述机器人设备的抓取器的抓取姿势，其中所述抓取姿势包括相对笛卡尔坐标和取向坐标；以及
在所述混合现实环境中，显示所述机器人设备基于所述抓取姿势执行对所述对象的模拟抓取的虚拟表示。


6.根据权利要求1所述的方法，其中所述技能集包括放置所述对象的任务，并且所述模拟包括：
选择与所述对象的放置有关的目标位置；
在所述目标位置处显示虚拟标记；
确定所述目标位置的笛卡尔坐标和取向坐标；
相对于所述目标位置的笛卡尔坐标和取向坐标，设置所述机器人设备的抓取器的释放姿势，其中抓取姿势包括相对笛卡尔坐标和取向坐标；以及
在所述混合现实环境中，显示所述机器人设备基于所述释放姿势执行模拟将所述对象放置到所述目标位置上的虚拟表示。


7.根据权利要求6所述的方法，还包括：显示对确认所述目标位置的选择的指示。


8.根据权利要求6所述的方法，其中，所述技能集包括针对所述对象的路径的避障任务，并且所述模拟包括：
识别所述对象的位置和所述目标位置之间的任何障碍；以及
在所述对象的位置和所述目标位置之间，设置避免与识别的障碍接触的路径；以及
在所述混合现实环境中，显示所述机器人设备执行模拟所述对象沿所述路径移动的虚拟表示。


9.根据权利要求1所述的方法，还包括：显示包括用于用户调整所述机器人设备的姿势的球形三元组的图形用户界面。


10.根据权利要求1所述的方法，其中，所述混合现实环境包括由虚拟表示模拟的所述机器人设备、所述对象和目标中的一个或多个。


11.一种系统，包括：
混合现实工具，被配置成选择与所述机器人设备的一个或多个交互任...

【专利技术属性】
技术研发人员：哈桑·西南·班科，纳维恩·库马尔·辛加，克利福德·乔，吴小凡，朱塞佩·弗兰切斯科·里加诺，西蒙·迈尔，
申请(专利权)人：西门子股份公司，
类型：发明
国别省市：德国;DE