用于灵活的人机协作的系统和方法技术方案

实现人机协作的方法和系统包括支持机器人性能表示和人机协作行为的动态适配和重复使用的可泛化框架(320,350)。具体地，实现用户‑机器人协作行为的计算机实现方法(600,700,800)包括：提供(614)用户交互性能和对基于一组参数执行一类任务动作的机器人(340,380)的至少一个功能建模的机器人性能(表1)的组合(图2,400)；用封装一组参数的信息核专门化(616,714,716)机器人性能；基于机器人性能和信息核提供(712,714,716)机器人性能元素，基于用户交互性能提供(718)交互性能元素；连接(618,800)机器人性能元素到交互性能元素；基于交互性能元素提供(620)用户接口(310,370,500)以获取与一组参数关联的用户输入(510,520,530,540)；基于用户输入和信息核经机器人性能元素控制(620)机器人功能以执行该类任务动作中的任务动作。

Systems and methods for flexible man-machine collaboration

Methods and systems for human-computer collaboration include a dynamic adaptation and reuse framework that supports performance representation of robots and human-computer interaction behavior (320350). Specifically, the realization of user robot collaborative behavior of the computer (600700800) includes: (614) the user interactive performance and a set of parameters to execute a class action task based robot (340380) at least one of the functional modeling of robot performance (Table 1) combination (Figure 2400) with a package; the parameter information of specialized nuclear group (616714716) the performance of the robot; robot performance and provide information based on kernel (712714716) robot performance elements, based on user interaction can provide interactive elements (718) can be connected; (618800) the performance of the robot to interactive elements can provide interactive elements based on elements; (620) the user interface (310370500) in order to obtain a set of parameters associated with the user input (510520530540); based on the user input information and the performance of the robot control nuclear elements (620) to perform the functions of the robot Task actions in class task actions.

【技术实现步骤摘要】
【国外来华专利技术】用于灵活的人机协作的系统和方法优先权声明本申请涉及由KelleherGuerin、GregoryD.Hager和SebastianRiedel于2014年9月2日提交的题为“SystemandMethodforFlexibleHuman-MachineCollaboration”(“用于灵活人机协作的系统和方法”)的美国专利申请No.14/475,184，要求其申请优先权并且其内容以引用方式整体并入本文中。政府支持声明本专利技术是在国家科学基金会拨款编号为NRI-1227277的资助下政府支持完成的。美国政府对本专利技术具有一定权利。
本公开一般涉及用于通过支持机器人性能表示和人机协作行为的动态适配和重复使用的可泛化框架来实现人机协作的系统和方法。
技术介绍
机器人工业自动化已经在大规模制造业中取得了巨大成功，因为其在任务(比如，焊接、切削、冲压、涂漆、沉重的材料处理、精密材料加工等)规模上具有显著的优势。机器人自动化在大规模制造业中的成功已经导致了长期以来对于将机器人自动化的使用扩展到中小型制造企业(“SME”)中的愿望。然而，与大规模制造相比，通常SME的生产处理的特征在于生产量小和/或产品变化性高。因此，对于SME，灵活机器人自动化将基础设施、专业人员、设置和编程摊销的能力锐减。SME的处理有时包括需要高级定制的任务，因此必然涉及人类的技能和判断。例如，翻新任务和按订单生产制造处理必须适应无法预见的工件变化和装备修改。在这种情况下，可以发现，现有的以人为中心的生产处理难以确定机器人自动化能够在何处或如何成为高效人力密集型处理的有用补充，而非高效人力密集型处理的重复或弱化。以拥有大量技术娴熟的员工的专门从事定制家具制造的SME为例。这种SME可能希望通过使用机器人系统来自动操作涉及灵巧动作的重复任务(比如，钻孔或磨砂任务)，从而提高其员工的效率和生产力。然而，在这种情况下，现成的商业机器人系统将是没有作用的，这是因为对于SME来说现成的商业机器人系统不可能利用其员工现有的任务知识和经验。因此，存在对克服现有技术所呈现的上述问题和其它问题的系统和方法的需求。
技术实现思路
许多任务领域还没有利用自动化机器人系统，这是因为缺乏提供与这种机器人系统灵活和有效地交互的合适的协作系统。这样的任务领域的示例包括SME处理、对身体残疾的个人的家庭看护、协作机器人手术等。在这些任务领域中，手动或完全自动地执行任务既不理想也不实用。因此，存在对这样的协作机器人系统和方法的需求，该协作机器人系统和方法不仅提供灵活和有效的用户-机器人交互，而且其在具有不同的持续时间、复杂性和对用户交互的约束的范围广泛的任务中是有效的。根据各实施例的示例性协作机器人系统可以以可泛化的方式被指示或训练以执行范围广泛的任务，并且能够在不需要重新训练的情况下在任务之间平稳地进行切换。协作机器人系统支持用于各种用户角色和机器人性能的人-机器人协作操作，并且经由多组机器人性能和将机器人性能与特定用户交互性能相关联的协作行为来对人-机器人系统进行建模，其中，用户交互性能是用户接口或交互范例。机器人性能可以与其它机器人性能组合并针对特定任务而被专门化。为了执行任务，协作机器人系统可以使用各种任务相关信息或参数(比如，工具可供性或工具行为约束、工具运动基元和感知基础模板(perceptualgroundingtemplate))来动态地适配机器人性能。对于特定任务和机器人性能，协作机器人系统必须确定机器人性能在可用接口的约束下完成任务所需的一个或多个用户交互模态。因此，包括一个或多个机器人性能和一个或多个用户交互性能的组合的协作行为必须将用户交互性能映射到机器人性能，以满足机器人性能对用户交互的需求。本公开的实施例涉及用于经由支持机器人性能表示和人机协作行为的动态适配和重复使用的可泛化框架来实现人机协作的系统和方法。具体地，一种实现用户-机器人协作的计算机实现的方法包括步骤：提供机器人性能和一个或多个用户交互性能的组合，其中，所述机器人性能对基于一个或多个参数的集合执行一种类型的任务动作的机器人的至少一个功能进行建模；利用信息核将所述机器人性能专门化，其中，所述信息核封装所述一个或多个参数的集合；基于所述机器人性能和所述信息核来提供机器人性能元素，其中，所述机器人性能元素是所述机器人性能的实例；基于所述一个或多个用户交互性能提供一个或多个交互性能元素，其中，所述一个或多个交互性能元素是所述一个或多个用户交互性能的实例；将所述机器人性能元素连接到所述一个或多个交互性能元素；基于所述一个或多个交互性能元素提供一个或多个用户接口，以获取与所述一个或多个参数的集合相关联的用户输入；以及基于所述用户输入和所述信息核，经由所述机器人性能元素控制所述机器人的至少一个功能，以执行所述类型的任务动作中的任务动作。本公开的实施例的另外的目的和优点将在下面的描述中部分地阐述并根据描述将是部分地显而易见的，或者可以通过实践实施例来认识到。将通过在所附权利要求特别指出的要素和组合来实现和获得实施例的目的和优点。应当理解，前述的一般性描述和以下详细描述都仅是示例性和说明性的，并不是所要求保护的实施例的限制。附图说明图1A是示出根据本公开的实施例的与各种类型的工具相关联的各种类型的工具行为约束的示例的示图。图1B示出了根据本公开的实施例的在其中用户可以与机器人的化身交互以指定运动轨迹的沉浸式虚拟现实环境。图2示出了包括连接至用户和机器人的性能组合的协作行为的示例。图3A和图3B示出了根据本公开的原理的人机协作系统的示例性实施例。图4示出了根据本公开的原理的对协作行为所需的行为部件进行指定的行为清单的示例。图5示出了根据本公开的原理的由人机协作系统提供的用户接口的示例。图6是示出根据本公开的实施例的用于经由支持机器人性能表示和人机协作行为的动态适配和重复使用的可泛化框架来实现人机协作的示例方法的流程图。图7和图8是示出根据本公开的实施例的用于提供实施人机协作行为的各种类型的性能和链接的示例方法的流程图。图9是示出根据本公开的实施例的用于组合人机协作行为的示例方法的流程图。图10是根据本公开的用于执行所公开的实施例的示例计算机系统。具体实施方式现在将具体参考附图中示出的示例实施例。在适当的时候，在整个附图中使用相同的附图标记来指代相同或相似的部件。为了简化和说明的目的，通过主要参考本公开的示例性实施例来描述本公开的原理。然而，本领域普通技术人员之一将容易地认识到，相同的原理同样适用于各种类型的信息和系统，并且可以在各种类型的信息和系统中实现该相同原理，并且任何这样的变化均不脱离本公开的真实的精神和范围。此外，在以下详细描述中，参考示出了具体示例性实施例的附图。在不脱离本公开的精神和范围的情况下，可以对示例性实施例做出电气、机械、逻辑和结构上的改变。因此，以下详细描述不应被理解为限制性的，并且本公开的范围由所附权利要求及其等同物限定。人类安全工业机器人的日益流行正在激发用于SME和其它新兴任务领域(比如，用于老年人或伤残人士的救助和协作手术机器人)的协作机器人系统的兴趣，人类用户利用该协作机器人系统和机器人围绕一组半结构化的任务进行交互。这些领域中被执行的任务范围可以快速变化，因此，对本文档来自技高网...

【技术保护点】
一种用于实现用户‑机器人协作的计算机实现的方法(600,700,800)，包括步骤：提供(614)机器人性能(表1)和一个或多个用户交互性能的组合(图2,400)，其中，所述机器人性能对基于一个或多个参数的集合执行一种类型的任务动作的机器人(340,380)的至少一个功能进行建模；利用信息核将所述机器人性能专门化(616,714,716)，其中，所述信息核封装所述一个或多个参数的集合；基于所述机器人性能和所述信息核来提供(712,714,716)机器人性能元素，其中，所述机器人性能元素是所述机器人性能的实例；基于所述一个或多个用户交互性能提供(718)一个或多个交互性能元素，其中，所述一个或多个交互性能元素是所述一个或多个用户交互性能的实例；将所述机器人性能元素连接(618,800)到所述一个或多个交互性能元素；基于所述一个或多个交互性能元素提供(620)一个或多个用户接口(310,370,500)，以获取与所述一个或多个参数的集合相关联的用户输入(510,520,530,540)；以及基于所述用户输入和所述信息核，经由所述机器人性能元素控制(620)所述机器人的至少一个功能，以执行所述类型的任务动作中的任务动作。...

【技术特征摘要】
【国外来华专利技术】2014.09.02 US 14/475,1841.一种用于实现用户-机器人协作的计算机实现的方法(600,700,800)，包括步骤：提供(614)机器人性能(表1)和一个或多个用户交互性能的组合(图2,400)，其中，所述机器人性能对基于一个或多个参数的集合执行一种类型的任务动作的机器人(340,380)的至少一个功能进行建模；利用信息核将所述机器人性能专门化(616,714,716)，其中，所述信息核封装所述一个或多个参数的集合；基于所述机器人性能和所述信息核来提供(712,714,716)机器人性能元素，其中，所述机器人性能元素是所述机器人性能的实例；基于所述一个或多个用户交互性能提供(718)一个或多个交互性能元素，其中，所述一个或多个交互性能元素是所述一个或多个用户交互性能的实例；将所述机器人性能元素连接(618,800)到所述一个或多个交互性能元素；基于所述一个或多个交互性能元素提供(620)一个或多个用户接口(310,370,500)，以获取与所述一个或多个参数的集合相关联的用户输入(510,520,530,540)；以及基于所述用户输入和所述信息核，经由所述机器人性能元素控制(620)所述机器人的至少一个功能，以执行所述类型的任务动作中的任务动作。2.根据权利要求1所述的方法，其中，任务动作的类型包括运动约束(表1(a))，所述方法还包括步骤：基于任务动作的类型提供(716)用于执行该任务动作的工具类型；将工具行为约束(图1A，表2)封装(716,924,934)在信息核中，所述工具行为约束提供与工具类型相关联的运动约束(表1(a))；以及经由所述一个或多个用户接口接收用以执行任务动作的用户输入(510,520,530,540,620)，其中控制所述机器人的至少一个功能包括：实施(620)所述运动约束以在机器人执行所述任务动作时约束所述机器人的一个或多个运动。3.根据权利要求2所述的方法，其中，接收用户输入还包括步骤：经由所述一个或多个用户接口的通道控制用户接口(510,520)接收(620，图1B)所述机器人的用户操纵。4.根据权利要求1所述的方法，其中，连接所述机器人性能元素还包括步骤：基于所述机器人性能元素的接口(图2)导出(618,942)所述机器人性能元素的至少一个用户接口需求，其中，所述接口包括输入接口或输出接口中的至少一个。5.根据权利要求1所述的方法，还包括步骤：基于任务动作的类型提供(616)用于执行该任务动作的工具类型；将工具运动基元封装(616,924,934)在所述信息核中，其中所述工具运动基元提供与工具类型相关联的工具运动。6.根据权利要求5所述的方法，还包括步骤：提供(620)包括用于接收用户所演示的运动的工具类型的工具代理的指令器接口(图1B和图5)；确定所述工具代理的起始位置；根据所述用户演示的运动获取所述工具代理的轨迹数据(530)；基于机器人的起始位置将所述轨迹数据泛化以形成所述工具运动基元；以及存储所述工具运动基元。7.根据权利要求6所述的方法，其中，获取所述轨迹数据还包括步骤：提供(716)与工具类型相关联的工具行为约束(图1A，510)，其中，所述工具行为约束提供与工具类型相关联的运动约束(表1(a))；以及实施(620)所述运动约束以约束所述工具代理的一个或多个运动。8.根据权利要求5所述的方法，还包括步骤：提供(716)用于经由所述机器人的用户操纵来接收用户演示的运动的通道控制指令器接口(图1A，530)；确定所述机器人的起始位置；根据用户演示的运动获取(530,620)机器人的轨迹数据；基于机器人的起始位置将所述轨迹数据泛化以形成所述工具运动基元；以及存储所述工具运动基元。9.根据权利要求8所述的方法，其中，获取所述轨迹数据还包括步骤：提供与工具类型相关联的工具行为约束(图1A，510)，所述工具行为约束提供与工具类型相关联的运动约束；以及实施(620)所述运动约束以约束所述机器人的一个或多个运动。10.根据权利要求5所述的方法，其中，所述任务动作的类型包括运动即时回放，并且其中控制所述机器人的所述至少一个功能还包括步骤：基于所述工具运动来控制(540,620)机器人执行所述任务动作。11.根据权利要求5所述的方法，其中，所述任务动作的类型包括轨迹生成，所述方法还包括步骤：将感知模板封装(716,924,934)在所述信息核中，所述感知模板提供用于约束所述工具运动的目标工件(520)的至少一个特性；获得与所述目标工件的至少一个特性相关联的感知数据(520,620)；以及基于...

【专利技术属性】
技术研发人员：凯莱赫·格林，格雷戈里·D·黑格，塞巴斯蒂安·里德尔，
申请(专利权)人：约翰霍普金斯大学，
类型：发明
国别省市：美国,US