基于多模态感觉数据远程控制机器人平台制造技术

本公开涉及基于多模态感觉数据远程控制机器人平台。本公开提供用于远程控制在不适合直接人类操作的受限空间或其他类似空间中的机器人平台的方法和系统。使用多模态感觉数据来实现控制，多模态感觉数据包括至少两种感觉响应类型，诸如双目立体视觉类型、双耳立体声音频类型、力反射触觉操纵类型、触觉类型等。多模态感觉数据由定位在受限空间中的机器人平台获得，并且被传送到受限空间外部的远程控制站，其中多模态感觉数据用于生成受限空间的表示。多模态感觉数据可以被用于为远程控制站的操作者提供多感觉高保真度远程呈现并且允许操作者提供更准确的用户输入。该输入可以被传送到机器人平台以在受限空间内执行各种操作。

Remote control robot platform based on multimodal sensory data

The present disclosure involves remote control of a robot platform based on multimodal sensory data. The present disclosure provides a method and system for remote control of a robot platform in a restricted space or other similar space that is not suitable for direct human operation. Multimodal sensory data is used to realize control. Multimodal sensory data include at least two sensory response types, such as binocular stereopsis, binaural stereophonic audio type, force reflecting tactile manipulation type and tactile type. The multi-modal sensory data is acquired by the robot platform located in the confined space, and is transmitted to the remote control station outside the confined space, in which multimodal sensory data is used to generate the representation of the limited space. Multimodal sensory data can be used to provide remote sensing station operators with multi sensory and high fidelity telepresence and allow operators to provide more accurate user input. The input can be transmitted to a robot platform to perform various operations in the restricted space.

【技术实现步骤摘要】
基于多模态感觉数据远程控制机器人平台相关申请的交叉引用本申请涉及同时提交的题为“Multi-TreadVehiclesandMethodsofOperatingThereof”的美国专利申请(档案号16-0017-US-NP_BNGCP081US)和题为“StereoscopicCameraandAssociatedMethodofVaryingaScaleofaStereoscopicImagePair”的美国专利申请(档案号15-2607-US-NP)，这两个专利申请的全部内容通过引用并入本文用于所有目的。
本专利技术提供用于控制机器人平台的方法和系统，更具体地，根据一些实施例提供远程设置在受限空间中并且使用基于多模态感觉数据生成的远程和/或本地控制指令进行控制的机器人平台。
技术介绍
机器人平台可以部署到对于直接的人工操作是不理想的各种环境中。包括机器人平台的远程操作的机器人系统可以被用于在此类环境中利用来自远程定位的操作者的一些输入来执行远程操作。然而，操作者对操作环境的感知受到系统的感觉保真度水平的限制。为了使此类系统有效，操作者必须在操作环境中利用足够且真实的感觉反馈有效地远程呈现。通常，提供给操作者的更高的感觉保真度产生在操作环境中的更大的存在感和由操作者提供的更有效的操作指令。另一方面，当一些感觉体验的缺乏导致有限的态势感知时，远程控制可能非常具有挑战性。在大多数常规的远程操作的机器人系统中，操作者具有关于实际操作环境的有限信息。主要的感觉反馈是视觉的。即使具有复杂的视觉系统的机器人平台也向其操作者提供有限的信息。人类自然地依靠多种感觉来了解他们的环境，而不仅仅是视觉。将操作者限制于视觉信息约束了操作者全面了解环境并提供必要指令的能力。此外，典型的远程机器人系统遭受所谓的“独眼视觉”。具体地，此类系统包括不提供双目立体视觉的单视场摄像机和显示器。深度线索对于理解环境并在该环境中执行各种操作(诸如操纵任务)至关重要，并且对于精细的操纵任务更是如此。引进的每种变形损害操作者精确工作的能力，并且可能导致长时间使用的疲劳。
技术实现思路
本专利技术提供用于远程控制在不适合直接的人类操作的受限空间或其他类似空间中的机器人平台的方法和系统。使用多模态感觉数据来实现控制，所述多模态感觉数据包括至少两种感觉响应类型，诸如双目立体视觉类型、双耳立体声音频类型、力反射触觉操纵类型、触觉类型等。多模态感觉数据通过定位在受限空间中的机器人平台获得并且被传送到受限空间外部的远程控制站，其中多模态感觉数据被用于生成受限空间的表示。多模态感觉数据可以被用于为远程控制站的操作者提供多感觉高保真度远程呈现并且允许操作者提供更准确的用户输入。该输入可以被传送到机器人平台以在受限空间内执行各种操作。在一些实施例中，提供用于基于多模态感觉数据远程控制机器人平台的方法。该方法可以包括定位机器人平台，将机器人平台通信地耦连到远程控制站，使用机器人平台的两个或更多个传感器获得多模态感觉数据，传送多模态感觉数据的至少一部分，以及在机器人平台处从远程控制站接收远程控制指令。多模态感觉数据可以包括至少两种感觉响应类型。所述至少两种感觉响应类型可以选自包含双目立体视觉类型、双耳立体声音频类型、力反射触觉操纵类型以及触觉类型的组。在该方法的执行期间获得多模态感觉数据并传送多模态感觉数据可以被连续地重复。该方法可以涉及增加从远程控制站接收的远程控制指令。在一些实施例中，结构是飞行器机翼。在一些实施例中，机器人平台被定位在结构的受限空间中。当机器人平台被定位在受限空间中时，可以执行传送多模态感觉数据的至少一部分。在一些实施例中，该方法进一步包括基于多模态感觉数据在机器人平台处生成本地控制指令。该方法还可以包括基于本地控制指令使用机器人平台在受限空间内执行一个或多个操作。在一些实施例中，多模态感觉数据包括至少双目立体视觉类型、双耳立体声音频类型和力反射触觉操纵类型。在这些实施例中，一个或多个操作可以包括对结构的部件钻孔。在一些实施例中，多模态感觉数据可以包括至少双目立体视觉类型、双耳立体声音频类型、力反射触觉操纵类型以及触觉类型。在这些实施例中，一个或多个操作包括将紧固件安装到结构中。在一些实施例中，该方法进一步包括在传送多模态感觉数据的至少一部分之前增加多模态感觉数据。该方法还可以包括选择多模态感觉数据的至少一部分以用于传送。在一些实施例中，该方法进一步包括基于在机器人平台处从远程控制站接收的远程控制指令，使用机器人平台在受限空间内执行一个或多个操作。例如，一个或多个操作选自包括以下的组：改变机器人平台在受限空间内的位置，对结构的部件钻孔，将紧固件安装到结构中，对结构密封，对结构喷涂，从受限空间移除物体以及检查结构。多模态感觉数据的保真度水平可以对应于一个或多个操作。在一些实施例中，多模态感觉数据的保真度水平随时间改变。在一些实施例中，还基于在机器人平台处生成的本地控制指令来执行一个或多个操作，使得本地控制指令与远程控制指令组合以执行一个或多个操作。在一些实施例中，一个或多个操作包括改变机器人平台在受限空间内的位置。在这些实施例中，多模态感觉数据可以包括至少双目立体视觉类型和立体音频类型。在一些实施例中，使用局域网将机器人平台通信地耦连到远程控制站。在相同或其他实施例中，使用至少一个无线通信链路将机器人平台通信地耦连到远程控制站。此外，使用全球通信网络将机器人平台通信地耦连到远程控制站。本专利技术还提供用于基于多模态感觉数据远程控制结构的受限空间中的机器人平台的方法。该方法可以包括从定位在受限空间中的机器人平台接收多模态感觉数据，由远程控制站生成多模态感觉数据的表示，在远程控制站处捕获用户输入，以及将远程控制指令传送到定位在受限空间中的机器人平台。多模态感觉数据由定位在受限空间外部并且通信地耦连到机器人平台的远程控制站接收。多模态感觉数据包括选自包含双目立体视觉类型、双耳立体声音频类型、力反射触觉操纵类型以及触觉类型的组中的至少两种感觉响应类型；并且在一些实施例中，生成多模态感觉数据的表示包括基于视频频谱、音频频谱、空间取向以及本体感觉中的至少一个增加多模态感觉数据。该表示可以是多感觉高保真度远程呈现。在一些实施例中，远程控制站的用户界面包括用于呈现多模态感觉数据的双目立体视觉类型的3D显示器。远程控制站的用户界面可以包括用于呈现多模态感觉数据的双耳立体声音频类型的立体声扬声器。在一些实施例中，远程控制指令表示由受限空间内的机器人平台执行的一个或多个操作。一个或多个操作可以选自包括以下的组：改变机器人平台在受限空间内的位置，对结构的部件钻孔，将紧固件安装到结构中，对结构密封，对结构喷涂，从受限空间移除物体以及检查结构。在一些实施例中，至少接收多模态感觉数据并生成表示是被连续执行的。此外，可以基于用户输入生成远程控制指令。可以使用局域网将机器人平台通信地耦连到远程控制站。在相同或其他实施例中，使用全球通信网络将机器人平台通信地耦连到远程控制站。本专利技术还提供用于使用多模态感觉数据在结构的受限空间中操作的机器人平台。机器人平台可以包括用于生成多模态感觉数据的传感器和用于通信地耦连到定位在受限空间外部的远程控制站的通信模块。传感器可以包括选自包含双目立体本文档来自技高网...

【技术保护点】
一种用于基于多模态感觉数据(272)远程控制机器人平台(230)的方法(300)，所述方法(300)包括：定位(310)所述机器人平台(230)，将所述机器人平台(230)通信地耦连到远程控制站(250)；使用所述机器人平台(230)的两个或更多个传感器(510)获得(314)所述多模态感觉数据(272)，所述多模态感觉数据(272)包括至少两种感觉响应类型；传送(320)所述多模态感觉数据(272)的至少一部分；以及在所述机器人平台(230)处从所述远程控制站(250)接收(330)远程控制指令。

【技术特征摘要】
2016.06.10 US 15/179,4931.一种用于基于多模态感觉数据(272)远程控制机器人平台(230)的方法(300)，所述方法(300)包括：定位(310)所述机器人平台(230)，将所述机器人平台(230)通信地耦连到远程控制站(250)；使用所述机器人平台(230)的两个或更多个传感器(510)获得(314)所述多模态感觉数据(272)，所述多模态感觉数据(272)包括至少两种感觉响应类型；传送(320)所述多模态感觉数据(272)的至少一部分；以及在所述机器人平台(230)处从所述远程控制站(250)接收(330)远程控制指令。2.根据权利要求1所述的方法(300)，其中所述机器人平台(230)被定位在结构(212)的受限空间(210)中。3.根据权利要求2所述的方法(300)，其中当所述机器人平台(230)被定位在所述受限空间(210)中时，执行传送所述多模态感觉数据(272)的所述至少一部分。4.根据权利要求1所述的方法(300)，其中所述至少两种感觉响应类型选自包含双目立体视觉类型(273a)、双耳立体声音频类型(273b)、力反射触觉操纵类型(273c)和触觉类型(273d)的组。5.根据权利要求1所述的方法(300)，其进一步包括基于所述多模态感觉数据(272)在所述机器人平台(230)处生成(334)本地控制指令。6.根据权利要求5所述的方法(300)，其进一步包括基于所述本地控制指令使用所述机器人平台(230)在所述受限空间(210)内执行(350)一个或多个操作。7.根据权利要求6所述的方法(300)，其中所述多模态感觉数据(272)包括至少所述双目立体视觉类型(273a)、所述双耳立体声音频类型(273b)和所述力反射触觉操纵类型(273c)。8.根据权利要求6所述的方法(300)，其中所述多模态感觉数据(272)包括至少所述双目立体视觉类型(273a)、所述双耳立体声音频类型(273b)、所述力反射触觉操纵类型(273...

【专利技术属性】
技术研发人员：G·W·波德纳尔，
申请(专利权)人：波音公司，
类型：发明
国别省市：美国,US