机器人系统的远程操作技术方案

一种用于控制至少一个机器人系统的操作的计算机实现的方法，该方法包括：从环境中的至少一个机器人系统接收状态信息，该状态信息由至少一个机器人系统创建；处理该状态信息以生成环境中的至少一个机器人系统的至少一部分的虚拟机器人系统模型；将该虚拟机器人系统模型可视化，以显示给至少一个用户；在向至少一个用户显示可视化的同时接收用于执行操作的用户指令；以及基于所接收到的用户指令向至少一个机器人系统发出命令，以使至少一个机器人系统执行操作。人系统执行操作。人系统执行操作。

【技术实现步骤摘要】
【国外来华专利技术】机器人系统的远程操作


[0001]本公开总体上涉及一种用于机器人系统(robotic system)的远程操作的系统，并且特别地涉及一种用于机器人系统的直观远程操作系统。

技术介绍

[0002]机器人和机器人系统是可用于执行宽范围的不同操作的有用工具。一些机器人系统可以是远程操作的，这意味着可以从远处控制机器人系统的操作。一种已知的遥控机器人界面是监视器
‑
鼠标
‑
键盘界面，然而这种界面的能力是有限的。最近的界面包括显示实时视频的虚拟现实界面。存在远程操作机器人，诸如丰田T
‑
HR3人形机器人，其可以通过外骨骼基站远程控制。远程操作机器人系统在例如医学中(其中它们用于执行微创手术)具有已知的用途。

技术实现思路

[0003]在权利要求中阐述了本专利技术。
[0004]专利技术人已经确定，已知的系统不提供允许机器人系统具有人类水平的灵活性的基于虚拟现实(VR)的直观和沉浸式人机界面。此外，已知的系统不允许全局远程操作或多用户
‑
多机器人访问。此外，已知的系统未被优化用于使复杂任务自动化。此外，已知的系统不具有移动性或具有有限的移动性，并且不敏捷或不能良好地适合于在具有挑战性的位置执行任务。本公开试图通过提供具有机器学习能力的人机界面和改进的机器人系统来解决现有技术中遇到的这些和/或其他缺点中的一些或全部。
[0005]通过提供根据本公开的系统，可以提供许多益处。本文公开的机器人系统、远程终端和操作者界面提供了用于提高可以完成复杂范围的操作的准确性和/或可靠性的手段。发送其周围世界的完整3D表示的机器人系统为用户提供了接近真实世界的沉浸式体验。该系统提供了准确的深度感和灵活性，以从任何位置将世界可视化。该系统提供了异常直观和准确的远程操作方案。此外，该系统可以利用包括现成的VR设备的手跟踪界面，同时允许来自用户的直观控制以针对每只手发送具有六个或更多个自由度的命令。这提供了使用更简单且低成本的设备来实现用户输入的高度复杂度的能力。通过使得能够远程执行操作，可以提高可以执行操作的安全性。通过提供极其敏捷的机器人系统，可以完成更宽范围的操作，并且相比于由人类直接执行，这些操作可以在更短的时间内完成。
[0006]此外，本文公开的附加方面提供了许多附加益处。例如，对于具有操纵能力的机器人系统增强了移动性，以执行操作(诸如与机器人系统的环境的物理交互)。在一些示例中，可以使用具有至少六个自由度(DoF)的机器人系统和/或操纵系统来执行操作。在一些示例中，当向机械系统发送命令时使用诸如VR的沉浸式技术使得它们能够直观地并且以高灵巧性执行操纵任务。
[0007]本公开提供了一种用于使用操作者界面来控制机器人系统的操作的方法，该方法包括：从机器人系统接收状态信息，该状态信息由机器人系统创建；促使与状态信息有关的
数据给至少一个用户；响应于向用户提供数据，从用户接收用于执行操作的用户指令；基于所接收到的用户指令向至少一个机器人系统发出命令，以使至少一个机器人系统执行操作。
[0008]本公开还可选地包括：处理状态信息以生成环境中的至少一个机器人系统的至少一部分的虚拟机器人系统模型；使得将虚拟机器人系统模型的可视化显示给至少一个用户；以及在向至少一个用户显示可视化的同时接收用于执行操作的用户指令。
[0009]本公开提供了一种使用包括操纵系统和一个或多个传感器的一个或多个机器人系统执行操作的方法，该方法包括：使用一个或多个传感器生成数据；由一个或多个机器人系统处理所生成的数据以创建一个或多个机器人系统的状态信息；将状态信息发送到操作者界面；接收来自操作者界面的命令，所述命令响应于状态信息的传输而生成；以及由操纵系统根据命令执行操作。
[0010]本公开提供了一种用于机器人系统的操作者界面，该操作者界面被配置为：从机器人系统接收状态信息；将与状态信息有关的数据显示给用户；从用户接收用于执行操作的输入数据；使用输入数据来确定用于机器人系统的命令；以及向机器人系统发出命令以使机器人系统执行操作。
[0011]本公开还描述了一种模块化系统，其被配置为经由包括WiFi、蜂窝和5G的不同网络来控制。这允许用户通过使用云服务器协调访问以从世界上的任何地方控制机器人系统。本公开提供了一种系统，其中一个用户可以控制多个机器人系统。本公开提供了一种系统，其中多个用户可以控制至少一个机器人系统。所公开的系统的益处是增强由基于云的远程呈现和机器学习所提供的可扩展性。
[0012]所公开的系统提供了云服务器，所述云服务器收集大量用户演示数据以在云中执行强化学习。然后可以将其部署在机器人系统上。因此，用户能够记录某些重复操作以教导机器人系统自动执行相同或相似的操作。本公开提供了一种深度学习系统，其使机器人系统数据收集基础设施大众化。这提高了自主操作的可靠性，同时通过在机器人系统运行时连续收集大量用户演示数据来加速向完全自主操作的转换。
[0013]本公开还将无人驾驶飞行器(UAV)的敏捷移动性与机器人远程操作能力相结合。此外，在一些示例中，本公开提供了一种机器人系统，该机器人系统能够机械地附接到工作空间中的结构以使其能够执行稳定且强的操纵。另外，通过使用基于VR的直观和沉浸式人机界面，它允许系统具有人类水平的灵巧性。本公开为机器人系统(诸如为无人驾驶飞行器(UAV))提供了新的且直观的远程操作能力。
[0014]本公开提供了一种特殊类型的模块化机器人系统，其具有一个或多个操纵系统(诸如臂部)以及飞行移动性，以承担通常由人类执行的任务。这在高风险挑战性环境中特别有用，其中远程能力使得能够比由人类直接执行任务更安全地执行任务。通过利用VR技术并无线传输信息，一个或多个机器人系统作为适于一个或多个用户的物理化身工作，以使得能够远程执行操纵任务。直观和沉浸式VR界面无缝地增强了人类智能，以允许机器人系统具有人类水平的灵巧性，同时避免人类暴露于危险。本文公开的机器人系统例如通过使用附接模块而具有用于执行特定操作的提高的效率和耐久性能力，从而相比于使用已知系统的可能操作，机器人系统能够在单次充电时执行更多的操作或更复杂的操作。
[0015]本公开提供了一种传输与机器人系统有关的状态信息的计算机实现的方法，该状
态信息包括深度图像的至少一部分。该方法包括接收与深度图像的至少一部分相对应的深度值，以及识别用于使用深度值确定多个值的映射。所述方法进一步包括根据所述映射，基于深度值的最低有效分量产生多个值中的第一值，且基于深度值的最高有效分量产生多个值中的第二值。接下来，通过将第一值分配到颜色编码模型的第一信道中并将第二值输入到颜色编码模型的第二信道中来生成编码深度值。然后使用基于图像的有损压缩方法来压缩编码深度值，并且传输经压缩的编码深度值。
[0016]颜色编码模型的第二信道可以是颜色编码模型的颜色信道。
[0017]最高有效分量可为深度值的整数分量，最低有效分量可为深度值的小数分量。
[0018]状本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于控制至少一个机器人系统的操作的计算机实现的方法，所述方法包括：从环境中的至少一个机器人系统接收状态信息，所述状态信息由至少一个机器人系统创建；处理所述状态信息以生成环境中的至少一个机器人系统的至少一部分的虚拟机器人系统模型；将虚拟机器人系统模型可视化以显示给至少一个用户；在向至少一个用户显示可视化时接收用于执行操作的用户指令；以及基于所接收到的用户指令向至少一个机器人系统发出命令，以使至少一个机器人系统执行操作。2.根据权利要求1所述的方法，包括将虚拟机器人系统模型的可视化在操作者界面上显示给至少一个用户，所述操作者界面被配置来执行至少一个用户的至少一部分的位置跟踪和/或取向跟踪。3.根据权利要求1或2所述的方法，其特征在于，所述状态信息包括以下各项中的至少一个：3D体积信息、3D结构和颜色信息、点云信息、操纵系统状态信息、触觉信息和自我状态估计信息，其中自我状态包括至少一个机器人系统相对于环境的位置和取向中的一个或多个。4.根据权利要求1至3中任一项所述的方法，包括：处理状态信息以生成机器人系统数据；以及使机器人系统数据被显示给至少一个用户。5.根据权利要求1至4中任一项所述的方法，其特征在于，从至少一个机器人系统接收到的状态信息包括数据的用户数据报协议包，其使用基于图像的有损压缩方法来压缩。6.根据权利要求5所述的方法，其特征在于，处理状态信息包括：用硬件加速解压缩引擎来对所接收到的数据包进行解压缩，以产生RGB图像和深度图像；以及对经解压缩的深度图像进行解码，其中生成虚拟机器人系统模型包括使用RGB图像和经解码的深度图像。7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：处理从至少一个机器人系统接收到的状态信息和用户指令，以确定用于可重复执行操作的通用操作指令；以及使用所确定的通用操作指令来确定向至少一个机器人系统发出的命令。8.根据权利要求7所述的方法，其特征在于，还包括使用模仿学习来处理从至少一个机器人系统接收到的状态信息和用户指令以确定通用操作指令，其中，可选地，所述模仿学习包括：训练神经网络；以及更新神经网络的一个或多个训练参数。9.根据权利要求1至7中任一项所述的方法，其特征在于，向至少一个机器人系统发出的命令是先前命令的重复。10.根据权利要求7或8所述的方法，其特征在于，确定通用操作指令在云服务器内执行。
11.根据权利要求1至10中任一项所述的方法，其特征在于，还包括：检测用户指令在一段时间内的变化；检测从至少一个机器人系统接收到的状态信息在一段时间内的变化；使用接收到的状态信息和用户指令的检测到的变化来识别感兴趣对象；以及可选地，标记感兴趣对象；接收用于执行操作的第二用户指令，其中第二用户指令包括用户对经标记的感兴趣对象的选择；以及基于所接收到的第二用户指令向至少一个机器人系统发出第二命令，以使至少一个机器人系统执行操作。12.根据权利要求1至11中任一项所述的方法，其特征在于，还包括：使用状态信息来执行交互式机器人系统模拟，其导致被显示给用户并且其包括重建机器人系统的运动学模型和机器人模型；以及接收与模拟的用户交互，其中用户指令基于与模拟的用户交互，所述方法可选地包括在基于与模拟的用户交互向机器人系统发出命令之前执行预执行练习。13.根据权利要求1至12中任一项所述的方法，其特征在于，至少一个机器人系统中的至少一个包括至少一个操纵系统，其中执行操作包括操作至少一个操纵系统。14.根据权利要求1至13中任一项所述的方法，其特征在于，至少一个机器人系统中的至少一个是移动车辆。15.根据权利要求1至14中任一项所述的方法，其特征在于，还包括：将虚拟机器人系统模型可视化，以显示给至少两个用户；以及从至少两个用户接收用于执行操作的用户指令。16.根据权利要求1至15中任一项所述的方法，其特征在于，还包括：通过至少两个机器人系统传输状态信息；以及由至少两个机器人系统接收命令，以使至少两个机器人系统执行操作。17.根据权利要求1至13中任一项所述的方法，其特征在于，至少一个机器人系统中的至少一个是无人驾驶飞行器。18.一种用于至少一个机器人系统的远程终端，所述远程终端被配置为执行根据权利要求1至17中任一项所述的方法。19.一种用于接收数据包的计算机实现的方法，其包括：接收数据包，所述数据包包括有色点云的用户数据报协议包；用硬件加速解压缩引擎来对所接收到的数据包进行解压缩，以产生RGB图像和深度图像；对经解压缩的深度图像进行解码；以及使用RGB图像和经解码的深度图像来产生有色点云。20.一种用于传输数据包的计算机实现的方法，其包括：将有色点云投影到RGB图像和深度图像中；对深度图像进行编码；利用硬件加速解压缩引擎来压缩RGB图像和深度图像两者；以及通过用户数据报协议传输包括经压缩的RGB图像和深度图像两者的数据包。
21.一种用于发送和接收数据包的计算机实现的方法，其包括：根据权利要求20所述的用于传输数据包的方法；根据权利要求19所述的用于接收数据包方法。22.一种用于执行根据权利要求20所述的方法的机器人系统，其包括：处理器；以及存储器，其通信地耦合到所述处理器，所述存储器储存指令，所述指令被配置为使处理器执行根据权利要求20所述的方法。23.一种用于执行根据权利要求19所述的方法的远程终端，包括：处理器；以及存储器，其通信地耦合到所述处理器，所述存储器储存指令，所述指令被配置为使处理器执行根据权利要求19所述的方法。24.一种用于传输与机器人系统有关的状态信息的计算机实现的方法，所述状态信息包括深度图像的至少一部分，所述方法包括：接收对应于深度图像的至少一部分的深度值；识别使用深度值确定多个值的映射；根据映射基于深度值的最低有效分量产生多个值中的第一值；根据映射基于深度值的最高有效分量产生多个值中的第二值；通过以下方式生成编码深度值：将第一值分配给颜色编码模型的第一信道；以及将第二值分配给颜色编码模型的第二信道；使用基于图像的有损压缩方法来压缩编码深度值；以及传输经压缩的编码深度值。25.根据权利要求24所述的方法...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：延伸机器人技术有限公司，
类型：发明
国别省市：