提供远程机器人控制的方法和系统技术方案

公开了一种从流表面执行交互式对象分割的方法。从与机器人(102)并置的一组传感器(106)接收包括相关图像和深度数据的环境数据流。根据环境数据流实时地显示和更新物理环境的虚拟化表示。从触觉使能输入设备(114)接收标记输入。根据标记输入来确定物理环境的虚拟化表示的位置，该位置受到物理环境的虚拟化表示中的第一虚拟化表面的限制。在相关图像和深度数据上从标记输入的位置执行对象分割。还公开了从流表面执行交互式对象分割的系统。

【技术实现步骤摘要】
【国外来华专利技术】提供远程机器人控制的方法和系统相关申请的交叉引用本申请要求2018年10月10日提交的第16/156,969号美国专利申请的优先权，在此通过引用以其公开整体并入本说明书中。
本专利技术通常涉及机器人控制，包括但不限于提供混合主动式的远程机器人控制。
技术介绍
如今，机器人被用来执行或协助以前由人类执行的许多任务。在某些情况下，由于机器人的运动和控制精度以及机器人高度可定制的设计和操作模式，导致机器人比人类更适合于某些任务。受远程控制的机器人的一些合适任务包括在危险环境(例如，自然灾害地区，有毒环境，病毒或辐射污染的环境等)中的任务。在某些示例中，一些高度重复和乏味的任务和/或体力劳动的任务，例如执行家务劳动，整理仓库库存，为残疾人和/或老年人提供常规护理和辅助等，都可以从机器人的辅助中获益良多。尽管远程操作和完全自动化是如今广泛使用的两种机器人控制模式，但使用这两种控制模式可以执行的任务种类有限。例如，通过远程操作，一名人类操作员通过实时执行相应的控制运动来精确控制机器人的每一个动作，同时观看机器人操作场景的流式视频。远程操作的控制模式要求高度熟练的人类操作员实时充分参与(例如，身体上和精神上)到整个任务的执行过程中，这严重限制了它的用途和应用(例如，由于加在人类操作员上的负担和要求的原因)。全自动化控制模式要求将人工智能内置到机器人控制程序中，这无法适应高度变化的操作场景，限制了其用途和应用。在混合主动式机器人控制模式中，人类操作员提供高级任务导向指令，并依赖于机器人的预编程来确定要实现高级指令所执行的精确运动和操作。混合主动式机器人控制减轻了落在人类操作员上的一些负担和要求，并充分利用了机器人在精度、耐力、鲁棒性和相对抗危险方面的能力。提供促进远程混合主动式机器人控制的直观和高效的人机界面是具有挑战性的。在网络上实时支持对机器人的操作(例如导航和/或对象操纵)进行间接和/或间歇性干预的良好技术是迫切需要的。
技术实现思路
因此，迫切需要混合主动式机器人控制的技术，其中控制机器人的操作员可以实时将机器人感知到的3D场景可视化，并在较高级别上使用间接和/或间歇的指令和输入来指导机器人的动作(而不是远程操作来控制机器人)。在为机器人提供远程混合主动式控制时，用户会使用混合现实环境感知3D场景并提供导航输入。混合现实环境是机器人感知的物理环境的虚拟化表示以及放置在物理环境的虚拟化表示中的虚拟标记和虚拟对象的结合。所述技术在通过机器人与物理环境进行交互的过程中为用户提供了更多的自由和信息，例如实时切换视点、检查环境的选定部分、接收视觉信息的增强(例如纹理信息、物理属性信息、动作和外观历史记录等)。在本公开中，描述了触觉使能的混合现实系统的实施例，所述系统提供触觉界面以与物理环境的虚拟化表示进行交互并在执行高级任务时向移动机器人提供远程高级导航。所述系统包括一个具有配置了红绿蓝深度(RGBD)传感器的移动机器人的本地地点和一个由用户操作触觉使能输入/输出(I/O)设备的远程地点。三维虚拟现实世界场景是使用实时密集映射从流式RGBD数据生成的。用户可以使用触觉使能输入设备来“触摸”并体验场景中的表面和对象的物理特征，以标记场景以指示场景中机器人的虚拟路线、通道、障碍和/或目标，以及在场景中添加虚拟对象，虚拟对象从机器人的角度改变场景的组成，从而间接影响机器人按照预先编程的指令执行的准确操作。在一些实施例中，系统对虚拟对象与场景中其他对象的交互进行物理仿真，以帮助用户体验场景，更准确地确定虚拟对象在场景中的位置。在一些实施例中，执行实时的用户辅助对象分割。用户使用触觉使能输入设备标记场景中的位置，并通过区域增长方法从标记的位置将对象从场景中分割出来。在一些实施例中，用于触觉渲染的新处理流水线用于处理代理更新。所提出的力着色的代理更新方法可以反映摩擦和触觉纹理，因此更稳定，并且可以更实际地处理场景中不同平面的相交边界。在一些实施例中，根据预期的网络时延来预测机器人的实际位置，从而使得机器人在时延网络上的实时操作和控制更加平滑(例如，减少机器人的来回颠簸)。在一个方面，在具有一个或多个处理器和存储器的计算设备上执行一种提供混合主动式机器人控制的方法，其中，所述计算设备可通信地耦合至机器人，并且被配置为根据第一组预编程的路径规划指令为所述机器人生成规划路径，并且所述机器人被配置为根据从所述计算设备接收的规划路径和本地存储的路径执行指令在物理环境中导航。所述方法包括：通过耦合到计算设备的显示生成组件来显示控制用户界面，包括显示与当前围绕所述机器人的第一物理环境相对应的虚拟化环境中的虚拟指针对象，其中所述虚拟化环境是根据从与所述机器人并置的第一组传感器接收的流环境数据来生成并更新的；在虚拟化环境中显示所述虚拟指针对象的同时，通过触觉使能输入设备检测第一用户输入，包括在所述虚拟化环境中沿所述虚拟指针对象的移动路径的一个或多个位置检测第一移动输入和一个或多个标记输入；响应于检测到所述第一用户输入：根据所述第一移动输入在虚拟化环境中沿着第一移动路径移动所述虚拟指针对象，其中，所述第一移动路径受到所述虚拟化环境中一个或多个模拟表面的约束；根据所述虚拟化环境中第一移动路径的模拟材料和/或结构特征，通过所述触觉使能输入设备生成触觉反馈；修改与虚拟化环境中的一个或多个标记输入的位置相对应的虚拟化环境的至少一部分，其中，修改后的虚拟化环境代替所述虚拟环境作为第一物理环境中所述机器人的路径规划的环境基础，所述第一物理环境由计算设备根据第一组预编程的路径规划指令执行。在一个方面，在具有一个或多个处理器和存储器的计算设备处执行一种从流表面执行交互式对象分割的方法，其中，所述计算设备经由网络可通信地耦合到一组传感器和在第一物理环境中并置的一个机器人。所述方法包括：从所述传感器组接收环境数据流，所述环境数据流包括捕获所述第一物理环境的相关图像和深度数据；通过显示生成组件在用户界面区域中显示所述第一物理环境的虚拟化表示，其中，第一物理环境的虚拟化表示是根据所述环境数据流生成并更新的；在显示所述第一物理环境的虚拟化表示的同时，从触觉使能输入设备接收标记输入，其中，标记输入在第一物理环境的虚拟表示中的位置是根据标记输入确定的，并且所述位置受到第一物理环境的虚拟化表示中的第一虚拟化表面的约束；响应于接收到标记输入，在相关图像和深度数据上从标记输入的位置执行对象分割，包括针对相应时间步长，根据环境数据流更新第一物理环境的虚拟化表示：从图像数据中与标记输入的位置相对应的第一位置，对像素进行聚类以形成第一聚类；基于第一聚类和与所述第一聚类对应的深度数据，分割出所标记的第一对象；将所标记的第一对象和深度数据融合到与所述相应时间步长对应的所述第一物理环境的第一截断符号距离函数(TSDF)表示中；从与所述所标记的第一对象和与第一聚类相对应的深度数据相融合的第一TSDF表示中获取第一分割点云。在一个方面，在具有一个或多个处理器和存储器的计算设备上执行一种提供一种混合主动式机器人控制的方法，其中，所述计算设备可通信地耦合至机器人，并本文档来自技高网...

【技术保护点】
1.一种从流表面执行交互式对象分割的方法，包括：/n在具有一个或多个处理器和存储器的计算设备处，其中所述计算设备可通信地通过网络耦合到并置在第一物理环境中的机器人和一组传感器：/n从所述一组传感器中接收环境数据流，所述环境数据流包括捕获所述第一物理环境的相关图像和深度数据；/n通过显示生成组件在用户界面区域中显示所述第一物理环境的虚拟化表示，其中，所述第一物理环境的所述虚拟化表示是根据所述环境数据流来生成和更新的；/n在显示所述第一物理环境的所述虚拟化表示的同时，从触觉使能输入设备接收标记输入，其中，所述标记输入在所述第一物理环境的所述虚拟化表示中的位置是根据所述标记输入来确定的，并且所述位置受所述第一物理环境的所述虚拟化表示中的第一虚拟化表面所约束；以及/n响应于接收到所述标记输入，在所述相关图像和深度数据上从所述标记输入的位置执行对象分割，包括针对相应时间步长，根据所述环境数据流更新所述第一物理环境的所述虚拟化表示：/n从所述图像数据中与所述标记输入的位置相对应的第一位置，对像素进行聚类，以形成第一聚类；/n基于所述第一聚类和与所述第一聚类对应的深度数据，分割出所标记的第一对象；/n将所述所标记的第一对象和所述深度数据融合到与所述相应时间步长对应的所述第一物理环境的第一截断符号距离函数(TSDF)表示中；以及/n从与所述所标记的第一对象和与所述第一聚类相对应的深度数据融合的所述第一TSDF表示中获取第一分割点云。/n...

【技术特征摘要】
【国外来华专利技术】20181010 US 16/156,9651.一种从流表面执行交互式对象分割的方法，包括：
在具有一个或多个处理器和存储器的计算设备处，其中所述计算设备可通信地通过网络耦合到并置在第一物理环境中的机器人和一组传感器：
从所述一组传感器中接收环境数据流，所述环境数据流包括捕获所述第一物理环境的相关图像和深度数据；
通过显示生成组件在用户界面区域中显示所述第一物理环境的虚拟化表示，其中，所述第一物理环境的所述虚拟化表示是根据所述环境数据流来生成和更新的；
在显示所述第一物理环境的所述虚拟化表示的同时，从触觉使能输入设备接收标记输入，其中，所述标记输入在所述第一物理环境的所述虚拟化表示中的位置是根据所述标记输入来确定的，并且所述位置受所述第一物理环境的所述虚拟化表示中的第一虚拟化表面所约束；以及
响应于接收到所述标记输入，在所述相关图像和深度数据上从所述标记输入的位置执行对象分割，包括针对相应时间步长，根据所述环境数据流更新所述第一物理环境的所述虚拟化表示：
从所述图像数据中与所述标记输入的位置相对应的第一位置，对像素进行聚类，以形成第一聚类；
基于所述第一聚类和与所述第一聚类对应的深度数据，分割出所标记的第一对象；
将所述所标记的第一对象和所述深度数据融合到与所述相应时间步长对应的所述第一物理环境的第一截断符号距离函数(TSDF)表示中；以及
从与所述所标记的第一对象和与所述第一聚类相对应的深度数据融合的所述第一TSDF表示中获取第一分割点云。


2.根据权利要求1所述的方法，包括：
提供包括所述所标记的第一对象的所述第一分割点云作为输入，以用于相对于与所述所标记的第一对象对应的第一物理对象由机器人根据预编程指令执行的路径规划和/或任务执行。


3.根据权利要求2所述的方法，包括：
响应于所述标记输入，通过所述触觉使能输入设备生成触觉反馈，包括：
根据确定所述标记输入的位置对应于与所述虚拟化环境的初始接触，更新代理位置以定位距所述标记输入的位置最近的表面点；以及
根据确定所述标记输入的位置是沿着移动路径与所述虚拟化环境接触的连续位置，更新所述代理位置以定位距交点最近的表面点，所述交点是与所述第一位置对应的切线约束平面与从所述第一位置下降到所述切线约束平面的法线之间的交点。


4.根据权利要求3所述的方法，其中，使用与所述对应时间步长相应的所述第一物理环境的第一TSDF表示来执行更新所述代理位置以定位距所述第一位置最近的表面点。


5.根据权利要求3所述的方法，包括：
根据所述标记输入，将所述所标记的第一对象标记为障碍，其中，所述机器人在根据所述第一组预编程指令生成的路径上导航期间避开所述所标记的第一对象。


6.根据权利要求2所述的方法，包括：
根据所述标记输入将所述所标记的第一对象标记为目标，其中，所述机器人在根据所述第一组预编程的路径规划指令生成的路径上导航期间接近所述所标记的第一对象。


7.根据权利要求2所述的方法，包括：
根据所述标记输入将所述所标记的第一对象标记为通道，其中，当没有将所述所标记的第一对象标记为通道时，所述机器人在根据第一组预编程的路径规划指令生成的路径上导航期间避开所述所标记的第一对象，并且当将所述所标记的第一对象标记为通道时，在根据所述第一组预编程的路径规划指令生成的路径上导航期间，所述机器人将不避开所述所标记的第一对象。


8.一种用于从流表面执行交互式对象分割的计算设备，包括：
一个或多个处理器；以及
存储指令的存储器，其中所述计算设备可通信地通过网络耦合到并置在第一物理环境中的机器人和一组传感器，并且其中，所述指令在被所述一个或多个处理器执行时使所述处理器执行操作，所述操作包括：
从所述一组传感器中接收环境数据流，所述环境数据流包括捕获所述第一物理环境的相关图像和深度数据；
通过显示生成组件在用户界面区域中显示所述第一物理环境的虚拟化表示，其中，所述第一物理环境的所述虚拟化表示是根据所述环境数据流来生成和更新的；
在显示所述第一物理环境的所述虚拟化表示的同时，从触觉使能输入设备接收标记输入，其中，所述标记输入在所述第一物理环境的所述虚拟化表示中的位置是根据所述标记输入来确定的，并且所述位置受所述第一物理环境的所述虚拟化表示中的第一虚拟化表面所约束；以及
响应于接收到所述标记输入，在所述相关图像和深度数据上从所述标记输入的位置执行对象分割，包括针对相应时间步长，根据所述环境数据流更新所述第一物理环境的所述虚拟化表示：
从所述图像数据中与所述标记输入的位置相对应的第一位置，对像素进行聚类，以形成第一聚类；
基于所述第一聚类和与所述第一聚类对应的深度数据，分割出所标记的第一对象；
将所述所标记的第一对象和所述深度数据融合到与所述相应时间步长对应的所述第一物理环境的第一截断符号距离函数(TSDF)表示中；以及
从与所述所标记的第一对象和与所述第一聚类相对应的深度数据融合的所述第一TSDF表示中获取第一分割点云。


9.根据权利要求1所述的计算设备，其中，所述操作包括：
提供...

【专利技术属性】
技术研发人员：田原，苏万里，
申请(专利权)人：美的集团股份有限公司，
类型：发明
国别省市：广东;44