附连数据的混合环境显示制造技术

全息用户界面可接近计算设备(诸如机器人)的相关组件显示状态信息，从而允许用户容易地将该状态信息与该相关组件相关联。图形显示的布置可利用图形元素来示出任何显示的数据和计算设备的任何组件之间的关联。基于指示机器人的物理部分的尺寸、形状和配置的数据，本文中公开的技术可在相关上下文中布置显示的状态数据，其可涉及全息UI。此外，本文中公开的技术允许用户响应于任何状态数据的显示而编辑数据或向一个或多个计算设备提供输入。

Mixed environment display of attached data

The holographic user interface can approach the related components display state information of computing devices, such as robots, so that users can easily associate the status information with the related components. The graphic display layout can be used to illustrate the relationship between graphic elements any component of any data is displayed and the computing device. Based on the data indicating the size, shape and configuration of the physical part of the robot, the technology disclosed in this paper can display the status data in the related context, which can involve holographic UI. In addition, the technology disclosed in this article allows the user to edit the data in response to the display of any state data or to provide input to one or more computing devices.

【技术实现步骤摘要】
【国外来华专利技术】附连数据的混合环境显示背景移动机器人需要能够在环境中操作以避开障碍物、执行任务、标识从一个位置到另一位置的路径等等。现有技术要求复杂又昂贵的硬件以及复杂又计算上昂贵的软件命令来执行大多数任务并有效地进行导航。在许多其他实际缺点中，现有系统将大多数机器人功能置于低等到中等机器人的可及范围外。在一些现有技术的其他缺点中，当与机器人或者其他电子或机械设备一起工作时，添加用于处理、监视和传达某些类型的信息的显示面板和输入机制可能是困难或昂贵的。例如，在某些系统中跟踪机器人的软件的状态、设置或配置修改可能是困难的。对该缺点的一些解决方案包括对显示面板和输入小键盘的利用。然而，这样的解决方案增加了任何机器人或计算设备的复杂性和成本。在其他解决方案中，机器人可操作web服务器并使得经由远程计算机上的web浏览器对数据的查看成为可能。这样的解决方案尽管比物理显示器和输入面板更便宜，但不对任何传达的信息提供一定粒度级的上下文。已作出了该领域的许多开发，但大多数现有系统不是成本高效的，尤其是在它面对低等到中等设备时。用新的指令或操作规程来配置机器人也可能是困难的。概述本文中描述的技术提供附连数据的混合环境显示。在一些配置中，本文中公开的技术涉及具有一个或多个传感器的第一计算设备，此一个或多个传感器被配置成检测第二计算设备以及该第二计算设备周围的环境的位置和几何参数。在一些配置中，例如，第一计算设备可以是个人计算机或头戴式显示器(HMD)，而第二计算设备可以是移动机器人。第一计算设备可被配置成接收指示与第二计算设备相关联的状态的状态数据。例如，所述状态数据可包括组件的温度、使用数据、表现数据、位置数据或与第二计算设备或第二计算设备的组件相关的任何其他信息。状态数据可通过处理第一计算设备的一个或多个传感器、相机或其他输入设备的信号来生成。在一些配置中，所述状态数据可直接传达自第二计算设备。基于一个或多个因素，所述系统确定是否要显示所述状态数据。例如，如果获得的状态数据指示至少一个值(诸如组件的温度)达到阈值，则与第二计算设备相关联的状态可被显示。在另一示例中，如果错误或冲突(例如，碰撞)被检测到，则与第二计算设备相关联的状态可被显示。与任何计算设备相关联的状态数据可被显示并基于任何数目的因素。在又一示例中，如果改变的情况被检测到，则状态可被显示。这样的示例可涉及基于第二计算设备附近或附连到第二计算设备的一个或多个对象的移动或改变的状态的数据的显示。一旦所述系统确定是否要显示所述状态数据，所述系统就生成描述所述状态数据的至少一部分的图形元素并将所述图形元素显示在第一计算设备的界面上。在一些配置中，所述界面被配置成通过所述界面的一部分来提供第二计算设备的至少一部分的现实世界视图。描述所述状态数据的图形元素可被配置成指示描述所述状态数据的所述图形元素和第二计算设备的所述现实世界视图的所述至少一部分之间的关联。在一些配置中，显示可被配置成指示描述所述状态数据的所述图形元素和第二计算设备的渲染之间的关联。通过使用本文中公开的技术，全息用户界面可接近计算设备(诸如，机器人)的相关组件显示状态信息，从而允许用户容易地将该状态信息与该相关组件相关联。图形显示的布置可利用图形元素来示出任何显示的数据和任何对象之间的关联。基于指示机器人的物理部分的尺寸、形状和配置的数据，本文中公开的技术可在相关的上下文中布置显示的状态数据。此外，本文中公开的技术允许用户响应于状态数据或其他数据的显示而编辑数据或向一个或多个计算设备提供输入。应当理解，上述主题也可被实现为计算机控制的装置、计算机进程、计算系统或诸如计算机可读介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其它特征将变得显而易见。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本
技术实现思路
并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在将本概述用来限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。附图简述图1是示出用于提供对一个或多个机器人的增强的控制、机器人动作的混合环境显示以及附连数据的混合环境显示的若干示例组件的框图；图2A-2B解说了机器人基于一组指令来执行多个任务的示例场景；图3A-3E解说了示出机器人基于一组指令来执行多个任务的模型数据的示例渲染；图4A解说了附连到一个或多个对象的数据的一个或多个显示的示例渲染；图4B解说了指示计算设备的移动的附连数据的图形元素的示例渲染；图4C解说了附连到计算设备的现实世界视图的数据的图形元素的示例渲染；图4D解说了附连到计算设备的现实世界视图的数据以及该计算设备的混合环境增强的显示的示例渲染；图5是解说可用于提供机器人动作的混合环境显示的例程的流程图；图6是解说可用于提供对机器人的增强的配置和控制的例程的流程图；图7是解说可用于提供附连数据的混合环境显示的例程的流程图；图8是解说能够实现本文中呈现的技术和技艺的各方面的计算系统的说明性计算机硬件和软件架构的计算机架构图；图9是解说能够实现本文中呈现的技术和技艺的各方面的分布式计算环境的图示；以及图10是解说能够实现本文中呈现的技术和技艺的各方面的计算设备的计算设备架构的计算机架构图。详细描述本文中描述的技术提供对一个或多个机器人的增强的控制、机器人动作的混合环境显示以及附连数据的混合环境显示。使用配备有多个能力(诸如，与定位环境中的机器人的技术耦合的表面重构能力)的计算设备(诸如，头戴式显示器(“HMD”))，本文中提供的技术使得机器人具有环境理解、障碍躲避和路径查找。基于计算设备接收到的信息，诸如路径查找指令之类的指令可被生成。这些指令可被传达给机器人执行。在一些配置中，由于机器人遵循执行指令，计算设备可继续跟踪机器人的位置以及机器人沿指定路径而行的准确性。如果机器人开始偏离该路径，则计算设备可检测到这样的动作并发送校正指令以使得该机器人回到轨道上去。类似地，如果环境改变了(例如有新的障碍出现，而使被发送给机器人的路径无效)，则那些指令可被纠正以允许机器人动态地对环境作出反应。本文中描述的技术提供用于在将发生机器人的动作的空间中的这些动作被执行之前可视化这些动作以实现提升的理解和安全性的技术。此外，各技术和技艺从机器人的角度提供(对机器人周围的空间的)可视化，例如人或对象的定位和标识，以实现提升的理解和安全性。各技术和技艺还提供对发生了机器人的过去动作的空间中的这些过去动作的可视化，以确认正确的操作和/或调试不正确的操作。本文中描述的技术提供用于附连全息UI和其他图形元素以显示与机器人和环境元素(诸如机器人周围的对象)相关联的信息。全息或其他图形元素的生成关联附连到机器人或其他对象的信息。各技术还为用户提供编辑指令、信息以及向用户显示的其他数据的能力。本文中公开的技术将全息图或表示信息的其他图形元素附连到机器人或者与其最相关的其他对象或电子设备。通过提供与一个或多个组件或对象的图形表示关联信息，用户可容易地理解与机器人及其周围环境相关联的状态、场景或更广阔的上下文。本文中描述的技术提供用于捕捉和解释诸如姿势、语音命令或任何其他类型的输入之类的用户动作的技术。用户动作可被解释以生成本文档来自技高网...

【技术保护点】
一种计算机实现的方法，包括：在第一计算设备处获得指示与第二计算设备相关联的状态的状态数据；确定是否要显示所述状态；以及如果要显示所述状态，生成描述所述状态的图形元素，以及引起描述所述状态的图形元素在所述第一计算设备的界面上的显示，其中所述界面被配置成提供所述第二计算设备的至少一部分的现实世界视图，并且其中描述所述状态的所述图形元素被配置成指示描述所述状态的所述图形元素和所述第二计算设备的现实世界视图的至少所述部分之间的关联。

【技术特征摘要】
【国外来华专利技术】2015.04.27 US 62/153,460;2015.08.11 US 14/824,0421.一种计算机实现的方法，包括：在第一计算设备处获得指示与第二计算设备相关联的状态的状态数据；确定是否要显示所述状态；以及如果要显示所述状态，生成描述所述状态的图形元素，以及引起描述所述状态的图形元素在所述第一计算设备的界面上的显示，其中所述界面被配置成提供所述第二计算设备的至少一部分的现实世界视图，并且其中描述所述状态的所述图形元素被配置成指示描述所述状态的所述图形元素和所述第二计算设备的现实世界视图的至少所述部分之间的关联。2.如权利要求1所述的计算机实现的方法，其特征在于，所述第一计算设备是包括被配置成生成图像数据的至少一个图像相机的头戴式显示器，并且其中获得所述状态数据包括分析所述图像数据以生成所述状态数据。3.如权利要求1所述的计算机实现的方法，其特征在于，所述第一计算设备是包括被配置成生成图像数据的至少一个图像相机的头戴式显示器，并且其中所述计算机实现的方法进一步包括：分析所述图像数据以确定所述第二计算设备的至少一个组件的几何参数；以及至少部分地基于所述第二计算设备的至少一个组件的所述几何参数来确定描述所述状态的所述图像元素的尺寸或位置。4.如权利要求1所述的计算机实现的方法，其特征在于，所述状态指示所述第二计算设备的移动的特性。5.如权利要求1所述的计算机实现的方法，其特征在于，所述状态指示所述第二计算设备和至少一个对象之间的交互的特性。6.如权利要求1所述的计算机实现的方法，其特征在于，所述第二计算设备被配置成执行一组指令中定义的一个或多个任务，并其中所述图形元素的显示包括所述一组指令中定义的一个或多个任务中的个体任务的描述。7.如权利要求1所述的计算机实现的方法，其特征在于，所述计算机实现的方法进一步包括：引起所述第二计算设备的图形增强的生成；以及引起所述图形增强在所述界面上的显示，其中所述图形增强是通过所述界面相对于所述第二计算设备的所述现实世界视图的位置来定位的，并且其中所述显示的布置指示所述图形元素和所述第二计算设备的所述图形增强之间的关联。8.如权利要求1所述的计算机实现的方法，其特征在于，所述计算机实现的方法进一步包括：确定所述第二计算设备的组件的状态...

【专利技术属性】
技术研发人员：D·M·希尔，E·V·查博尼奥，A·W·吉恩，J·J·埃弗特，A·M·琼斯，R·C·勒斯勒，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US