虚拟环境中的触觉交互制造技术

描述了触觉虚拟现实(VR)和/或混合现实(MR)体验。本文中所描述的技术包括从传感器接收数据，并且访问物理存在于真实场景中的真实对象的位置和方向。而且，本文中所描述的技术包括至少部分地基于真实对象的位置和方向来标识真实对象，并且使得与真实对象相对应的图形元素被渲染在VR和/或MR显示设备的显示器上。可以至少部分地基于VR和/或MR应用来确定图形元素。本文中所描述的技术包括确定与真实对象的交互，并且使得与图形元素相关联的功能分别在经由VR和/或MR显示设备渲染的VR或MR环境中被执行。

Tactile interaction in virtual environment

The experience of haptic virtual reality (VR) and / or mixed reality (MR) is described. The techniques described in this article include receiving data from sensors and accessing locations and directions of real objects that exist in real scenes. Furthermore, the techniques described in this article include at least partially identifying the real object based on the location and direction of the real object, and making the graphic elements corresponding to the real object are rendered on the display of the VR and / or MR display devices. Graphics elements can be determined, at least in part, based on VR and / or MR applications. The techniques described in this article include determining the interaction with the real object, and making the functions associated with the graphic elements being executed in a VR or MR environment that is rendered by VR and / or MR display devices.

【技术实现步骤摘要】
【国外来华专利技术】虚拟环境中的触觉交互
技术介绍
计算系统可以帮助生成包括虚拟现实(VR)环境和/或混合现实(MR)环境的新环境。虚拟现实(VR)是一种沉浸式体验，其模拟真实环境或想象环境中的物理存在。例如，VR环境可以经由VR显示设备使得具有计算机生成的图形(例如，狗、城堡等)的物理真实世界的人物沉浸在计算机生成的虚拟场景中。混合现实(MR)是一种融合现实世界和虚拟世界的混合现实体验。MR是一种产生MR环境的技术，其中物理真实世界的人物和/或物理真实世界场景中的对象与虚拟计算机生成的人物和/或对象实时共存。例如，MR环境可以在经由MR显示设备观看的物理真实世界场景中使用计算机生成的图形(例如，狗、城堡等)来增强物理现实世界场景和/或物理真实世界的人物。
技术实现思路
描述了触觉虚拟现实(VR)和/或混合现实(MR)体验。本文中所描述的技术包括从传感器接收数据，并且访问物理存在于真实场景中的真实对象的位置和方向。而且，本文中所描述的技术包括至少部分地基于真实对象的位置和方向来标识真实对象，并且使得与真实对象相对应的图形元素被渲染在VR和/或MR显示设备的显示器上。可以至少部分地基于VR和/或MR应用来确定图形元素。本文中所描述的技术包括确定与真实对象的交互，并且使得与图形元素相关联的功能分别在经由VR和/或MR显示设备渲染的VR或MR环境中被执行。应当理解，上文所描述的主题可以被实现为计算机控制的装置、计算机过程、计算系统或者诸如计算机可读存储介质之类的制品。这些和各种其他特征将通过阅读下面的具体实施方式和相关附图的回顾而变得清楚。提供本
技术实现思路
是为了以简化形式介绍下文在具体实施方式中进一步描述的技术选择。本
技术实现思路
并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在使用本
技术实现思路
来限制所要求保护的主题的范围。而且，所要求保护的主题不限于解决本公开的任何部分中指出的任何或全部缺点的实现方式。附图说明参考附图阐述了具体实施方式，其中附图标记的最左边的数字标识附图标记首次出现的图。在相同或不同的图中使用相同的附图标记表示相似或相同的项目或特征。图1是示出了用于向用户提供触觉VR体验和/或MR体验的示例环境的示意图。图2A是示出了头戴式VR和/或MR显示设备的示例的示意图。图2B是示出了头戴式VR和/或MR显示设备的示例的示意图。图3是示出了用于使得至少部分地基于确定与真实场景中的真实对象的交互来在VR环境中执行与虚拟对象相关联的功能的示例过程的流程图。图4是示出了至少部分地基于从传感器接收的数据来标识真实对象的示例过程的流程图。图5是示出了用于至少部分地基于确定与真实场景中的两个真实对象的交互来用VR环境中的第三图形元素替换第一图形元素和第二图形元素的示例过程的流程图。图6是示出了用于将新真实对象引入到本文中所描述的技术中的示例过程的流程图。图7A是示出了真实场景中的真实对象的示例的示意图。图7B是示出了在与第一VR应用相关联的VR环境中渲染的对应虚拟对象的示例的示意图。图7C是示出了在与第一VR应用相关联的VR环境中渲染的对应虚拟对象的示例的示意图。图8A是示出了真实场景中的真实对象的示例的示意图。图8B是示出了与第二VR应用相关联的VR环境的示例的示意图。图8C是示出了在与第二VR应用相关联的VR环境中渲染的对应虚拟对象的示例的示意图。具体实施方式本文中所描述的技术旨在向用户提供触觉虚拟现实(VR)和/或混合现实(MR)体验。在示例中，触觉VR体验是其中用户能够在VR环境中经由他自己的身体而移动，可以在VR环境中看到他自己和/或他自己的各部分，以及可以通过触摸并且在真实世界中与简单的熟悉的日常真实对象一起玩来与VR环境交互的体验，这些真实对象与VR环境中的虚拟对象相对应。备选地，触觉MR体验是其中用户能够在MR环境中经由他自己的身体而移动，可以在MR环境中看到他自己和/或他自己的各部分，以及可以通过触摸并且在真实世界中与简单的熟悉的日常真实对象一起玩来与MR环境交互的体验，这些真实对象可以通过MR环境中的虚拟对象进行增强。为了本讨论的目的，物理的真实世界对象(“真实对象”)或物理的真实世界的人员(“真实人员”和/或“真实人物”)分别描述物理存在于物理真实世界场景(“真实场景”)中的对象或人员。基于真实对象的移动模式和/或用户和/或用户设备的移动，真实对象和/或真实人员可以移入和移出视野。虚拟的计算机生成的内容(“虚拟内容”)可以描述由一个或多个计算设备生成的内容以生成虚拟的计算机生成的环境(“虚拟环境”、“VR环境”或“MR环境”)。在至少一个示例中，虚拟内容可以包括一个或多个像素，每个像素具有共同呈现在显示器上的相应颜色或亮度，以便表示虚拟环境中的人物、对象等。虚拟内容可以经由本文中所描述的技术在VR设备或MR设备的显示器上渲染。在附加示例和/或备选示例中，虚拟内容可以包括计算机生成的内容，诸如声音、视频、全球定位系统(GPS)内容等。在一些示例中，如本文中所描述的，虚拟对象可以与真实对象相对应。也就是说，在一些示例中，单独的虚拟对象可以映射到单独的真实对象，并且可以移动、跟踪和/或响应于与单独的真实对象一致的交互。在这样的示例中，虚拟对象可以包括表示真实对象的几何结构和/或表面细节的虚拟元素。虚拟元素本身可能不包括图形内容。附加地和/或备选地，虚拟对象可以包括可以在虚拟元素的顶部上渲染的图形元素。图形元素可以包括一个或多个像素，每个像素具有共同呈现在显示器上的相应颜色或亮度，以便表示映射到真实对象并且移动/跟踪真实对象的对象等。图形元素可以取决于VR和/或MR应用。也就是说，在虚拟元素保持不变的同时，图形元素可以基于不同的VR和/或MR应用而改变。在至少一个示例中，本文中所描述的技术包括从传感器接收数据。如下文更详细描述的，数据可以包括跟踪与真实场景中的用户和真实对象的位置和方向相关联的数据，其中用户中的至少一个用户物理存在于该真实场景中。至少部分地基于接收数据，本文中所描述的技术可以包括确定物理存在于真实场景中的用户经由交互而与物理存在于真实场景中的真实对象进行交互。在一些示例中，真实对象可以与唯一标识符相关联。该技术还包括访问与真实对象相对应的虚拟元素。在一些示例中，虚拟元素可以与唯一标识符相关联。虚拟元素可以映射到真实对象，使得虚拟元素具有与真实对象相同的三维几何结构，并且虚拟元素表示真实对象的几何结构和/或表面细节。在一些示例中，一个或多个图形元素还可以与唯一标识符相关联。在至少一个示例中，与真实对象相对应的虚拟对象可以包括虚拟元素和一个或多个图形元素中的图形元素。图形元素可以依据与VR应用相关联的虚拟环境而改变。该技术可以包括经由VR设备的显示器将图形元素在虚拟环境的虚拟环境中渲染。本文中所描述的技术包括确定与真实对象的交互，并且使得在经由VR显示设备渲染的VR环境中执行与图形元素相关联的功能和交互。在其中多于一个用户在虚拟环境中交互的示例中，虚拟对象可以基于相应用户的观看视角(例如，真实场景内的VR设备的位置)而被呈现给单独的用户。为了说明的目的，具体实施方式描述了VR环境中的触觉交互的各种示例。然而，如上文所描述的，本文中所描述的技术还可以适用于MR环境。在MR环境中，与真实对象相对应的虚拟本文档来自技高网...

【技术保护点】
一种系统，包括：传感器；一个或多个处理器；存储器；以及一个或多个模块，其被存储在所述存储器中并且可由所述一个或多个处理器执行以执行操作，所述操作包括：从所述传感器接收第一数据；至少部分地基于所述第一数据来标识物理存在于真实场景中的真实对象，其中所述真实对象与唯一标识符相关联；访问与所述唯一标识符相对应的虚拟元素，所述虚拟元素表示所述真实对象的几何结构或表面细节中的至少一者；访问与所述唯一标识符相对应的图形元素，所述图形元素至少部分地基于虚拟现实应用而被确定；使得与所述虚拟元素相对应的虚拟对象和所述图形元素在虚拟现实场景中被渲染；从所述传感器接收第二数据；至少部分地基于所述第二数据来确定所述真实对象经由交互而进行相互作用；确定与所述图形元素和所述交互相关联的功能；以及使得所述功能在所述虚拟现实场景中被执行。

【技术特征摘要】
【国外来华专利技术】2015.09.09 US 62/216,248;2015.11.04 US 14/932,2821.一种系统，包括：传感器；一个或多个处理器；存储器；以及一个或多个模块，其被存储在所述存储器中并且可由所述一个或多个处理器执行以执行操作，所述操作包括：从所述传感器接收第一数据；至少部分地基于所述第一数据来标识物理存在于真实场景中的真实对象，其中所述真实对象与唯一标识符相关联；访问与所述唯一标识符相对应的虚拟元素，所述虚拟元素表示所述真实对象的几何结构或表面细节中的至少一者；访问与所述唯一标识符相对应的图形元素，所述图形元素至少部分地基于虚拟现实应用而被确定；使得与所述虚拟元素相对应的虚拟对象和所述图形元素在虚拟现实场景中被渲染；从所述传感器接收第二数据；至少部分地基于所述第二数据来确定所述真实对象经由交互而进行相互作用；确定与所述图形元素和所述交互相关联的功能；以及使得所述功能在所述虚拟现实场景中被执行。2.根据权利要求1所述的系统，其中对于不同的虚拟现实应用，所述图形元素是不同的。3.根据权利要求1或2所述的系统，其中对于不同的虚拟现实应用，所述功能是不同的。4.根据权利要求1至3中的任一项所述的系统，其中使得所述功能被执行包括：至少部分地基于所述交互，利用新的图形元素来替换所述图形元素。5.根据权利要求1至4中的任一项所述的系统，其中所述交互包括：摇动所述真实对象。6.根据权利要求1至5中的任一项所述的系统，其中所述交互包括：旋转所述真实对象。7.根据权利要求1至6中的任一项所述的系统，其中所述交互包括：轻敲所述真实对象。8.根据权利要求1至7中的任一项所述的系统，其中所述交互包括：将所述真实对象堆叠在一个或多个其他真实对象的顶部或底部上。9.根据权利要求1至8中的任一项所述的系统，其中所述交互包括：将所述真实对象放置在所述真实场景的地板上。10.根据权利要求1至9中的任...

【专利技术属性】
技术研发人员：L·沙皮拉，X·B·帕洛斯，J·A·费尔南德兹，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US