将物理对象移植到虚拟现实中制造技术

本文公开的内容涉及一种用于将物理空间中的物理对象移植到虚拟现实中的系统和方法。在一种途径中，该方法包括在物理空间中相对于输入设备的用户来检测输入设备。在一种途径中，该方法包括通过显示设备，向用户呈现检测到的输入设备的、在虚拟空间中处于一个位置和取向的虚拟模型。虚拟模型在虚拟空间中的位置和取向可以对应于输入设备在物理空间中相对于用户的位置和取向。在一种途径中，该方法包括通过显示设备，相对于虚拟空间中的虚拟模型可视地提供关于用户在物理空间中与输入设备的交互的空间反馈。的交互的空间反馈。的交互的空间反馈。

【技术实现步骤摘要】
【国外来华专利技术】将物理对象移植到虚拟现实中
专利

[0001]本专利技术总体上涉及虚拟现实，包括但不限于将物理空间中的对象移植(port)到虚拟现实中。
[0002]背景
[0003]诸如虚拟现实(VR)、增强现实(AR)或混合现实(MR)的人工现实为用户提供沉浸式体验。在一个示例中，可以检测佩戴头戴式显示器(HMD)的用户的移动，并且可以渲染对应于该移动的虚拟现实的图像。例如，佩戴HMD的用户可以将其头部转向一侧，并且对应于HMD的位置和HMD的取向的虚拟对象的图像可以显示在HMD上，以允许用户感觉到好像用户在虚拟现实的空间内移动一样。在一些实施方式中，用户可以例如通过专用手持式输入设备(例如用于控制所呈现的虚拟现实的定点设备)来提供输入。
[0004]概述
[0005]本文公开的各种实施例涉及向虚拟现实提供输入。在一些实施例中，相对于输入设备的用户来检测物理空间中的输入设备。在一些实施例中，由显示设备向用户呈现在虚拟空间中处于一定的位置和取向的、检测到的输入设备的虚拟模型。在一些实施例中，虚拟模型在虚拟空间中的位置和取向对应于输入设备在物理空间中相对于用户的位置和取向。在一些实施例中，通过显示设备，相对于虚拟空间中的虚拟模型可视地提供关于用户在物理空间中与输入设备的交互的空间反馈。
[0006]在一些实施例中，根据检测到的输入设备在物理空间中的位置和取向来确定虚拟模型在虚拟空间中的位置和取向。在一些实施例中，根据所确定的虚拟模型在虚拟空间中的位置和取向来渲染包括输入设备的虚拟模型的虚拟空间的图像。
[0007]在一些实施例中，检测用户在物理空间中的移动。在一些实施例中，根据检测到的用户的移动来确定虚拟模型相对于用户的位置和取向的变化。在一些实施例中，根据虚拟模型相对于用户的位置和取向的变化来渲染包括输入设备的虚拟模型的虚拟空间的另一图像。
[0008]在一些实施例中，根据检测到的输入设备的位置和取向来确定虚拟模型的六个自由度。
[0009]在一些实施例中，在物理空间中相对于用户检测输入设备包括捕获输入设备的图像，以及在捕获的图像中检测输入设备的轮廓或布局。
[0010]在一些实施例中，从多个候选模型中识别轮廓或布局与输入设备的轮廓或布局相匹配或最接近的候选模型。在一些实施例中，响应于候选模型的轮廓或布局与输入设备的轮廓或布局相匹配或最接近，将候选模型确定为虚拟模型。
[0011]在一些实施例中，在所捕获的图像中检测输入设备的轮廓或布局包括确定输入设备上的键的布置。
[0012]在一些实施例中，输入设备包括键盘。
[0013]本文公开的各种实施例涉及一种用于呈现人工现实的系统。在一些实施例中，该系统包括显示设备、处理器和非暂时性计算机可读介质。在一些实施例中，非暂时性计算机
可读介质存储指令，该指令当由处理器执行时使处理器：在物理空间中相对于输入设备的用户来检测输入设备，并由显示设备向用户呈现检测到的输入设备的、在虚拟空间中处于一个位置和取向的虚拟模型。在一些实施例中，虚拟模型在虚拟空间中的位置和取向对应于输入设备在物理空间中相对于用户的位置和取向。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器通过显示设备，相对于虚拟空间中的虚拟模型可视地提供关于用户在物理空间中与输入设备的交互的空间反馈。
[0014]在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器根据检测到的输入设备在物理空间中的位置和取向来确定虚拟模型在虚拟空间中的位置和取向。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器根据所确定的虚拟模型在虚拟空间中的位置和取向来渲染包括输入设备的虚拟模型的虚拟空间的图像。
[0015]在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器检测用户在物理空间中的移动。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器根据检测到的用户的移动来确定虚拟模型相对于用户的位置和取向的变化。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器根据虚拟模型相对于用户的位置和取向的变化来渲染包括输入设备的虚拟模型的虚拟空间的另一图像。
[0016]在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器根据检测到的输入设备的位置和取向来确定虚拟模型的六个自由度。
[0017]在一些实施例中，处理器被配置成通过捕获输入设备的图像和在捕获的图像中检测输入设备的轮廓或布局来在物理空间中相对于用户检测输入设备。
[0018]在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：从多个候选模型中识别轮廓或布局与输入设备的轮廓或布局相匹配或最接近的候选模型，并响应于候选模型的轮廓或布局与输入设备的轮廓或布局相匹配或最接近，将该候选模型确定为虚拟模型。
[0019]本文公开的各种实施例涉及一种头戴式显示器。在一些实施例中，头戴式显示器包括成像传感器、处理器和非暂时性计算机可读介质，该成像传感器被配置为捕获物理空间的图像。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：激活物理空间中的物理对象，以在穿透(pass
‑
through)模式期间生成物理对象的虚拟模型，并在虚拟现实模式期间渲染物理对象的虚拟模型。在一些实施例中，头戴式显示器包括显示设备，该显示设备被配置为在穿透模式期间向头戴式显示器的用户呈现物理空间的视图，并在虚拟现实模式期间向头戴式显示器的用户呈现虚拟空间的视图。在虚拟现实模式期间，显示设备可以不向头戴式显示器的用户呈现物理空间的视图，或者可以遮挡物理空间的视图以免对头戴式显示器的用户可见。物理对象可以是输入设备(例如，键盘或鼠标)。
[0020]在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：在穿透模式期间检测物理空间中的物理对象，并识别检测到的物理对象的虚拟模型，以在穿透模式期间激活物理空间中的物理对象。非暂时性计算机可读介质可以存储指令，该指令当由处理器执行时使处理器：根据所检测的物理对象在物理空间中的位置和
取向来确定虚拟模型在虚拟空间中的位置和取向，并根据所确定的虚拟模型在虚拟空间中的位置和取向来渲染物理对象的虚拟模型的第一图像。在一些实施例中，头戴式显示器还包括传感器，该传感器被配置成在虚拟现实模式期间检测或跟踪头戴式显示器的移动。在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：根据检测到的头戴式显示器的移动来确定虚拟模型的位置和取向的变化，并根据虚拟模型的位置和取向的变化来渲染物理对象的虚拟模型的第二图像。
[0021]在一些实施例中，非暂时性计算机可读介质存储指令，该指令当由处理器执行时使处理器：在穿透模式期间检测捕获的图像中的物理对象的键或按钮的布局，以在穿透模式期间检测物理空间中的物理本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在物理空间中相对于输入设备的用户来检测所述输入设备；通过显示设备，向所述用户呈现所检测到的输入设备的、在虚拟空间中处于一个位置和取向的虚拟模型，所述虚拟模型在所述虚拟空间中的位置和取向对应于所述输入设备在所述物理空间中相对于所述用户的位置和取向；和通过所述显示设备，相对于所述虚拟空间中的所述虚拟模型可视地提供关于所述用户在所述物理空间中与所述输入设备的交互的空间反馈。2.根据权利要求1所述的方法，还包括：根据所检测到的输入设备在所述物理空间中的位置和取向，确定所述虚拟模型在所述虚拟空间中的位置和取向；和根据所确定的所述虚拟模型在所述虚拟空间中的位置和取向，渲染包括所述输入设备的所述虚拟模型的所述虚拟空间的图像。3.根据权利要求2所述的方法，还包括：检测所述用户在所述物理空间中的移动；根据所检测到的所述用户的移动，确定所述虚拟模型相对于所述用户的位置和取向的变化；和根据所述虚拟模型相对于所述用户的位置和取向的所述变化，渲染包括所述输入设备的所述虚拟模型的所述虚拟空间的另一图像。4.根据权利要求2所述的方法，包括根据所检测到的输入设备的位置和取向确定所述虚拟模型的六个自由度。5.根据任一前述权利要求所述的方法，其中，在所述物理空间中相对于所述用户检测所述输入设备包括：捕获所述输入设备的图像，以及在所捕获的图像中检测所述输入设备的轮廓或布局。6.根据权利要求5所述的方法，还包括：从多个候选模型中识别具有的轮廓或布局与所述输入设备的轮廓或布局最接近的候选模型；和响应于所述候选模型具有的轮廓或布局与所述输入设备的轮廓或布局最接近，将所述候选模型确定为所述虚拟模型。7.根据权利要求5或权利要求6所述的方法，其中，在所捕获的图像中检测所述输入设备的轮廓或布局包括：确定所述输入设备上的键的布置。8.根据任一前述权利要求所述的方法，其中，所述输入设备包括键盘。9.一种系统，包括：显示设备；处理器；以及非暂时性计算机可读介质，所述非暂时性计算机可读介质存储指令，所述指令当由所述处理器执行时使所述处理器：在物理空间中相对于输入设备的用户来检测所述输入设备，
通过所述显示设备，向所述用户呈现所检测到的输入设备的、在虚拟空间中处于一个位置和取向的虚拟模型，所述虚拟模型在所述虚拟空间中的位置和取向对应于所述输入设备在所述物理空间中相对于所述用户的位置和取向，以及通过所述显示设备，相对于所述虚拟空间中的所述虚拟模型可视地提供关于所述用户在所述物理空间中与所述输入设备的交互的空间反馈。10.根据权利要求9所述的系统，其中，所述非暂时性计算机可读介质存储当由所述处理器执行时使所述处理器进行以下操作的指令：根据所检测到的输入设备在所述物理空间中的位置和取向，确定所述虚拟模型在所述虚拟空间中的位置和取向；和根据所确定的所述虚拟模型在所述虚拟空间中的位置和取向，渲染包括所述输入设备的所述虚拟模型的所述虚拟空间的图像；并且优选地，其中所述非暂时性计算机可读介质存储当由所述处理器执行时使所述处理器进行...

【专利技术属性】
技术研发人员：简，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：