头戴式显示器用追踪系统技术方案

本发明专利技术公开了一种用于追踪头戴式显示器的位置并且生成附加虚拟现实场景数据的系统和方法，以便在用户与所述虚拟现实场景交互并且相对于所述虚拟现实场景移动时向所述用户提供无缝的虚拟现实体验。使用安装在所述HMD上或所述HMD中的相机或类似传感器来确定所述HMD的初始位置和姿态。当所述HMD移动到第二位置和姿态时，由所述相机或传感器捕获两个或更多个固定点的图像以便确定所述HMD的位置和姿态的差异。所述HMD的位置和姿态的所述差异用于预测所述虚拟现实场景中的对应移动，并且生成用于在所述HMD上呈现的对应附加虚拟现实场景数据。

Tracking system for head mounted display

The invention discloses a system and a method for tracking the head mounted display position and generate additional virtual scene data, so that the user and the virtual scene and interaction with respect to the virtual reality scene when moving to the user to provide a seamless virtual reality experience. A camera or a similar sensor installed on the HMD or the HMD is used to determine the initial position and attitude of the HMD. When the HMD moves to second position and posture, two or more fixed points of the image are captured by the camera or sensor, so as to determine the position and posture difference of the HMD. The difference between the position and the posture of the HMD is used to predict the corresponding movement in the virtual reality scene, and generate the corresponding additional virtual reality scene data on the HMD.

【技术实现步骤摘要】
【国外来华专利技术】头戴式显示器用追踪系统
本专利技术大体来说涉及虚拟环境，并且更具体来说，涉及用于在佩戴和使用头戴式显示器(HMD)的背景下与虚拟对象接合的方法和系统。
技术介绍
人机交互领域中快速发展的技术之一是各种头戴式显示器(HMD)，其可佩戴在用户头部并且在用户的一只或两只眼睛前方配有一个或两个显示器。这种类型的显示器具有涉及虚拟现实模拟的多种商业应用，包括视频游戏、医学、体育训练、娱乐应用等。在游戏领域中，举例来说，这些显示器可用于呈现三维(3D)虚拟游戏世界。尽管HMD领域已经有了很明显的改善，但技术仍然需要进一步改善以便实现物理现实与HMD中展示的虚拟环境中呈现的虚拟对象的真实用户交互。以下实施方案正是在这样的背景下产生。
技术实现思路
广义上说，本专利技术通过提供在用户与虚拟环境交互时动态地将HMD定位在用户周围的真实环境中的系统和方法来满足这些需求。应当理解，本专利技术可能以多种方式来实现，包括作为过程、设备、系统、计算机可读介质、或装置。以下描述本专利技术的若干专利技术性实施方案。一个实施方案提供了一种虚拟现实系统，其包括耦接到能够生成虚拟现实环境的计算装置的头戴式显示器，所述虚拟现实环境包括在HMD上呈现和显示的多个虚拟现实场景。计算装置可包括用于从用户输入装置或HMD接收输入的输入装置接口。输入装置接口处理用于选择供在HMD中显示的内容的指令。计算装置还可包括：虚拟现实空间生成模块，其用于以虚拟现实场景的形式在HMD中呈现选定的内容；以及HMD移动模块。HMD移动模块用于追踪HMD在真实空间中的移动并且用于识别HMD在真实空间中的第一位置和姿态，HMD移动模块向虚拟现实空间生成模块提供HMD位置和姿态变化数据，以用于呈现对应于HMD在真实空间中的第二位置和姿态的虚拟现实场景的附加内容。虚拟现实系统还可包括耦接到计算装置的真实空间映射系统。真实空间映射系统包括：用于将多个光点投射在真实空间的至少一部分上的光源、以及用于捕获光点图像的相机。相机可与HMD集成、或者附接到用户或诸如控制器的用户输入装置。HMD移动模块可使用来自由相机捕获的图像的固定点来确定HMD的第二位置和姿态。HMD移动模块能够分析由相机捕获的图像，以便识别真实空间中的多个固定点。在一个实现方式中，固定点可包括至少一部分光点。在另一个实现方式中，固定点可包括安置在真实空间中存在的一个或多个固定对象上的多个识别点中的至少一部分。提供HMD位置和姿态变化数据可包括：识别处于第一位置和姿态的HMD，选择至少两个固定点，确定选定的固定点与处于第一位置和姿态的HMD之间的第一相对距离，识别处于第二位置和姿态的HMD，确定选定的固定点与处于第二位置和姿态的HMD之间的第二相对距离，以及将第一相对距离与第二相对距离进行比较，以便确定HMD位置和姿态变化数据等于第一位置和姿态与第二位置和姿态之间的差异。虚拟现实空间生成模块可在呈现虚拟现实场景时，取决于HMD的走向的至少一个位置和姿态而连续地生成用于HMD的附加内容。分析由相机捕获的图像或多个图像，以便用于检测HMD在真实空间中的位置，其中HMD在真实空间中的位置转换为HMD在虚拟现实场景中的位置，其中HMD用于识别用户输入装置与虚拟现实场景中的虚拟对象之间的交互。光源可在真实空间中处于静止的固定位置；或者可替代地，光源可为可移动的，诸如附接到HMD或用户输入装置、或者在用户与HMD中显示的虚拟场景进行交互时可由用户以其他方式移动。光源可将光点投射在人类可见的光谱或非人类可见的光谱(诸如紫外线或红外线)中。另一个实施方案提供了追踪用于呈现虚拟现实场景的头戴式显示器(HMD)的方法，HMD包括用于呈现虚拟现实场景的显示屏。方法包括使用集成在HMD外表面上的至少一个装置来捕获图像数据，所述图像数据捕获HMD所处的真实空间。处理图像数据以便识别投射在真实空间中的表面上的至少两个光点。继续捕获和处理以便识别所捕获的图像数据中的至少两个光点的位置变化。位置变化识别HMD在真实空间中的位置和姿态变化。位置和姿态变化被配置来自动控制对HMD的显示屏上呈现的虚拟现实场景的呈现调整，所述调整包括虚拟现实场景的视图透视的变化以及虚拟现实场景的附加内容的呈现中的一个或两个。以HMD的追踪继续发生的帧速率继续执行图像数据的捕获。集成在HMD外表面上以用于捕获图像数据的至少一个装置可为红-绿-蓝(RGB)相机、红外(IR)相机、摄像机或位置感测装置(PSD)中的一个。至少一个装置可为相机，并且外表面可为HMD外壳或HMD带的一部分。也可在真实空间中的位置和姿态变化期间使用HMD中的惯性传感器的惯性数据，在HMD上生成的惯性数据用于提供在自动控制呈现调整时可使用的附加追踪变量。另一个实施方案包括头戴式显示器(HMD)。HMD包括外壳，其包括用于显示与虚拟现实场景相关联的图像的屏幕。感测装置集成在外壳的外表面上。还包括用于控制由感测装置捕获的图像数据的捕获的处理器。图像数据捕获HMD所处的真实空间，连同被检测以供发射器投射到真实空间表面上的至少两个光点、或真实空间中的至少两个固定点。处理器被配置来在真实空间中的HMD位置追踪期间将图像数据连续地传输到计算装置。处理器被配置来基于图像数据中的至少两个光点或至少两个固定点的位置变化，识别HMD的位置和姿态变化。基于所识别的位置和姿态变化，处理器还可接收要在屏幕上呈现的虚拟现实场景的内容。位置和姿态变化导致对虚拟现实场景的视图透视以及虚拟现实场景的附加内容的呈现中的一个或两个的自动调整。结合附图来阅读以下详细描述，本专利技术的其他方面和优点将变得显而易见，以下详细描述通过举例的方式来说明本专利技术的原理。附图说明通过以下详述并结合附图，可以容易地理解本专利技术。图1示出根据所公开实施方案的用于视频游戏的交互式游戏玩演的系统。图2示出根据所公开实施方案的HMD。图3示出使用客户端系统的游戏玩演的一个实施例，所述客户端系统能够将视频游戏内容呈现到用户的HMD。图4示出根据所公开实施方案的在使用期间佩戴HMD的用户。图5示出根据所公开实施方案的在从内到外跟踪过程中的使用期间佩戴HMD的用户。图6示出根据所公开实施方案的用户正在其中使用HMD的真实空间房间。图7A示出根据所公开实施方案的用户正在其中使用HMD的真实空间房间。图7B是根据所公开实施方案的处于两个不同位置的HMD、以及用于确定HMD位置的矢量的图。图8是根据所公开实施方案的用于追踪HMD的移动以及位置和姿态的系统的简化示意图。图9是根据所公开实施方案的内容源的简化示意图。图10是示出根据所公开实施方案的在追踪HMD的移动时执行的方法操作的流程图。图11是示出根据所公开实施方案的在追踪HMD的移动时执行的方法操作的更详细流程图。图12是示出根据所公开实施方案的头戴式显示器的实施例部件的图。图13示出信息服务提供商架构的实施方案。具体实施方式现在将描述用于在用户与虚拟环境交互时动态地将HMD定位在用户周围的真实环境中的若干示例性实施方案。本领域的技术人员将明白，在不具有本文提出的一些或全部特定细节的情况下也可实践本专利技术。一种用于在用户与虚拟环境交互时将多个对象定位在用户周围的真实环境中的方法是将多个光斑投射在用户周围的各个对象上。多个光斑可与用户周围的真实本文档来自技高网...

【技术保护点】
一种用于处理头戴式显示器(HMD)的位置内容的系统，其包括：计算装置，其与用户输入装置和所述HMD接合，所述计算装置包括：输入装置接口，其用于从用户输入装置或所述HMD接收输入，所述输入装置接口处理用于选择供在所述HMD中显示的内容的指令；虚拟现实空间生成模块，其用于以虚拟现实场景的形式在所述HMD中呈现选定的内容；以及HMD移动模块，其用于追踪所述HMD在真实空间中的移动并且用于识别所述HMD在所述真实空间中的第一位置和姿态，所述HMD移动模块向所述虚拟现实空间生成模块提供HMD位置和姿态变化数据，以用于呈现对应于所述HMD在所述真实空间中的第二位置和姿态的所述虚拟现实场景的附加内容；以及真实空间映射系统，其耦接到所述计算装置，所述真实空间映射系统包括：光源，其用于将多个光点投射在所述真实空间的至少一部分上；以及相机，其与所述HMD集成以用于捕获所述多个光点的图像；其中通过所述HMD移动模块使用来自由所述相机捕获的所述图像的所述多个点来确定所述第二位置和姿态。

【技术特征摘要】
【国外来华专利技术】2015.03.06 US 62/129,733;2015.05.29 US 14/726,3411.一种用于处理头戴式显示器(HMD)的位置内容的系统，其包括：计算装置，其与用户输入装置和所述HMD接合，所述计算装置包括：输入装置接口，其用于从用户输入装置或所述HMD接收输入，所述输入装置接口处理用于选择供在所述HMD中显示的内容的指令；虚拟现实空间生成模块，其用于以虚拟现实场景的形式在所述HMD中呈现选定的内容；以及HMD移动模块，其用于追踪所述HMD在真实空间中的移动并且用于识别所述HMD在所述真实空间中的第一位置和姿态，所述HMD移动模块向所述虚拟现实空间生成模块提供HMD位置和姿态变化数据，以用于呈现对应于所述HMD在所述真实空间中的第二位置和姿态的所述虚拟现实场景的附加内容；以及真实空间映射系统，其耦接到所述计算装置，所述真实空间映射系统包括：光源，其用于将多个光点投射在所述真实空间的至少一部分上；以及相机，其与所述HMD集成以用于捕获所述多个光点的图像；其中通过所述HMD移动模块使用来自由所述相机捕获的所述图像的所述多个点来确定所述第二位置和姿态。2.如权利要求1所述的系统，其中所述HMD移动模块能够分析由所述相机捕获的所述图像以便识别所述真实空间中的多个固定点。3.如权利要求2所述的系统，其中提供HMD位置和姿态变化数据包括：将所述HMD识别为所述第一位置和姿态；选择所述多个固定点中的至少两个；确定选定的固定点与处于所述第一位置和姿态的所述HMD之间的第一相对距离；将所述HMD识别为所述第二位置和姿态；确定所述选定的固定点与处于所述第二位置和姿态的所述HMD之间的第二相对距离；以及将所述第一相对距离与所述第二相对距离进行比较，以便确定所述HMD位置和姿态变化数据等于所述第一位置和姿态与所述第二位置和姿态之间的差异。4.如权利要求2所述的系统，其中所述虚拟现实空间生成模块被配置为在呈现所述虚拟现实场景时，取决于所述HMD的走向的至少一个位置和姿态而连续地生成用于所述HMD的附加内容。5.如权利要求2所述的系统，其中对由所述相机捕获的所述图像或多个图像的分析用于检测所述HMD在真实空间中的位置，其中所述HMD在真实空间中的所述位置转换为所述HMD在所述虚拟现实场景中的位置，其中所述HMD用于识别所述用户输入装置与所述虚拟现实场景中的虚拟对象之间的交互。6.如权利要求2所述的系统，其中所述多个固定点包括所述多个光点的至少一部分。7.如权利要求2所述的系统，其中所述多个固定点包括安置在所述真实空间中存在的一个或多个固定对象上的多个识别点中的至少一部分。8.如权利要求1所述的系统，其中从所述计算装置的本地存储装置或通过网络中的一个或两个来访问被选择以在所述HMD中显示的所述内容。9.如权利要求1所述的系统，其中所述光源将所述多个光点投射在所述真实空间的至少所述部分上作为校准操作的部分，其中所述多个光点的至少一个图像被保存为参考图像。10.如权利要求1所述的系统，其还包括，安置在所述HMD中的至少一个惯性传感器，...

【专利技术属性】
技术研发人员：J斯塔福德，D马林森，S奥斯曼，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本,JP