外围设备追踪系统和方法技术方案

一种被配置为追踪由用户操作的一个或多个外围设备的位置的系统。该系统包括：追踪单元，被配置为根据由与用户佩戴的HMD相关联的相机捕获的图像来确定一个或多个外围设备的位置；生成单元，被配置为响应于由追踪单元确定一个或多个外围设备在图像中不可见，生成在用户后面的归属点的阵列，归属点是根据对用户的运动的约束而定义的位置；估计单元，被配置为根据与每个外围设备相关联的一个或多个惯性测量单元的输出来估计不可见的外围设备的相应位置；以及选择单元，被配置为从归属点的阵列中为不可见的外围设备中的每一个选择归属点，其中追踪单元被配置为生成每个不可见的外围设备的位置，使得位置朝向所选择的归属点收敛。收敛。收敛。

【技术实现步骤摘要】
外围设备追踪系统和方法


[0001]本公开涉及外围设备追踪系统和方法。

技术介绍

[0002]本文提供的“
技术介绍
”描述是为了一般地呈现本公开的上下文。在本
技术介绍
部分描述的范围内，本专利技术人的工作以及在提交时可能不符合现有技术的描述方面，均未明确或暗示地被认为是本专利技术的现有技术。
[0003]近年来，对用于虚拟现实和增强或混合现实应用的头戴式显示设备(HMD)的需求已经增加。在一些情况下，这可以用于增强用户的周边环境以提高产生率(诸如提供具有与用户正在执行的任务相关的额外信息的覆盖图)，而在其他情况下，娱乐是通过提供游戏或视频内容(交互式的或其他的)的目标。该需求的增加部分地是由对显示技术的改进而驱动，并且部分地是由可用于生成浸入式内容的设备的处理能力的增加而驱动。
[0004]许多用户能够仅使用他们的手与此类设备交互，不同的手信号被绑定到不同的功能。除此之外，一个或多个姿势或口头命令可被用于增加功能。为了进一步增加用户与此类内容交互的能力，可以提供一个或多个控制设备以允许提供输入。在一些情况下，可以执行这些外围设备的运动追踪，以便为用户实现更自然的输入方法。该运动追踪可以是基于相机的，或者可以利用一个或多个惯性运动传感器，诸如加速度计或陀螺仪，以识别位置和/或取向的改变。
[0005]然而，此类追踪在某些条件下可能失败。例如，基于相机的追踪解决方案仅在外围设备的图像能够被捕获时才起作用，当被遮挡时，关于外围设备的位置的信息丢失，并且这可能导致与内容交互的能力的丢失或者甚至错误。由于通常与此类布置相关联的减小的追踪体积(即，其中可以执行外围设备的追踪的体积，例如，基于相机视场)，此类问题在由内向外追踪布置(与由外向内追踪布置相反)中可能尤其明显。
[0006]正是在以上讨论的上下文中提出了本公开。

技术实现思路

[0007]本公开由权利要求1限定。
[0008]本公开的另外的相应方面和特征在所附权利要求中限定。
[0009]应当理解，本专利技术的上述一般描述和以下详细描述都是示例性的，而不是限制性的。
附图说明
[0010]当结合附图考虑时，通过参考以下详细描述，将容易获得对本公开及其许多伴随优点的更完整理解，并且本公开及其许多伴随优点变得更好理解，其中：
[0011]图1示意性地图示了由用户佩戴的HMD；
[0012]图2是HMD的示意性平面图；
[0013]图3示意性地图示了HMD对虚拟图像的形成；
[0014]图4示意性地图示了用于HMD中的另一类型的显示器；
[0015]图5示意性地图示了一对立体图像；
[0016]图6示意性地图示了根据本公开的一个或多个实施例的追踪系统；
[0017]图7示意性地图示了用于追踪由用户操作的一个或多个外围设备的位置的方法；
[0018]图8示意性地图示了可操作用于追踪由用户操作的一个或多个外围设备的位置的系统；以及
[0019]图9示意性地图示了根据本公开的实施例的用于执行追踪处理的布置。
具体实施方式
[0020]现在参考附图描述本公开的实施例，其中在所有的几个视图中，相同的附图标记表示相同或相应的部件。
[0021]现在参考附图描述本公开的实施例，其中在所有的几个视图中，相同的附图标记表示相同或相应的部件。在图1中，用户10在用户的头部30上佩戴HMD 20(作为通用的头戴式装置的示例，其他示例包括音频耳机或可头戴式光源)。HMD包括框架40(在该示例中由后条带和顶部条带形成)和显示器部分50。如上所述，许多注视追踪布置可以被认为特别适合于在HMD系统中使用；然而，不应认为与此类HMD系统一起使用是必要的。
[0022]注意，图1的HMD可以包括将在下面结合其他附图描述的其他特征，但是为了该初始解释的清楚起见，这些特征未在图1中示出。
[0023]图1的HMD完全(或至少基本上完全)让用户不能看清周围环境。用户可以看到的是HMD内显示的图像对，如在许多实施例中由诸如游戏控制台之类的外部处理设备提供的。当然，在一些实施例中，图像可以可替代地(或另外)由处理器生成或从位于HMD自身处的存储器获得。
[0024]HMD具有配合到用户的左耳和右耳70中的相关联的头戴式耳机音频换能器或耳机60。耳机60重放从外部源提供的音频信号，该外部源可以与提供用于显示给用户眼睛的视频信号的视频信号源相同。
[0025]用户仅能够看到HMD所显示的内容，并且受到耳机和相关联的电子器件的噪声阻挡或主动消除特性的限制，仅能够听到耳机提供的内容，这一事实的组合意味着该HMD可以被认为是所谓的“沉浸式”HMD。然而，注意，在一些实施例中，HMD不是沉浸式HMD，并且可以为用户提供至少一些设施来查看和/或收听用户的周围环境。这可以通过在显示布置中提供一定程度的透明度或部分透明度，和/或通过经由HMD的显示器投影外部的视图(使用相机，例如，安装在HMD上的相机来捕获)，和/或通过允许环境声音传输经过耳机，和/或通过提供麦克风以根据环境声音生成输入声音信号(用于传输到耳机)。
[0026]在使用中，可以提供前置相机以捕获HMD前面的图像。在一些实施例中，此类图像可以用于头部追踪目的，同时它也可以适合于捕获图像以用于增强现实(AR)风格体验。天线124可以提供通信设施或者可以简单地被布置为定向天线以允许检测附近的蓝牙发射器的方向。
[0027]在操作中，提供视频信号以供HMD显示。这可以由诸如视频游戏机或数据处理装置(诸如个人计算机)之类的外部视频信号源80来提供，在该情况下，信号可以通过有线或无
线连接被传输到HMD。合适的无线连接的示例包括连接。耳机60的音频信号可以由同一连接承载。类似地，从HMD向视频(音频)信号源传递的任何控制信号可以由同一连接承载。此外，电源(包括一个或多个电池和/或可连接到主电源插座)可以通过线缆链接到HMD。注意，电源和视频信号源80可以是分离的单元，或者可以被实现为相同的物理单元。可以存在用于电力和视频(并且实际上用于音频)信号供应的单独的线缆，或者这些线缆可以被组合以用于在单个线缆上承载(例如，使用单独的导体，如在USB线缆中，或者以类似于“以太网供电”布置的方式，其中数据作为平衡信号并且电力作为直流在同一物理导线集合上被承载)。视频和/或音频信号可以由例如光纤线缆承载。在其他实施例中，与生成用于呈现给用户的图像和/或音频信号相关联的功能的至少一部分可以由形成HMD本身的一部分的电路和/或处理来执行。电源可以被提供为HMD自身的一部分。
[0028]本专利技术的一些实施例适用于具有至少一个线缆和/或光缆的HMD，该线缆和/或光缆将HMD链接到另一设备，诸如电源和/或视频(和/或音频)信号源。因此，本专利技术的实施例可以包括例如，：
[0029](a)HMD，其具有其自己的电源(作为HMD布置的一部分)但具有到视频和/或音频信号源的线缆连接；
[0030](b)HMD，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种被配置为追踪由用户操作的一个或多个外围设备的位置的系统，所述系统包括：追踪单元，被配置为根据由与所述用户佩戴的HMD相关联的相机捕获的图像来确定所述一个或多个外围设备的位置；生成单元，被配置为响应于由所述追踪单元确定所述一个或多个外围设备在所述图像中不可见，生成在所述用户后面的归属点的阵列，所述归属点是根据对所述用户的运动的约束而定义的位置；估计单元，被配置为根据与每个外围设备相关联的一个或多个惯性测量单元的输出来估计不可见的外围设备的相应位置；以及选择单元，被配置为从所述归属点的阵列中为所述不可见的外围设备中的每一个选择归属点，其中所述追踪单元被配置为生成每个不可见的外围设备的位置，使得所述位置朝向所选择的归属点收敛。2.根据权利要求1所述的系统，其中所述相机安装在所述HMD上。3.根据权利要求1所述的系统，其中所述相机的视场界定追踪体积，在所述追踪体积中，能够基于捕获的图像来追踪外围设备，并且其中所述生成单元被配置为响应于所述一个或多个外围设备离开所述追踪体积来生成所述归属点的阵列。4.根据权利要求3所述的系统，其中所述归属点的阵列是针对所述追踪体积之外的所述环境的体积生成的。5.根据权利要求1所述的系统，其中所述惯性测量单元包括加速度计、陀螺仪和/或磁力计中的一个或多个。6.根据权利要求1所述的系统，其中所述估计单元被配置为使用表示所述用户的身体模型来约束对所述外围设备位置的估计，所述身体模型包括与用户的范围和/或运动速度有关的信息。7.根据权利要求1所述的系统，其中所述一个或多个外围设备包括光学可识别的追踪特征。8.根据权利要求1所述的系统，其中所述选择单元被配置为选择距外围设备的所述估计的位置最近的归属点。9.根据权利要求1所述的系统，其中所述选择单元被配置为在预定时间间隔过去之后更新所述选择的归属点。10.根据权...

【专利技术属性】
技术研发人员：SW拉格霍巴达加尔，S皮尔格里姆，S塔特萨尔，J鲁比欧，
申请(专利权)人：索尼互动娱乐欧洲有限公司，
类型：发明
国别省市：