头戴式显示器跟踪系统技术方案

头戴式显示器(HMD)被配置成捕获局部区域的图像和/或视频。HMD包括成像组件和控制器。成像组件包括多个相机，该多个相机定位在HMD上的不同位置处，并且被定向成捕获围绕HMD的局部区域的不同部分的图像。控制器使用图像信息生成用于每个相机的成像指令。成像指令使得对于所捕获的图像中的每一个，每个相机的曝光时间的相应中点在同一时间值出现。相机根据成像指令捕获局部区域的图像。控制器使用所捕获的图像来确定HMD在局部区域中的位置，并更新表示局部区域的深度和曝光设置的映射函数的模型。

Head mounted display tracking system

【技术实现步骤摘要】
【国外来华专利技术】头戴式显示器跟踪系统背景本公开总体上涉及头戴式显示器，并且具体涉及头戴式显示器跟踪系统。虚拟现实(VR)系统通常包括用于确定由用户佩戴的头戴式装置(headset)的位置和移动的外部设备。因此，这样的系统的操作被限制在包括外部设备的特定区域(例如，房间)。此外，这样的外部设备通常使用某种有源照明源(例如，结构光)来确定用户的位置，这增加了系统的复杂性和功率要求。概述一种头戴式显示器(HMD)被配置成捕获局部区域的图像和/或视频，该图像和/或视频的至少一部分是立体的。HMD包括成像组件和控制器。成像组件包括多个相机，该多个相机定位在HMD上的不同位置处，并且被定向成捕获围绕HMD的局部区域的不同部分的图像。多个相机各自具有与相邻相机重叠的视场。多个相机中的每个相机生成曝光设置，该曝光设置由控制器用来为每个相机生成成像指令。每个相机根据成像指令捕获局部区域的图像。控制器被配置为使用相应的曝光设置来为每个相机生成成像指令。成像指令使得对于所捕获的图像中的每一个，多个相机中的每一个相机的曝光时间的相应中点在同一时间值出现。控制器向成像组件提供成像指令，使得相机可以捕获局部区域的图像。控制器使用所捕获的图像来确定HMD在局部区域中的位置。附图简述图1示出了根据实施例的头戴式显示器(HMD)。图2A示出了根据一个实施例的HMD的前视图。图2B示出了根据一个实施例的HMD的侧视图。图3是示出根据一个实施例的HMD系统的实施例的框图。图4示出了根据一个实施例的HMD上的多个相机的视场。图5示出了根据一个实施例的用于同步HMD上的多个相机的图像捕获的方法。图6是示出根据一个实施例的确定HMD在局部区域内的位置的过程的流程图。附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到本文示出的结构和方法的替代实施例可以被采用而不偏离本文所述的本公开的原理或者所推崇的益处。详细描述本专利技术的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是在呈现给用户之前以某种方式被调整的现实的形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，现实世界)内容组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，其中任一个可以在单个通道中或在多个通道(例如为观看者产生三维效果的立体视频)中被呈现。此外，在一些实施例中，人工现实还可以与用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。可以在各种平台(包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台)上实现提供人工现实内容的人工现实系统。图1示出了根据实施例的头戴式显示器(HMD)100。HMD100可以是例如人工现实系统的一部分。HMD100包括前刚性主体105、带110和HMD控制器(未示出)。在图1的实施例中，HMD100包括成像组件，该成像组件包括定位在前刚性主体105上的相机115、相机120、相机125和相机130。前刚性主体105包括一个或更多个电子显示元件(未在图1中示出)、一个或更多个集成的眼睛跟踪系统(未在图1中示出)、惯性测量单元(IMU)135和一个或更多个位置传感器140。在图1所示的实施例中，位置传感器140位于IMU135内，并且IMU135和位置传感器140对于HMD100的用户都是不可见的。IMU135是一种基于从一个或更多个位置传感器140接收的测量信号来生成快速校准数据的电子设备。位置传感器140响应于HMD100的运动而生成一个或更多个测量信号。位置传感器140的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU135的误差校正的一种类型的传感器、或者其某种组合。位置传感器140可以位于IMU135的外部、IMU135的内部、或者这两个位置的某种组合。带110将HMD100固定到用户的头部，并将前刚性主体105定位在用户的脸部上。在图1的实施例中，带110通过缠绕在用户的头的后部周围而将HMD100固定到用户的头部。带110可以由耐用的织物组成，例如尼龙、聚酯、丙烯、某种其他类似的材料、或者其某种组合。在一些实施例中，带110可以具有弹性(例如，弹性尼龙)，这允许带110拉伸或贴合用户的头部。带110可以具有各种配置，这些配置可以为佩戴HMD100的用户提供额外的舒适性或稳定性。在一些实施例中，冷却风扇和/或电源可以沿着带110被附接。成像组件使用从围绕HMD100的局部区域捕获的图像和/或音频信息来生成图像信息。局部区域是围绕HMD100的环境。例如，局部区域可以是佩戴HMD100的用户在其内部的房间，或者用户可以在外部并且局部区域是对HMD100可见的外部区域。图像组件包括被定位成捕获局部区域的一部分的相机115、120、125、130。图像信息可以包括例如一个或更多个图像、音频信息(例如，由一个或更多个麦克风捕获的声音)、视频信息、元数据、或者其某种组合。图像信息可以包括局部区域中的一个或更多个对象的深度信息和/或由相机115、120、125、130检测到的光量。在图1的实施例中，成像组件包括相机115、120、125、130。相机115、120、125、130被配置成捕获局部区域的不同部分的图像和/或视频。每个相机115、120、125、130包括传感器(未示出)、透镜和相机控制器(未示出)。传感器是一种使用光敏像素(例如，互补金属氧化物、电荷耦合显示器等)的阵列来捕获光的电设备，其中每个像素将光转换成电子信号。传感器可以具有不同的特征，例如分辨率、像素大小和灵敏度、光灵敏度、快门类型和信号处理类型。透镜是相机中促成将光聚焦到传感器上的一个或更多个光学元件。透镜具有可以是固定的或可变的特征(例如，焦点和孔径)，可以具有变化的焦距，以及可以覆盖有光学涂层。在一些实施例中，相机115、120、125、130中的一个或更多个可以具有麦克风，以捕获音频信息。麦克风可以位于相机内部，也可以位于相机外部。每个相机115、120、125、130都具有视场，视场表示局部区域内由相机可观察到的区域。在图1的实施例中，每个相机115、120、125、130的视场的范围可以在50度至180度之间。范围在大约50度至120度的视场通常被称为宽视场，而大于120度的视场通常被称为鱼眼视场(fisheyefieldofview)。在图1的实施例中，每个相机115、120、125、130的透镜可以具有相同或不同度数的视场。例如，相机115、120、125、130可以具有范围在120度至180度之间的视场。在图1的实施例中，相机115、120、125、130中的每本文档来自技高网...

【技术保护点】
1.一种头戴式显示器(HMD)，包括：/n成像组件，其包括多个相机，所述多个相机定位在所述HMD上的不同位置处并且被定向为捕获围绕所述HMD的局部区域的不同部分的图像，所述多个相机各自具有与相邻相机重叠的视场，并且所述成像组件被配置为：/n生成所述多个相机中的每一个相机的曝光设置，以及/n根据成像指令来捕获所述局部区域的图像；/n控制器，其被配置为：/n使用所述曝光设置生成成像指令，所述成像指令使得对于所捕获的图像中的每一个，所述多个相机中的每一个相机的曝光时间的相应中点在同一时间值出现，/n向所述成像组件提供所述成像指令，以及/n使用所捕获的图像来确定所述HMD在所述局部区域中的位置。/n

【技术特征摘要】
【国外来华专利技术】20171009 US 15/728,3891.一种头戴式显示器(HMD)，包括：
成像组件，其包括多个相机，所述多个相机定位在所述HMD上的不同位置处并且被定向为捕获围绕所述HMD的局部区域的不同部分的图像，所述多个相机各自具有与相邻相机重叠的视场，并且所述成像组件被配置为：
生成所述多个相机中的每一个相机的曝光设置，以及
根据成像指令来捕获所述局部区域的图像；
控制器，其被配置为：
使用所述曝光设置生成成像指令，所述成像指令使得对于所捕获的图像中的每一个，所述多个相机中的每一个相机的曝光时间的相应中点在同一时间值出现，
向所述成像组件提供所述成像指令，以及
使用所捕获的图像来确定所述HMD在所述局部区域中的位置。


2.根据权利要求1所述的HMD，其中，所述成像组件包括四个相机，每个相机具有在120度至180度的范围内的视场。


3.根据权利要求2所述的HMD，其中，第一相机和第二相机具有基本平行的定向，使得所述第一相机和所述第二相机的视场提供所述局部区域的一部分的立体成像。


4.根据权利要求3所述的HMD，其中，所述第一相机和所述第二相机位于所述HMD的底部部分上，使得所述第一相机和所述第二相机的视场捕获在静止位置的佩戴所述HMD的用户。


5.根据权利要求3所述的HMD，其中，第三相机和第四相机具有不同的定向，使得所述第三相机和所述第四相机的视场的仅一部分重叠。


6.根据权利要求1所述的HMD，其中，所述成像指令包括针对所述多个相机中的每一个相机的编程化的时间延迟，所述时间延迟是在参考时间点和所述相机的曝光的开始之间的一段时间，并且所述参考时间点由所述HMD检测到的同步脉冲控制。


7.根据权利要求6所述的HMD，其中，所述同步脉冲是由外围设备发射的光脉冲。


8.根据权利要求1所述的HMD，其中，所述多个相机中的每一个相机的曝光设置随所述HMD在所述局部区域内的位置的改变而改变，并且其中所述控制器基于改变的曝光设置生成更新的成像指令。


9.根据权利要求1所述的HMD，其中，所述控制器使用所述多个相机中的每一个相机的曝光设置和来自所捕获的图像的深度信息来更新模型，其中，所述模型表示所述局部区域的映射函数。


10.根据权利要求9所述的HMD，其中，使用所述模型和来自所述HMD内的惯性测量单元的信息，所述控制器还被配置成：
使用来自所述惯性测量单元的信息来预测所述HMD在所述局部区域内的未来位置；以及
基于所预测的未来位置和所述模型来确定所述多个相机中的每一个相机的曝光设置。


11.根据权利要求1所述的HMD，其中，所述控制器被配置成：
识别所述局部区域中的高优先级的区域和所述局部区域中的低优先级的区域，所述高优先级的区域和所述低优先级的区域都在所述多个相机中的相机的视场中，其中，所述高优先级区域与第一曝光值相关联，并且所述低优先级区域与不同的曝光值相关联；以及
为所述高优先级区域确定所述相机的曝光设置，使得所述曝光设置针对所述第一曝光值而曝光。


12.根据权利要求1所述的HMD，其中，所述控制器还被配置成：
确定所述多个相机中的每一个相机的曝光长度的中点；
使每个相机的所确定的中点以同一时间点为中心；以及
确定每个相机的时间延迟，其中，所述时间延迟是在参考时间点和所述相机的曝光长度的开始之间的一段时间，导致每个相机开...

【专利技术属性】
技术研发人员：奥斯卡·林德，安德鲁·梅林，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US