The invention discloses a head-mounted display system together with related technologies for performing accurate and automatic internal and external position tracking, user body tracking and environmental tracking for virtual or mixed reality. The system uses computer vision and data fusion from multiple sensors to achieve real-time tracking. High frame rate and low latency are achieved by performing part of the processing on the HMD itself.
【技术实现步骤摘要】
【国外来华专利技术】具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器相关专利申请的交叉引用本专利申请要求于2016年2月18日提交的美国临时专利申请No.62/296,829的权益,该专利申请以引用方式并入本文。
本专利技术涉及用于使用户沉浸在虚拟现实(VR)或增强/混合现实(MR)环境中的应用的头戴式显示器(HMD)的领域。
技术介绍
沉浸在虚拟世界中的目标是说服用户的思想以感知非物理世界,好像非物理世界是真实的那样。这里现实的概念更多地是指感知似真性的概念,而不是表示真实世界。在虚拟现实(VR)中,通过显示用于模拟真实或想象世界的视觉体验的计算机生成的图形来实现沉浸。沉浸的质量受限于若干个重要因素。例如,显示器的特性,诸如图像质量、帧率、像素分辨率、高动态范围(HDR)、持久性和纱窗效应(即,屏幕上的像素之间的可见线)。当所显示的视场太窄或如果各种跟踪功能太慢和/或不准确(导致定向障碍和恶心;以其他方式被称为模拟疾病)时,沉浸体验的质量降低。也由相机系统性能诸如图像质量(噪声、动态范围、分辨率、不存在伪像)以及虚拟图形(3D建模、纹理和照明)与直通 ...
【技术保护点】
1.一种用于使用户沉浸在虚拟现实(VR)或增强/混合现实(MR)环境中的应用的头戴式显示器(HMD)设备,包括:一对RGB相机传感器和具有红外(IR)截止滤波器的相关联的透镜;一对黑白相机传感器,所述一对黑白相机传感器具有近红外(NIR)带通滤波器和相关联的透镜;惯性测量单元(IMU);飞行时间(ToF)相机传感器,所述飞行时间(ToF)相机传感器具有相关联的IR发射器;斑纹图案投影仪;显示器;和至少一个处理单元,所述至少一个处理单元经由至少一个通信链路而被操作地连接到所述一对RGB相机传感器、所述一对黑白相机传感器、所述IMU、所述ToF相机传感器和相关联的IR发射器、斑 ...
【技术特征摘要】
【国外来华专利技术】2016.02.18 US 62/296,8291.一种用于使用户沉浸在虚拟现实(VR)或增强/混合现实(MR)环境中的应用的头戴式显示器(HMD)设备,包括:一对RGB相机传感器和具有红外(IR)截止滤波器的相关联的透镜;一对黑白相机传感器,所述一对黑白相机传感器具有近红外(NIR)带通滤波器和相关联的透镜;惯性测量单元(IMU);飞行时间(ToF)相机传感器,所述飞行时间(ToF)相机传感器具有相关联的IR发射器;斑纹图案投影仪;显示器;和至少一个处理单元,所述至少一个处理单元经由至少一个通信链路而被操作地连接到所述一对RGB相机传感器、所述一对黑白相机传感器、所述IMU、所述ToF相机传感器和相关联的IR发射器、斑纹投影仪和显示器,所述至少一个处理单元使用来自所述一对RGB相机传感器、所述一对黑白相机传感器、所述IMU和所述ToF相机传感器的数据流来生成图形内容,并且通过所述显示器来显示所述图形内容。2.根据权利要求1所述的HMD设备,其中所述一对黑白相机传感器被放置在大于人眼间隔的基线上,以增加通过对立体匹配进行三角测量来执行的环境中的深度估计的精度。3.根据权利要求1或2中任一项所述的HMD设备,其中所述一对黑白相机传感器和所述一对RGB相机传感器沿公共轴线定位。4.根据权利要求1所述的HMD设备,其中所述一对RGB相机传感器和所述一对黑白相机传感器被组合成具有相关联的透镜的一对RGB/IR相机,所述一对RGB/IR相机使用具有R-G-IR-B图案而不是标准R-G-G-B图案的拜耳格式。5.根据权利要求4所述的HMD设备,还包括IR泛光灯,并且其中所述斑纹图案投影仪和所述IR泛光灯以交错方式选通。6.根据权利要求1至5中任一项所述的HMD设备,其中所述IMU为由陀螺仪、加速度计和磁力仪组成的9自由度IMU。7.根据权利要求1至6中任一项所述的HMD设备,还包括用于提高在低光条件下的位置跟踪的多个LED泛光灯。8.根据权利要求1至7中任一项所述的HMD设备,其中所述至少一个通信链路可为有线的、无线的或两者的组合。9.根据权利要求1至8中任一项所述的V,其中来自所述一对RGB相机传感器、所述一对黑白相机传感器、所述IMU和所述ToF相机传感器的所述数据流被压缩。10.根据权利要求1至9中任一项所述的HMD设备,其中所述至少一个处理单元由远程计算机提供。11.根据权利要求1至9中任一项所述的HMD设备,其中所述至少一个处理单元包括至少两个处理单元,所述至少两个处理单元中的第一处理单元由所述HMD提供,并且所述至少两个处理单元中的第二处理单元由远程计算机提供。12.根据权利要求1至11中任一项所述的HMD设备,其中所述斑纹投影仪生成穿过表面漫射器的激光束的干涉图案。13.根据权利要求1至11中任一项所述的HMD设备,其中所述斑纹投影仪通过穿过至少一个衍射光学元件的激光束的远场衍射来生成斑纹图案。14.根据权利要求1至13中任一项所述的HMD设备,其中所述至少一个处理单元具有相关联的存储器,所述相关联的存储器包括存储在其上的指令,所述指令当在所述至少一个处理单元上被执行时执行以下步骤:从所述一对RGB相机传感器获取直通立体视图图像;从所述一对黑白相机传感器获取立体图像;获取密集深度图;从所述IMU获取惯性测量;使用所述直通立体视图图像、所述立体图像、所述密集深度图和所述惯性测量来执行嵌入式跟踪;对所述直通立体视图图像和所述立体图像执行图像处理;基于位置跟踪来生成呈现图形;对所述呈现图形执行图形图像处理;将经处理的图像和经处理的呈现图形混合,从而产生所述图形内容;以及将所述图形内容提供给所述显示器。15.根据权利要求14所述的HMD设备,其中所述图像处理包括以下项中的至少一者:触发控制、拜耳解码、自动白平衡、缺陷像素替换、平场校正、降噪、边缘增强、失真校正和像差校正。16.根据权利要求14所述的HMD设备,其中基于光线离开所述相关联的IR发射器并且反射回到所述ToF相机传感器上所花费的时间来从所述ToF相机传感器获取所述密集深度图。17.根据权利要求14所述的HMD设备,其中从捕获由所述斑纹投影仪投影的斑纹图案的反射的所述一对黑白相机传感器来获取所述密集深度图。18.根据权利要求14所述的HMD设备,其中执行嵌入式跟踪的所述步骤包括执行位置跟踪和用户身体跟踪。19.根据权利要求18所述的HMD设备,其中执行嵌入式跟踪的所述步骤还包括执行环境跟踪。20.根据权利要求18或19中任一项所述的HMD,其中执行位置跟踪的所述步骤包括:检测所述直通立体视图图像和所述立体图像中的旋转和缩放不变的2D图像特征;使用体视匹配来估计每个检测的特征的深度,从而产生3D点的云;以及实时跟踪所述3D点的云,以推断头部位置变化。21.根据权利要求20所述的HMD,其中执行位置跟踪的所述步骤还包括当所述直通立体视图图像和所述立体图像没有提供足够的信息时,使用所述惯性测量来暂时计算位置变化。22.根据权利要求18至21中任一项所述的HMD,其中执行用户身体跟踪的所述步骤包括:在所述密集深度图上执行身体分割;从所述密集深度图和所述身体分割提取身体网格;提取所述身体网格的骨骼模型;以及通过跟踪所述用户的身体运动并且将所述用户的身体运动和所述骨骼模型与姿态模型进行匹配来识别预定义的姿态。23.根据权利要求19至22中任一项所述的HMD,其中执行环境跟踪的所述步骤包括:使用所述直通立体视图图像、所述立体图像和所述位置跟踪来生成运动模型;检测关键点;使用稳健特征描述符来提取所述关键点局部的特征;以及通过将所述密集深度图与所提取的特征融合在一起来估计表面描述符。2...
【专利技术属性】
技术研发人员:S·弗丁德施尼斯,V·查普德莱恩库图尔,Y·科特,A·甘努姆,
申请(专利权)人:苹果公司,
类型:发明
国别省市:美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。