沉浸式虚拟显示制造技术

本公开涉及沉浸式虚拟显示。本发明专利技术公开了一种用于车辆的VR系统，所述VR系统可实施解决运动中车辆可能引起乘客晕动病的问题的方法。所述VR系统可提供将视觉提示与乘客经历的身体运动相匹配的虚拟视图。所述VR系统可通过将现实世界视图替换为虚拟环境视图来提供沉浸式VR体验。主动车辆系统和/或车辆控制系统可与所述VR系统集成以提供虚拟体验的物理效果。在确定所述乘客容易发生晕动病或正表现出晕动病迹象时，可改变所述虚拟环境以适应所述乘客。客。客。

Immersive virtual display

【技术实现步骤摘要】
沉浸式虚拟显示
[0001]本申请是申请日为2017年9月22日、申请号为201780057756.1、名称为“沉浸式虚拟显示”的专利技术专利申请的分案申请。

技术介绍

[0002]虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与现实世界图像或现实世界视图相结合，以增强或添加内容到用户的世界视图。

技术实现思路

[0003]本专利技术描述了用于为车辆中的乘客提供增强的虚拟现实(VR)和/或混合现实(MR)体验的方法和设备的各种实施方案。本专利技术描述了VR系统的实施方案，所述VR系统可实施VR方法以例如解决运动中车辆可能引起乘客晕动病的问题。VR系统的实施方案可向车辆中的乘客提供沉浸式VR体验，例如通过将现实世界视图替换为乘客可能期望的各种类型的虚拟体验和环境中的任何一种。可将车辆运动集成到虚拟体验中以帮助防止晕动病。在一些实施方案中，约束范围内的活动车辆系统和/或车辆控制系统可与VR系统集成以提供具有虚拟体验的物理效果，例如通过HVAC系统冲出风或热、通过音频系统产生环绕声和声音效果，以及通过座椅的加速度或运动效果。
[0004]除了减少晕动病之外，VR系统的实施方案还可为移动车辆中的乘客提供增强的沉浸式虚拟体验，这在常规的固定式VR系统中是不可实现的。将VR系统与运动中的车辆集成提供了增强使用固定模拟器或佩戴HMD坐在房间中时不能感受到的虚拟体验的机会。例如，虚拟体验中的加速度和运动可与车辆的加速度和运动相匹配或通过车辆的加速度和运动增强，因此不必像在固定模拟器中那样使用重力矢量来模拟。
[0005]在一些实施方案中，VR系统可包括生成投影给乘客的虚拟内容的至少一个VR控制器，以及至少一个VR投影或显示设备，诸如头戴式耳机、头盔、护目镜或眼镜(本文中称为头戴式显示器(HMD))，其包括投影仪机构，用于向乘客的眼睛投射或显示包括左图像和右图像的帧，从而向乘客提供3D虚拟视图。另选地，在一些实施方案中，VR系统可包括生成为乘客投影的虚拟内容的至少一个VR控制器，以及至少一个投影仪机构，用于将虚拟帧投影或显示到车辆的至少一个窗户，从而向乘客提供3D虚拟视图。在任一种情况下，3D虚拟视图可包括增强了虚拟内容(例如，虚拟对象、虚拟标签等)的乘客环境的视图(包括车辆外部的环境)，或者可提供可包括车辆外部环境的视觉提示的沉浸式VR环境。
[0006]VR系统的实施方案可集成来自多个源的输入，所述多个源包括但不限于车辆内部和外部传感器(例如，深度相机(例如，LiDAR)和视频相机)、车辆和HMD惯性测量单元(IMU)、车辆控制系统(诸如油门控制、制动、转向、导航和主动悬架系统)、世界地图，3D模型、视频、
音频和来自外部源(诸如基于云的存储或基于网络的应用程序)的其他信息；来自车辆AV系统和用户设备诸如笔记本电脑、平板电脑或智能电话的视频或音频输入，以生成用于通过HMD或其他VR投影系统输出的沉浸式虚拟内容。在一些实施方案中，VR系统还可向车辆控制系统(例如，在约束范围内控制制动、加速度、转向或悬架/运动)和车辆活动系统(例如，音频和HVAC系统，以及主动座椅)生成信号，以提供与投影的虚拟内容同步的物理效果，从而进一步增强乘客的体验。
[0007]在移动车辆中使用VR系统时，一些乘客可能比其他乘客更容易经历晕动病。在一些实施方案中，VR系统可调整VR环境和体验以适应不同乘客的偏好和倾向。例如，当与车辆的实际速度或加速度相比时，可减慢或加速指示经过乘客的视觉提示，以适应不同乘客的偏好和倾向。在一些实施方案中，VR系统可监控乘客是否有不适或晕动病的迹象。如果检测到晕动病的迹象，则VR系统可调整虚拟环境以减轻晕动病，例如通过减慢视觉提示，使得与实际车辆速度或加速度具有1:1的映射比率。除了调整乘客的映射比率以帮助防止晕动病之外，还可在VR体验中使用一种或多种其他视觉和听觉技术或提示(称为调节)，以增加使用车辆中的VR系统的乘客的舒适度并减轻其晕动病。
附图说明
[0008]图1示出了根据一些实施方案的虚拟现实(VR)系统，其包括可由车辆中的乘客使用的头戴式设备(HMD)。
[0009]图2示出了根据一些实施方案的VR系统，其将VR内容投影到车辆的窗户以供乘客观看。
[0010]图3示出了根据一些实施方案的投影VR内容，使得观看者看起来该VR内容在车辆前方的空间中。
[0011]图4示出了根据一些实施方案的投影VR内容，使得观看者看起来该VR内容在车辆的现实世界视图中的空间中。
[0012]图5示出了根据一些实施方案的投影VR内容，使得观看者看起来该VR内容在车辆的模拟视图中的空间中。
[0013]图6示出了根据一些实施方案的车辆中的VR系统。
[0014]图7是示出根据一些实施方案的车辆中的VR系统的部件的框图。
[0015]图8是示出根据一些实施方案的可在VR系统中使用以向乘客提供同步的物理效果的车辆中的活动系统的框图。
[0016]图9至图11示出了可由VR系统的实施方案提供的若干示例性VR体验，并且并非不旨在进行限制。
[0017]图12是根据一些实施方案的用于向车辆中的乘客提供VR体验的方法的高级流程图。
[0018]图13是根据一些实施方案的用于向车辆中的乘客提供环境的混合现实视图中的虚拟内容的方法的流程图。
[0019]图14是根据一些实施方案的用于向车辆中的乘客提供具有环境影响的沉浸式VR体验的方法的流程图。
[0020]图15至图17以图形方式示出了根据一些实施方案的可在VR体验中使用的视觉调
节。
[0021]图18示出了根据一些实施方案的使用车辆中的VR系统监控乘客的VR系统。
[0022]图19示出了根据一些实施方案的基于乘客偏好和乘客传感器数据来调整VR体验以适应乘客的VR应用程序。
[0023]图20是根据一些实施方案的用于基于乘客偏好和乘客传感器数据来调整VR体验以适应乘客的方法的流程图。
[0024]本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
[0025]“包括”。该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。
[0026]“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统，包括：车辆中的虚拟现实VR控制器，其中所述VR控制器被配置为：从车辆中的一个或多个源获得输入；从所述车辆中的乘客的用户设备获得显示屏内容；至少部分地基于来自所述车辆中的所述一个或多个源的输入，呈现包括来自所述用户设备的所述显示屏内容的虚拟内容；根据所述乘客的偏好数据，根据一个或多个视觉或音频调节改变所述虚拟内容以减轻所述乘客的晕动病；将所述虚拟内容发送至VR设备以在3D虚拟视图中显示给所述车辆中的乘客，其中来自所述用户设备的所述显示屏内容被呈现并显示，以使所述乘客看起来所述显示屏内容处于所述车辆前方的固定距离处。2.根据权利要求1所述的系统，其中所述VR设备包括：由所述乘客佩戴的头戴式设备HMD，所述头戴式设备显示所述虚拟内容以供所述乘客观看；或者投影仪，所述投影仪将所述虚拟内容投影到所述车辆的窗户以供所述乘客观看。3.根据权利要求1所述的系统，其中所述用户设备包括以下中的一个或多个：笔记本电脑、移动设备、智能电话或平板电脑，并且其中所述车辆包括自主车辆。4.根据权利要求1所述的系统，其中所述虚拟内容被显示在所述车辆前方的现实世界场景的视图中，以向所述乘客提供增强的或混合的现实视图。5.根据权利要求1所述的系统，其中包括所述显示屏内容的所述虚拟内容表示虚拟环境，所述虚拟环境将所述车辆前方的现实世界场景的视图替换为虚拟现实视图，其中所述虚拟现实视图包括向所述乘客指示所述车辆在所述虚拟环境中的运动的视觉提示。6.根据权利要求5所述的系统，其中所述VR控制器被进一步配置为：确定所述乘客容易发生晕动病或正表现出晕动病的迹象；以及在确定所述乘客容易发生晕动病或正表现出晕动病的迹象时，根据一个或多个调节改变所述虚拟环境以减轻晕动病。7.根据权利要求6所述的系统，其中所述VR控制器被配置为根据所述乘客的所述偏好数据或来自所述乘客的输入来确定所述乘客容易发生晕动病。8.根据权利要求6所述的系统，其中所述VR控制器被配置为根据从监控所述乘客的一个或多个传感器获得的乘客传感器数据来确定所述乘客正表现出晕动病的迹象。9.根据权利要求6所述的系统，其中所述一个或多个调节包括：在所述虚拟现实视图中显示所述乘客下方的地平面；减少指示所述车辆在所述虚拟环境中的运动的视觉提示的数量；减慢指示所述车辆在所述虚拟环境中的运动的所述视觉提示，使得所述虚拟环境中的运动与所述现实环境中的运动之间存在1:1的比率；提供即将进行的车辆操纵的视觉、听觉或触觉指示；减少所述虚拟现实视图中显示的所述虚拟内容，以提供稀疏的视觉环境；将相对于现实世界保持固定的锚固对象放置在所述虚拟环境中；在所述车辆停止时提供视觉刺激以抵消视觉运动后效；或者
提供阻止现实世界噪声的音频输出。10.根据权利要求1所述的系统，其中所述一个或多个源包括：一个或多个车辆传感器，其中来自所述车辆传感器的所述输入包括来自外部车辆传感器的深度图信息、所述车辆的定位信息、来自所述车辆上的一个或多个相机的视频或来自所述车辆的惯性测量单元IMU的所述车辆的运动和方向信息中的一个或多个；以及一个或多个车辆控制系统，其中所述一个或多个车辆控制系统包括油门控制系统、制动控制系统、主动悬架控制系统或转向控制系统中的一个或多个。11.根据权利要求1所述的系统，其中所述一个或多个源包括通过无线连接访问的所述车辆外部的源，其中来自所述外部源的输入包括世界地图数据、本地环境的3D模型、关于所述本地环境中的对象或特征物的信息、视频流或音频中的一个或多个。12.根据权利要求1所述的系统，其中所述一个或多个源包括所述VR设备的惯性测量单元IMU，其中来自所述IMU的输入包括所述乘客头部的运动和方向信息。13.根据权利要求1所述的系统，其中在呈现所述虚拟内容时，所述VR控制器基于来自所述车辆中的所述一个或多个源的所述输入来将所述虚拟内容的运动和加速度与所述车...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：苹果公司，
类型：发明
国别省市：