用于在移动平台上提供沉浸式扩展现实体验的系统和方法技术方案

提供了用于移动平台上的沉浸式扩展现实体验的系统、方法和计算机可读介质。在一些示例中，一种方法可以包括：从移动平台上的一个或多个传感器和/或与移动平台中的用户相关联的设备获得传感器测量，传感器测量包括与移动平台和用户相关联的运动参数；识别移动平台的特征和移动平台外部的环境的特征；使用传感器测量来跟踪移动平台相对于移动平台外部的环境的第一姿势；使用传感器测量来跟踪用户相对于移动平台的特征中的至少一个特征的第二姿势；以及基于第一姿势和第二姿势来跟踪用户相对于移动平台外部的环境的特征中的至少一个特征的第三姿势。特征的第三姿势。特征的第三姿势。

【技术实现步骤摘要】
【国外来华专利技术】用于在移动平台上提供沉浸式扩展现实体验的系统和方法
[0001]依据35U.S.C.
§
119要求优先权
[0002]本专利申请要求享受于2019年2月25日递交的名称为“SYSTEMS AND METHODS FOR PROVIDING IMMERSIVE EXTENDED REALITY EXPERIENCES ON MOVING PLATFORMS”的非临时申请No.16/284,766的优先权，上述申请被转让给本申请的受让人并且通过引用的方式明确地地并入本文中。


[0003]概括地说，本公开内容涉及用于在移动平台上提供扩展现实体验的技术和系统。

技术介绍

[0004]扩展现实技术可以将来自物理世界的真实环境与虚拟环境或内容组合，以向用户提供扩展现实体验。扩展现实体验允许用户与利用虚拟内容增强(enhance)或增强(augment)的真实或物理环境进行交互，反之亦然。最近，扩展现实技术已被实现以在广泛的环境(诸如医疗保健、零售、教育、社交媒体、娱乐等)中以增强用户体验。
[0005]术语扩展现实(XR)可以包括增强现实(AR)、虚拟现实(VR)、混合现实(MR)等。这些XR形式中的每一种都允许用户体验沉浸式虚拟环境或内容或与之交互。为了提供真实的XR体验，XR技术通常旨在将虚拟内容与物理世界集成。这通常涉及生成真实世界环境的地图，并且计算相对于真实世界环境的地图的特定视点或姿势，以便以令人信服的方式将虚拟内容锚定到真实世界环境。视点或姿势信息可以用于将虚拟内容与用户感知的运动和真实世界环境的时空状态进行匹配。

技术实现思路

[0006]在一些示例中，描述了用于在移动平台上提供沉浸式扩展现实体验的系统、方法和计算机可读介质。扩展现实(XR)技术可以将真实或物理环境与虚拟环境(和/或虚拟内容)组合，以向用户提供扩展现实体验(例如，虚拟现实、增强现实、混合现实等)。在用户位于相对于外部环境或场景移动的移动平台(例如，车辆、电梯、火车、传送带、船舶、飞机、船只、滑板、自行车、踏板车、交通工具等)内的用例中，本文中的技术可以提供与移动平台中用户的感知运动(例如，由于惯性力)相匹配的虚拟内容。虚拟内容可以以考虑用户、移动平台和外部场景的相对运动的方式锚定在移动平台(和/或移动平台的移动地图)或外部场景(和/或外部场景的全局地图)内。为了将虚拟内容与用户的感知运动相匹配，可以针对移动平台、用户和/或外部场景跟踪诸如运动和姿势之类的特征。
[0007]然而，由于在移动平台内使用特征以及在移动平台之外可见的特征，移动平台中的特征跟踪可能导致漂移或伪影。例如，当锚定在相对于通过移动车辆的车窗可见的道路标志的对象上时，用户在车辆内的运动(例如，其可能由头部运动、姿势变化等引起)以及基于车辆的轨迹的其它特征的相对运动(例如，汽车的全局运动)可能在XR体验中产生不一致的结果(和错误)。这在移动平台高速移动的场景中尤其令人沮丧，这可能导致越来越不一
致或偏离的XR体验。
[0008]为了将虚拟内容与用户的感知运动精确匹配并且限制或消除XR体验中的任何错误和不一致，本文中的技术可以跟踪移动平台内用户的姿势(例如，相对于移动平台和/或外部场景)(其可以由移动地图或局部运动地图表示)以及移动平台相对于外部场景的姿势(其可以由全局或世界地图表示)。可以在不考虑内部移动平台特征的情况下对用户相对于全局地图的姿势进行变换，以改善外部和内部XR体验。用于显示和/或渲染虚拟内容的合成或渲染引擎可以在用于用户的姿势的独立时钟查询上执行，以实现更高的精度。
[0009]为了跟踪移动平台内的特征(例如，姿势、运动动力学、环境特征、对象、视图特性等)和移动平台外的特征(例如，与外部场景相关的特征)，本文中的技术可以实现各种传感器和设备(诸如惯性测量单元(IMU)、图像传感器或相机传感器、LIDAR、雷达、全球定位系统(GPS)设备等)，以收集特征测量。传感器可以在移动平台、可穿戴模块(诸如HMD(头戴式显示器))和/或移动平台中的不可穿戴模块上实现。可以使用IMU来跟踪局部运动(例如，用户姿势)，IMU可以计算高速率姿势信息(例如，以1khz的频率)。例如，可以经由具有一个或多个传感器(例如，IMU、相机等)的HMD(头戴式显示器)或不可穿戴模块(例如，安装在移动平台(诸如车辆的车厢)内的无源/有源深度传感系统)来跟踪局部运动。对于HMD解决方案，可以通过用户佩戴的HMD提供XR体验，并且合成引擎可以对用户相对于全局地图的姿势进行转换，全局地图可以是基于环境分类器被触发。
[0010]可以实现一个或多个传感器(例如，IMU、图像传感器、雷达、光发射器(例如，激光器)等)，以测量相对于外部场景(例如，全局地图)的运动。一个或多个传感器可以测量相对于惯性参考系(例如，全局地图)的加速度。由于依赖所测量的相对于惯性参考系的加速度而同时不考虑移动平台的加速度(例如，加速参考系，在这种情况下对应于移动地图)，可能导致错误和不一致，因此本文中的技术可以在移动平台上实现一个或多个额外传感器(例如，IMU、图像传感器等)，以测量移动平台(例如，加速参考系或移动地图)相对于全局地图(例如，惯性参考系)的加速度。可以将来自测量相对于惯性参考系(例如，全局地图)的加速度的一个或多个传感器和测量移动平台(例如，加速参考系或移动地图)相对于全局地图(例如，惯性参考系)加速度的一个或多个额外传感器的数据组合以估计用户的姿势。由于一些传感器可能随时间漂移，因此可以实现图像传感器来捕获用于提供反馈的图像数据。图像传感器反馈可以用于调整系统中的传感器偏差以及校正漂移。
[0011]为了估计和跟踪姿势信息，可以实现跟踪滤波器或模型，诸如卡尔曼滤波器或扩展卡尔曼滤波器(EKF)。跟踪滤波器或模型可以使用来自传感器中的一个或多个传感器的测量来生成一个或多个目标的状态估计和误差协方差(例如，轨迹)。例如，跟踪滤波器可以估计局部环境(例如，移动平台)、全局环境(例如，外部场景或环境)和/或用户的相对速度、位置等。
[0012]根据至少一个示例，提供了一种用于移动平台上的沉浸式扩展现实体验的方法。所述方法可以包括：从移动平台上的一个或多个传感器和/或与所述移动平台中的用户相关联的设备获得传感器测量。所述传感器测量可以包括与所述移动平台和所述移动平台中的所述用户相关联的运动参数。所述方法还可以包括：识别所述移动平台的特征和所述移动平台外部的环境的特征；使用所述传感器测量来跟踪所述移动平台相对于所述移动平台外部的所述环境的第一姿势；使用所述传感器测量来跟踪所述用户相对于所述移动平台的
特征中的至少一个特征的第二姿势；以及基于所述第一姿势和所述第二姿势来跟踪所述用户相对于所述移动平台外部的所述环境的特征中的至少一个特征的第三姿势。
[0013]在另一示例中，提供了一种用于移动平台上的沉浸式扩展现实体验的装置。所述装置可以包括存储器和耦合到所述存储器的处理器，所述处理器被配置为：从移动平台上的一个或多个传感器和/或与本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：从移动平台中的至少一个移动平台上的一个或多个传感器和与所述移动平台中的用户相关联的设备获得传感器测量，所述传感器测量包括与所述移动平台和所述移动平台中的所述用户相关联的运动参数；识别所述移动平台的特征和所述移动平台外部的环境的特征；使用所述传感器测量来跟踪所述移动平台相对于所述移动平台外部的所述环境的第一姿势；使用所述传感器测量来跟踪所述用户相对于所述移动平台的特征中的至少一个特征的第二姿势；以及基于所述第一姿势和所述第二姿势来跟踪所述用户相对于所述移动平台外部的所述环境的特征中的至少一个特征的第三姿势。2.根据权利要求1所述的方法，还包括：使用环境分类器和由所述一个或多个传感器中的至少一个传感器捕获的图像数据检测所述用户已经进入不同的移动平台；识别与所述不同的移动平台相关联的额外特征；以及跟踪所述用户相对于与所述不同的移动平台相关联的额外特征的额外姿势。3.根据权利要求2所述的方法，其中，检测所述用户已经进入所述不同的移动平台包括：接收与所述用户相关联的当前环境的图像；使用图像分割算法来将所述图像分割为多个图像段；以及基于所述多个图像段来识别所述图像中的与所述不同的移动平台的地图相对应的一个或多个区域，所述不同的移动平台与所述当前环境相关联。4.根据权利要求3所述的方法，其中，识别所述图像中的与所述不同的移动平台的所述地图相对应的一个或多个区域包括：将与所述不同的移动平台相关联的所述额外特征与所述不同的移动平台的所述地图中的一个或多个点相匹配。5.根据权利要求1所述的方法，还包括：基于所述传感器测量与针对所述移动平台计算的几何约束之间的不一致性来检测所述用户已经离开所述移动平台，所述几何约束是通过跟踪所述移动平台的地图中的点子集来计算的。6.根据权利要求1所述的方法，还包括：确定所述传感器测量是否适合与两个或更多个移动平台相关联的两个或更多个地图；当所述传感器测量适合与所述两个或更多个移动平台相关联的所述两个或更多个地图时，确定所述移动平台外部的所述环境的全局地图包括与所述两个或更多个移动平台相关联的所述两个或更多个地图；以及在所述全局地图上存储关于所述全局地图包括与所述两个或更多个移动平台相关联的所述两个或更多个地图的指示。7.根据权利要求1所述的方法，还包括：将虚拟内容锚定到所述移动平台的第一地图和所述移动平台外部的所述环境的第二地图中的至少一项中的一个或多个特征；以及
在所述移动平台和所述移动平台外部的所述环境中的至少一项中的一个或多个区域上显示虚拟内容，其中，所述一个或多个区域对应于所述移动平台的所述第一地图和所述移动平台外部的所述环境的所述第二地图中的至少一项中的一个或多个特征。8.根据权利要求7所述的方法，还包括：从所述一个或多个传感器获得额外传感器测量，所述额外传感器测量包括以下各项中的至少一项：与所述移动平台相关联的相对速度、所述移动平台的相对加速度、所述移动平台的轨迹和所述移动平台的高度；以及基于以下各项中的至少一项来适配所述虚拟内容的显示位置和所述虚拟内容的显示配置中的至少一项：与所述移动平台相关联的所述相对速度、所述移动平台的所述相对加速度、所述移动平台的所述轨迹和所述移动平台的所述高度。9.根据权利要求7所述的方法，还包括：在所述移动平台和所述移动平台外部的所述环境中的至少一项中的所述一个或多个区域的虚拟表示内显示所述虚拟内容，其中，所述虚拟内容包括以下各项中的至少一项：音频、虚拟图像、虚拟视频、数字内容、一个或多个虚拟游戏、交互式虚拟内容、虚拟内容覆盖、虚拟场景、虚拟模拟、虚拟对象和虚拟网页。10.根据权利要求1所述的方法，还包括：基于由安装在与所述用户相关联的可穿戴设备上的第一传感器和安装在所述移动平台上的第二传感器中的至少一者捕获的图像数据，来跟踪安装在所述可穿戴设备上的所述第一传感器与安装在所述移动平台上的所述第二传感器之间的漂移，所述第一传感器被配置为检测与所述可穿戴设备相关联的特征，并且所述第二传感器被配置为检测与所述移动平台和所述移动平台外部的所述环境相关联的特征，所述特征包括运动参数和场景属性中的至少一项；以及基于所述漂移来调整与所述一个或多个传感器中的至少一个传感器相关联的一个或多个传感器偏差，所述一个或多个传感器包括安装在所述可穿戴设备上的所述第一传感器和安装在所述移动平台上的所述第二传感器。11.根据权利要求1所述的方法，其中，至少一个传感器安装在与所述用户相关联的可穿戴设备上，并且至少一个额外传感器安装在所述移动平台上，所述至少一个传感器被配置为检测与所述可穿戴设备相关联的一个或多个特征，并且所述至少一个额外传感器可以被配置为检测与所述移动平台和所述移动平台外部的所述环境相关联的一个或多个特征，所述一个或多个特征包括运动参数和场景属性中的至少一项。12.根据权利要求1所述的方法，其中，跟踪所述移动平台相对于所述移动平台外部的所述环境的所述第一姿势包括：跟踪所述移动平台相对于所述移动平台外部的所述环境的第一地图的所述第一姿势，并且其中，跟踪所述用户的所述第二姿势包括：跟踪所述用户相对于所述移动平台的第二地图的所述第二姿势。13.根据权利要求1所述的方法，其中，识别所述移动平台的特征和所述移动平台外部的所述环境的特征包括：跟踪所述移动平台的第一地图中的第一特征集合和所述移动平台外部的所述环境的第二地图中的第二特征集合。14.根据权利要求1所述的方法，其中，所述传感器测量包括以下各项中的至少一项：所述移动平台相对于所述移动平台外部的所述环境的速度、所述移动平台相对于所述移动平台外部的所述环境的加速度、所述移动平台的轨迹、所述移动平台的高度、所述移动平台的
位置、所述用户的位置和所述用户的运动。15.根据权利要求1所述的方法，其中，跟踪所述移动平台的所述第一姿势以及跟踪所述用户的所述第二姿势是基于以下各项中的至少一项的：所述移动平台相对于所述移动平台外部的所述环境的速度、所述移动平台相对于所述移动平台外部的所述环境的加速度、所述移动平台的轨迹、所述移动平台的高度、所述移动平台的位置、所述用户的位置和所述用户的运动。16.根据权利要求1所述的方法，其中，所述一个或多个传感器包括以下各者中的至少一者：惯性测量单元、一个或多个图像传感器、一个或多个雷达、里程计设备以及一个或多个激光雷达，并且其中，所述移动平台包括以下各者中的至少一者：车辆、电梯、飞机、船舶和运输工具。17.根据权利要求1所述的方法，还包括：将虚拟内容锚定到所述移动平台的第一地图和所述移动平台外部的所述环境的第二地图中的至少一项中的一个或多个特征；将与所述移动平台、所述用户和所述移动平台的外部的所述环境中的至少一项相关联的运动转换为虚拟运动，所述运动是基于所述第一姿势、所述第二姿势、所述第三姿势和所述运动参数中的至少一项被转换的；以及在所述移动平台和所述移动平台外部的所述环境中的至少一项的一个或多个区域上显示所述虚拟内容，其中，所述一个或多...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：