视频流水线制造技术

本公开涉及视频流水线，提供了一种混合现实系统，该混合现实系统包括经由无线连接进行通信的头戴式显示器(HMD)和基站。该HMD可包括收集关于用户的环境和关于用户的信息的传感器。由该传感器收集的信息可经由无线连接传输至基站。该基站至少部分地基于从HMD接收的传感器信息来渲染帧或切片，对该帧或切片进行编码，并且将压缩的帧或切片传输至HMD以进行解码和显示。基站可提供比常规的独立系统更多的计算能力，并且无线连接不像在常规系绳系统中那样将HMD系于基站。系统可实现用于保持通过无线链路的目标帧率并且最小化帧渲染、传输和显示中的延迟的方法和装置。显示中的延迟的方法和装置。显示中的延迟的方法和装置。

【技术实现步骤摘要】
视频流水线
[0001]本分案申请是2018年4月27日递交的题为“视频流水线”的中国专利申请NO.201880027784.3的分案申请。

技术介绍

[0002]虚拟现实(VR)系统显示提供沉浸式虚拟环境的虚拟视图。混合现实(MR)系统将虚拟内容与真实世界的视图相结合，或将真实世界对象的虚拟表示添加到虚拟环境中。常规VR和MR系统通常为系绳系统或独立HMD，该系绳系统包括执行用于显示的内容的渲染中的至少一些的基站和经由物理连接(即，数据通信电缆)连接到基站的头戴式显示器(HMD)，该独立HMD局部地执行内容的渲染。独立系统允许用户自由移动；然而，由于限制因素(包括尺寸、重量、电池和热量)，独立HMD通常在计算能力方面受到限制，因此在可渲染的内容的质量方面受到限制。相较于独立HMD，系绳系统的基站可提供更多的计算能力并因此提供更高质量的渲染；然而，物理电缆将HMD系于基站并且因此约束用户的移动。

技术实现思路

[0003]本文描述了通过无线连接为用户提供混合现实视图的方法和装置的各种实施方案。描述了混合现实系统的实施方案，该混合现实系统可包括用户穿戴的头戴式耳机、头盔、护目镜或眼镜，在本文中称为头戴式显示器(HMD)，以及单独的计算设备，在本文中称为基站。HMD和基站可各自包括无线通信技术，该无线通信技术允许HMD和基站经由无线连接来通信和交换数据。HMD可包括收集关于用户的环境的信息的面向世界的传感器和收集关于用户的信息的面向用户的传感器。由传感器收集的信息可经由无线连接传输至基站。基站可包括软件和硬件，该软件和硬件被配置为至少部分地基于经由无线连接从HMD接收的传感器信息来生成和渲染包括虚拟内容的帧，并且将渲染的帧压缩并经由无线连接将其传输至HMD以用于显示。基站可提供比常规的独立系统可提供的多得多的计算能力。此外，HMD和基站之间的无线连接不像在常规系绳系统中那样将HMD系于基站，并且因此允许用户具有比系绳系统多得多的移动自由度。
[0004]描述了各种方法和装置，这些方法和装置可用于保持通过无线链路的目标帧率并且最小化帧渲染、传输和显示中的延迟。
[0005]在一些实施方案中可使用的方法可被称为翘曲空间渲染。在翘曲空间渲染方法中，代替执行趋于过采样图像边缘的直线投影，尤其是在宽FOV帧中，应用将帧转换成翘曲空间的转换。然后以相等的角度对翘曲空间进行重采样。翘曲空间渲染方法对帧进行重采样，使得渲染引擎仅光栅化并渲染其实际需要的样本数，而不管用户正在查看的方向如何。翘曲空间渲染方法降低了渲染帧所需的分辨率，并且因此减少了渲染帧所需的时间，这减少了延迟，并且还减少了需要通过HMD和基站之间的无线链路传输的位的数量，这减少了带宽使用和延迟。
[0006]在一些实施方案中可使用的另一种方法可被称为中心凹形渲染。在中心凹形渲染方法中，从HMD接收的注视跟踪信息可用于识别用户当前正在查看的方向。可至少部分地基
于所确定的注视方向来确定中心凹形区域。在传输至HMD之前，可将中心凹形区域之外的帧的区域(称为外围区域)转换为较低分辨率，例如通过将滤波器(例如带通滤波器)应用到外围区域。中心凹形渲染方法减少渲染帧中的像素数量，这减少了需要通过无线链路传输至HMD的位的数量，这减少了带宽使用和延迟。此外，在一些实施方案中，帧的中心凹形区域之外的外围区域可通过无线链路以低于中心凹形区域的帧率传输。
[0007]在一些实施方案中可使用的另一种方法可被称为中心凹形压缩。在中心凹形压缩方法中，可动态地基于从注视跟踪区域所确定的注视方向或静态地基于设定的系统参数确定中心凹形区域和外围区域。在一些实施方案中，可基于对人类视觉系统的了解预过滤外围区域来减少信息，例如通过过滤高频信息和/或增加色彩压缩。应用到外围区域的过滤的量可增大朝向图像的周边延伸。外围区域的预过滤可导致改进的帧压缩。另选地，在外围区域中可使用比在中心凹形区域中使用的压缩比更高的压缩比。
[0008]在一些实施方案中可使用的另一种方法可被称为动态渲染。在动态渲染方法中，为了保持目标帧率和延迟，基站上的监视过程监视无线链路上的带宽以及基站上的渲染应用程序正在生成帧的速率。在检测到带宽低于阈值或帧渲染速率低于阈值时，监视过程可动态地调节基站上的一个或多个渲染过程，以降低渲染帧的复杂性，并且因此降低渲染的帧的分辨率，从而可保持对HMD的目标帧率和延迟。在检测到所监视的量度已达到或超过阈值时，可再次调节渲染复杂性以增大渲染帧的复杂性，并且因此增大帧的分辨率。
[0009]代替动态渲染或除了动态渲染之外，在一些实施方案中可使用的另一种方法可被称为动态压缩。在动态压缩方法中，为了保持目标帧率和延迟，基站上的监视过程监视无线链路上的带宽以及基站上的渲染应用程序正在生成帧的速率。在检测到带宽低于阈值或帧渲染速率低于阈值时，监视过程可动态地调节基站上的一个或多个压缩过程，以增大压缩比和/或增加图像的预过滤以减少高频内容，从而可保持对HMD的目标帧率和延迟。在检测到所监视的量度已达到或超过阈值时，可再次调节压缩过程以减小压缩比和/或预过滤。
[0010]在一些实施方案中可使用的另一种方法可被称为基于运动的渲染。在该方法中，从HMD接收的运动跟踪信息可用于识别用户的头部的运动。如果用户未移动其头部或未移动太多，则可渲染帧并以较低的帧率发送至HMD。如果检测到快速头部运动，则可增大帧率。
[0011]在一些实施方案中可使用的另一种方法可被称为基于切片的渲染。在基于切片的渲染中，基站可渲染帧的一部分(称为切片)并且在渲染的切片准备好时将渲染的切片传输至HMD，而不是在基站中渲染整个帧并将渲染的帧传输至HMD。切片可以是帧的一条或多条线，或者可以是帧的N
×
M像素区段或区域。基于切片的渲染减少了延迟，并且还减少了缓冲所需的内存量，这减少了芯片或处理器上的内存占用量以及功率需求。
[0012]此外，描述了方法和装置，如果与基站的无线链路丢失，则该方法和装置允许HMD用作独立设备作为回退位置。此外，描述了用于处理和显示由HMD经由无线连接从基站接收的帧的方法和装置，以及利用先前接收的帧替换不完整或缺失帧的方法和装置。
附图说明
[0013]图1示出了根据至少一些实施方案的混合或虚拟现实系统。
[0014]图2示出了根据至少一些实施方案的如图1所示的系统中的头戴式显示器(HMD)的传感器。
[0015]图3为根据至少一些实施方案的示出如图1所示的混合现实系统的部件的框图。
[0016]图4是根据至少一些实施方案的如图1至图3所示的混合现实系统的操作的方法的高级流程图。
[0017]图5A至图5D以图形方式示出了根据一些实施方案的翘曲空间渲染。
[0018]图6是根据一些实施方案的用于翘曲空间渲染以降低由基站渲染的帧的分辨率的方法的流程图。
[0019]图7以图形方式示出了根据一些实施方案的中心凹形渲染。
[0020]图8是根据一些实施方案的用于中心凹形渲染以在通过无线连接传输帧之本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设备，包括：一个或多个处理器；一个或多个相机，被配置为捕获包括用户的环境的视图的帧；以及显示子系统，所述显示子系统用于向用户显示3D虚拟视图；其中所述一个或多个处理器被配置为：将由所述一个或多个相机捕获的帧转换成翘曲空间；对于每个帧，以相等的角度对所述翘曲空间进行重采样以生成翘曲空间帧；通过无线连接将所述翘曲空间帧传输至基站；以及解压缩通过所述无线连接从所述基站接收的压缩渲染的帧，并且将所述渲染的帧提供给所述显示子系统用于显示。2.根据权利要求1所述的设备，其中所述基站渲染、压缩帧切片并通过所述无线连接将帧切片传输至所述设备，并且其中为了解压缩通过所述无线连接从所述基站接收的所述压缩渲染的帧并且将所述渲染的帧提供给所述显示子系统用于显示，所述一个或多个处理器被配置为解压缩压缩的所述帧切片并且将所述渲染的帧提供给所述显示子系统用于显示。3.根据权利要求1所述的设备，其中所述渲染的帧包括与所述用户的环境的视图复合的计算机生成的虚拟内容或与计算机生成的三维(3D)虚拟世界的视图复合的所述用户的环境中的对象的表示。4.根据权利要求1所述的设备，其中所述一个或多个处理器被配置为在通过所述无线连接传输至所述基站之前压缩所述翘曲空间帧。5.根据权利要求1所述的设备，其中所述设备还包括被配置为捕获所述用户的眼睛的图像的一个或多个注视跟踪相机，其中所述一个或多个处理器被进一步配置为通过所述无线连接将由所述注视跟踪相机捕获的所述图像传输至所述基站，并且其中所述基站被配置为至少部分地基于根据由所述一个或多个注视跟踪相机捕获并且通过所述无线连接从所述设备接收的所述图像确定的注视方向来渲染所述帧。6.根据权利要求1所述的设备，其中所述设备还包括被配置为捕获关于所述用户和所述用户的环境的数据的多个传感器，其中所述一个或多个处理器被进一步配置为通过所述无线连接将所述传感器数据传输至所述基站，并且其中所述基站被配置为至少部分地基于从所述设备接收的所述传感器数据来渲染所述帧。7.根据权利要求6所述的设备，其中所述多个传感器包括以下中的一者或多者：被配置为捕获所述环境中的深度信息的一个或多个传感器；被配置为跟踪所述用户的眼睛的注视方向的一个或多个传感器；被配置为跟踪所述设备在所述环境中的位置和运动的一个或多个传感器；或者被配置为跟踪所述用户的面部的表情的一个或多个传感器。8.根据权利要求1所述的设备，其中所述设备还包括被配置为捕获所述环境中的对象的范围信息的一个或多个深度传感器，其中所述一个或多个处理器被进一步配置为通过所述无线连接将所述范围信息传输至所述基站，其中所述基站被配置为至少部分地基于来自所述一个或多个深度传感器的所述范围信息来渲染所述帧。9.根据权利要求1所述的设备，其中所述设备还包括惯性测量单元(IMU)和被配置为跟踪所述用户的环境中所述用户的位置和运动的一个或多个头部姿势相机，其中所述一个或
多个处理器被配置为：基于由利用从所述IMU接收的信息扩充的一个或多个头部姿势相机捕获的图像来确定所述用户的头部的位置并且预测所述用户的头部的运动；以及通过所述无线链路将头部位置和头部运动预测信息传输至所述基站；其中所述基站被配置为至少部分地基于从所述设备接收的所述头部位置和所述头部运动预测信息来渲染所述帧。10.根据权利要求1所述的设备，其中所述一个或多个处理器被进一步配置为：监视与所述基站的所述无线连接；响应于检测到与所述基站的所述无线连接已丢失：通过所述一个或多个处理器，基于由所述一个或多个相机捕获的所述帧来渲染包括所述用户的环境的视图的一个或多个帧；以及将渲染的所述一个或多个帧提供至所述显示子系统以用于显示。11.根据...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：苹果公司，
类型：发明
国别省市：