在头戴式显示器中实现帧内图像处理的装置、系统和方法制造方法及图纸

一种用于在头戴式显示器中实现帧内图像处理的专用硬件设备可以包括图像校正组件，该图像校正组件接收预定被显示以呈现给佩戴头戴式显示系统的用户的单个图像帧。图像校正组件还可以接收用户运动数据，该用户运动数据指示佩戴头戴式显示系统的用户自生成单个图像帧以来已经进行了至少一次移动。图像校正组件还可以根据用户运动数据对单个图像帧执行硬件加速的帧内处理操作，以在逐行的基础上补偿用户做出的移动。此外，专用硬件设备可以包括帧输出接口，该帧输出接口将单个图像帧馈送到头戴式显示系统的显示设备，以便于显示单个图像帧以呈现给用户。还公开了各种其他装置、系统和方法。

【技术实现步骤摘要】
【国外来华专利技术】在头戴式显示器中实现帧内图像处理的装置、系统和方法相关申请的交叉引用本申请要求2018年2月3日提交的美国临时申请第62/626,004号和2018年6月12日提交的美国非临时申请第16/006,438号的权益，这两个申请的公开内容通过引用以其整体并入本文。背景在过去的几年里，头戴式显示器彻底改变了人们体验各种数字媒体的方式。例如，头戴式显示器可以让虚拟现实用户在玩视频游戏的同时、在飞行模拟训练期间或甚至在与全球的同事互动时，体验逼真、沉浸式虚拟环境。除了这种虚拟现实应用之外，头戴式显示器还可以使用户能够增强现实和/或将现实的某些方面与虚拟世界的那些方面相结合。尽管这种技术取得了令人难以置信的进步，但传统的头戴式显示器仍然存在某些缺陷，这些缺陷对整体用户体验产生了负面影响。例如，一些头戴式显示器可能无法精确地补偿和/或考虑到用户做出的物理移动。更具体地，这些头戴式显示器可能表现出一定量的延时(delay)，这导致显示器落后于用户的实际物理移动。这种延时有时被称为动显延迟(motion-to-photonlatency)。除了对用户的整体体验造成困本文档来自技高网...

【技术保护点】
1.一种专用硬件设备，包括：/n图像校正组件，所述图像校正组件：/n接收要在头戴式显示系统上显示的图像帧；和/n从与所述头戴式显示系统结合操作的运动检测传感器接收运动数据，所述运动数据指示自所述图像帧生成以来所述头戴式显示系统已经移动；/n根据所述运动数据对所述图像帧执行一个或更多个硬件加速的帧内处理操作，以在逐行的基础上补偿所述头戴式显示系统的移动；和/n帧输出接口，所述帧输出接口通信地耦合到所述图像校正组件，其中在完成所述硬件加速的帧内处理操作时，所述帧输出接口将所述图像帧馈送到所述头戴式显示系统的显示设备，以便于显示所述图像帧。/n

【技术特征摘要】
【国外来华专利技术】20180203 US 62/626,004;20180612 US 16/006,4381.一种专用硬件设备，包括：
图像校正组件，所述图像校正组件：
接收要在头戴式显示系统上显示的图像帧；和
从与所述头戴式显示系统结合操作的运动检测传感器接收运动数据，所述运动数据指示自所述图像帧生成以来所述头戴式显示系统已经移动；
根据所述运动数据对所述图像帧执行一个或更多个硬件加速的帧内处理操作，以在逐行的基础上补偿所述头戴式显示系统的移动；和
帧输出接口，所述帧输出接口通信地耦合到所述图像校正组件，其中在完成所述硬件加速的帧内处理操作时，所述帧输出接口将所述图像帧馈送到所述头戴式显示系统的显示设备，以便于显示所述图像帧。


2.根据权利要求1所述的专用硬件设备，还包括显示成像流水线，所述显示成像流水线：
包含所述图像校正组件；和
以时钟信号进行操作，所述时钟信号：
由包括在所述头戴式显示系统中的时钟发生器生成；和
对于所述头戴式显示系统的所述显示设备和所述显示成像流水线是共用的；和
其中所述时钟信号使所述显示成像流水线和所述显示设备彼此同步。


3.根据权利要求2所述的专用硬件设备，其中，所述时钟信号使得所述显示成像流水线能够放弃与所述显示设备的至少一个基于握手的同步操作。


4.根据权利要求3所述的专用硬件设备，其中，至少部分由于所述显示成像流水线放弃与所述显示设备的基于握手的同步操作，所述时钟信号使得所述图像校正组件能够在逐行的基础上对所述图像帧执行所述硬件加速的帧内处理操作。


5.根据权利要求1所述的专用硬件设备，其中：
所述图像帧包括：
适于所述硬件加速的帧内处理操作的行的子集；和
不适于所述硬件加速的帧内处理操作的行的附加子集；
所述图像校正组件：
接收适于所述硬件加速的帧内处理操作的所述行的子集；和
通过至少部分地基于所述运动数据修改所述行的子集，对所述行的子集执行所述硬件加速的帧内处理操作，即使所述行的附加子集不适于所述硬件加速的帧内处理操作；和
所述帧输出接口将经修改的行的子集转发给所述显示设备，以便于将所述经修改的行的子集与所述行的附加子集一起显示。


6.根据权利要求5所述的专用硬件设备，其中：
所述行的附加子集没有被修改以补偿所述头戴式显示系统自从生成所述图像帧以来的移动；和
所述显示设备在至少一个时间点期间同时显示所述经修改的行的子集和所述行的附加子集。


7.根据权利要求1所述的专用硬件设备，其中，所述图像帧包括以下至少一个：
由与所述头戴式显示系统结合操作的相机设备捕获的摄影帧；
包括计算机生成的影像的虚拟现实帧；和
包括摄影内容和计算机生成的影像两者的混合现实帧。


8.根据权利要求1所述的专用硬件设备，其中，所述硬件加速的帧内处理操作包括以下至少一项：
异步时间扭曲；和
异步空间扭曲。


9.根据权利要求1所述的专用硬件设备，其中，所述图像帧包括混合现实帧，所述混合现实帧包括摄影内容和计算机生成的影像；和
所述专用硬件设备还包括通信地耦合到所述图像校正组件的融合组件，其中所述融合组件通过将计算机生成的影像叠加到由结合所述头戴式显示系统操作的相机设备捕获的摄影帧上来生成所述混合现实帧。


10.根据权利要求9所述的专用硬件设备，还包括通过直接通信路径通信地耦合到所述融合组件的处理组件，所述直接通信路径使得由所述相机设备捕获的所述摄影帧能够被直接馈送到所述融合组件，而不被缓冲在存储器中。


11.根据权利要求10所述的专用硬件设备，其中，所述处理组件包括以下至少一个：
所述图像校正组件；和
图像信号处理器，在所述摄影帧被馈送到所述融合组件进行融合之前，所述图像信号处理器对所述摄影帧执行一个或更多个图像处理操作。


12.一种头戴式显示系统，包括：
专用硬件设备，所述专用硬件设备：
接收要在所述头戴式显示系统上显示的图像帧；
从与所述头戴式显示系统结合操作的运动检测传感器接收运动数据，所述运动数据指示自所述图像帧生成以来所述头戴式显示系统已经移动；和
根据所述运动数据对所述图像帧执行一个或更多个硬件加速的帧内处理操作，以在逐行的基础上补偿所述头戴式显示系统的移动；和
显示设备，所述显示设备与所述专用硬件设备通信耦合，其中所述显示设备：
从所述专用硬件设备接收所述图像帧；和
显示所述图像帧。


13.根据权利要求12所述的头戴式显示系统，还包括时钟发生器，所述时钟发生器：
生成时钟信号；和
通过将所述时钟信号馈送给所述专用硬件设备和所述显示设备，使所述专用硬件设备和所述显示设备彼此同步。


14.根据权利要求13所述的头戴式显示系统，其中，所述时钟信号使得所述专用硬件设备能够放弃与所述显示设备的至少一个基于握手的同步操作。


15.根据权利要求14所述的头戴式显示系统，其中，至少部分由于所述专用硬件设备放弃与所述显示设备的基于握手的同步操作，所述时钟信号使得所述专用硬件设备能够在逐行的基础上对所述图像帧执行所述硬件加速的帧内处理操作。


16.根据权利要求15所述的头戴式显示系统，其中：
所述图像帧包括：
适于所述硬件加速的帧内处理操作的行的子集；和
不适于所述硬件加速的帧内处理操作的行的附加子集；
所述专用硬件设备：
接收适于所述硬件加速的帧内处理操作的所述行的子集；和
通过至少部分地基于所述运动数据修改所述行的子集来对所述行的子集执行所述硬件加速的帧内处理操作，即使所述行的附加子集不适于所述硬件加速的帧内处理操作；和
帧输出接口将经修改的行的子集转发给所述显示设备，以便于将所述经修改的行的子集与所述行的附加子集一起显示。


17.根据权利要求16所述的头戴式显示系统，其中：
所述行的附加子集没有被修改以补偿自从生成所述图像帧以来所述头戴式显示系统的移动；和
所述显示设备在至少一个时间点期间同时显示所述经修改的行的子集和所述行的附加子集。


18.根据权利要求12所述的头戴式显示系统，其中，所述图像帧包括以下至少一个：
由与所述头戴式显示系统结合操作的相机设备捕获的摄影帧；
包括计算机生成的影像的虚拟现实帧；和
包括摄影内容和计算机生成的影像两者的混合现实帧。


19.根据权利要求12所述的头戴式显示系统，其中，所述硬件加速的帧内处理操作包括以下至少一项：
异步时间扭曲；和
异步空间扭曲。


20.一种方法，包括：
由专用硬件设备接收要在头戴式显示系统上显示的图像帧；
由所述专用硬件设备接收运动数据，所述运动数据指示自所述图像帧生成以来所述头戴式显示系统已经移动；
由所述专用硬件设备根据所述运动数据对所述图像帧执行一个或更多个硬件加速的帧内处理操作，以在逐行的基础上补偿所述头戴式显示系统的移动；和
在完成所述硬件加速的帧...

【专利技术属性】
技术研发人员：弗拉德·弗鲁赫特，欧哈德·梅塔夫，大卫·瓦克拉特，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US