在头戴式显示器上渲染图像的方法和计算机可读存储介质技术

本发明专利技术提出了用于在头戴式显示器(HMD)上渲染图像的方法和计算机可读存储介质。一种方法包括用于利用所述HMD内部的一个或多个第一摄像头追踪用户的目光且用于追踪所述HMD的运动的操作。所述HMD的所述运动是通过分析利用不在所述HMD中的第二摄像头拍摄的所述HMD的图像来追踪。此外，所述方法包括用于基于所述目光和所述HMD的所述运动来预测所述用户的所述目光的运动的操作。基于所述目光的预测运动确定用于被界定在通过所述HMD渲染的视图上的多个区域的渲染策略。所述图像是基于所述渲染策略渲染在所述视图上。

Method of Rendering Image on Head-mounted Display and Computer Readable Storage Media

【技术实现步骤摘要】
在头戴式显示器上渲染图像的方法和计算机可读存储介质本分案申请是申请日为2014年5月23日、申请号为201480032498.8、专利技术名称为“响应于头戴式显示器中的用户动作的图像渲染”的分案申请。
本实施方案涉及用于改善头戴式装置(HMD)的可用性的方法，且更特定地涉及用于在HMD内的显示器上渲染图像的方法和计算机可读存储介质。
技术介绍
通常，HMD是被穿戴在用户头部周围的便携式装置，以使得相距眼睛不远处的显示器提供图像进行用户互动。一些HMD提供混合的真实生活和虚拟生活环境，其中用户能够看见由计算装置创建的图像以及一些真实生活图像。其他HMD将阻止外界的沉浸式体验提供给用户，同时在HMD显示器上提供虚拟世界。然而，当用户通过HMD中的显示器观察真实世界或虚拟世界时可存在问题，因为有时候HMD的计算能力不足以刷新显示器上的图像。这可使得HMD的用户患上运动病。需要一种HMD，其提供快速响应于用户的运动的图像且传递足以使用户具有感觉仿佛用户正在观看真实世界一样的沉浸式体验的显示质量。实施方案产生在上下文中。
技术实现思路
本专利技术提出了用于在头戴式显示器(HMD)上渲染图像的方法、装置、系统和计算机程序。应明白，本实施方案可以数种方式(诸如方法、设备、系统、装置或计算机可读介质上的计算机程序)实施。下文描述了若干实施方案。在一个实施方案中，一种用于在头戴式显示器(HMD)上渲染图像的方法，所述方法包括：利用所述HMD内部的一个或多个第一摄像头追踪用户的目光，其中所述HMD使用用于在所述HMD中渲染图像的计算系统，其中所述计算系统通过分析所述HMD的惯性数据，追踪所述HMD的运动；基于所述用户的目光的轨迹和所述HMD的运动，预测所述用户的目光的即将到来的运动，其中所述预测接下来的运动配置为识别在未来时间所述目光移动到的、由所述HMD渲染的视图内的第一区域；基于所述目光的即将到来的运动确定用于被界定在由所述HMD渲染的所述视图上的多个区域的渲染策略，其中当所述计算系统追踪并且预测用户正在将所述目光移向所述视图的所述第一区域并且从所述视图的当前区域移开，那么在所述用户的目光指向所述第一区域之前，用比远离所述第一区域的区域更高的图像质量渲染所述第一区域；和通过所述HMD基于所述渲染策略渲染图像。在另一个实施方案中，一种非暂时性计算机可读存储介质，其中记录计算机程序，所述计算机程序在由一个或多个处理器执行时用于在头戴式显示器(HMD)上渲染图像，所述渲染图像的方法包括：利用所述HMD内部的一个或多个第一摄像头追踪用户的目光，其中所述HMD与用于在所述HMD中渲染图像的计算系统协作，其中所述计算系统通过分析所述HMD的惯性数据，追踪所述HMD的运动；基于所述用户的目光的轨迹和所述HMD的运动，预测所述用户的目光的即将到来的运动，其中所述预测接下来的运动配置为识别在未来时间所述目光移动到的、由所述HMD渲染的视图内的第一区域；基于所述目光的即将到来的运动确定用于被界定在由所述HMD渲染的所述视图上的多个区域的渲染策略，其中当所述计算系统预测用户正在将所述目光移向所述视图的所述第一区域并且从所述视图的当前区域移开，那么在所述用户的目光指向所述第一区域之前，用比远离所述第一区域的区域更高的图像质量渲染所述第一区域；和用于通过所述HMD基于所述渲染策略渲染图像的程序指令。在一个实施方案中，一种方法包括用于利用所述HMD内部的一个或多个第一摄像头追踪用户的目光且用于追踪所述HMD的运动的操作。所述HMD的所述运动是通过分析利用不在所述HMD中的第二摄像头拍摄的所述HMD的图像来追踪。此外，所述方法包括用于基于所述目光并基于所述HMD的所述运动来预测所述用户的所述目光的运动的操作。基于所述目光的预测运动或轨迹确定用于被界定在由所述HMD渲染的视图上的多个区域的渲染策略。所述图像是基于所述渲染策略由所述HMD渲染。在另一实施方案中，提出了一种嵌入在非暂时性计算机可读存储介质中的计算机程序，所述计算机程序在由一个或多个处理器执行时用于在头戴式显示器(HMD)上渲染图像。所述计算机程序包括用于利用所述HMD内部的一个或多个第一摄像头追踪用户的目光的程序指令。此外，所述计算机程序包括用于追踪所述HMD的运动的程序指令。追踪所述运动包括分析利用不在所述HMD中的第二摄像头拍摄的所述HMD的图像。此外，所述计算机程序包括用于基于所述目光并基于所述HMD的所述运动来预测所述用户的所述目光的运动的程序指令，和用于基于所述目光的预测运动确定用于被界定在由所述HMD渲染的视图上的多个区域的渲染策略的程序指令。所述计算机程序还包括用于通过所述HMD基于所述渲染策略渲染图像的程序指令。在又另一实施方案中，一种用于在头戴式显示器(HMD)上渲染图像的方法包括用于追踪穿戴所述HMD的用户的目光的操作。此外，所述方法包括用于基于所述用户的所述目光为通过所述HMD渲染的多个游戏对象分配渲染优先级值的操作。每一个游戏对象的所述渲染优先级值界定下列各项中的至少一个：渲染的频率、渲染游戏对象的复杂度、游戏对象的图像质量或渲染分辨率。此外，所述方法包括用于基于所述游戏中的每一个游戏对象的重要性值改变所述渲染优先级值的操作。通过所述HMD根据所述渲染优先级值渲染所述多个游戏对象。将根据结合附图的以下详述明白其他方面。附图说明可以通过参考结合附图的以下详述最佳地理解实施方案。图1说明根据一个实施方案的用户与包括头戴式装置(HMD)的多个装置进行互动。图2说明根据一个实施方案的经由图像分析对HMD的追踪。图3示出了说明根据一个实施方案的具有用于追踪用户的目光的内部摄像头的HMD。图4示出了具有用于视觉追踪的照明点的HMD的实施方案。图5说明根据一个实施方案的显示器的刷新。图6说明根据一个实施方案的示出在HMD的显示器上的游戏场景。图7说明根据一个实施方案的显示器中用于优先级渲染的区域的创建。图8说明可以用于实施本专利技术的实施方案的装置的架构。图9是说明根据一个实施方案的用于在HMD上渲染图像的流程图。图10说明可以用于实施本专利技术的实施方案的硬件和用户接口。图11是根据本专利技术的各个实施方案的游戏系统的方框图。具体实施方式以下实施方案描述了用于在头戴式显示器(HMD)上渲染场景的方法、设备、系统和计算机程序。将明白，可以在没有一些或所有这些具体细节的情况下实践本实施方案。在其他实例中，没有详细描述熟悉的程序操作以免不必要地混淆本实施方案。图1说明根据一个实施方案的用户与包括头戴式装置(HMD)的多个装置进行互动。用户114正在穿戴HMD102，所述HMD102包括在用户的眼睛附近渲染图像的显示器110。在一个实施方案中，图像是以3D渲染。此外，虽然已参考HMD102上的显示器描述了本文中提出的实施方案，但是其他实施方案可以使用其他视图渲染方法，诸如在用户的视网膜上投影图像。在一个实施方案中，计算装置106执行被显示在HMD102上的游戏。因此，计算装置106与HMD102协作以显示玩游戏的图像。游戏操作的处理可以在计算装置106上、HMD102上或计算装置106与HMD102两者中进行。在另一实施方案中，游戏操作的处理是由联网游戏服务器124或与计算装置106和/或H本文档来自技高网...

【技术保护点】
1.一种用于在头戴式显示器(HMD)上渲染图像的方法，所述方法包括：利用所述HMD内部的一个或多个第一摄像头追踪用户的目光，其中所述HMD使用用于在所述HMD中渲染图像的计算系统，其中所述计算系统通过分析所述HMD的惯性数据，追踪所述HMD的运动；基于所述用户的目光的轨迹和所述HMD的运动，预测所述用户的目光的即将到来的运动，其中所述预测接下来的运动配置为识别在未来时间所述目光移动到的、由所述HMD渲染的视图内的第一区域；基于所述目光的即将到来的运动确定用于被界定在由所述HMD渲染的所述视图上的多个区域的渲染策略，其中当所述计算系统追踪并且预测用户正在将所述目光移向所述视图的所述第一区域并且从所述视图的当前区域移开，那么在所述用户的目光指向所述第一区域之前，用比远离所述第一区域的区域更高的图像质量渲染所述第一区域；和通过所述HMD基于所述渲染策略渲染图像。

【技术特征摘要】
2013.06.07 US 61/832,755;2014.03.12 US 14/206,8491.一种用于在头戴式显示器(HMD)上渲染图像的方法，所述方法包括：利用所述HMD内部的一个或多个第一摄像头追踪用户的目光，其中所述HMD使用用于在所述HMD中渲染图像的计算系统，其中所述计算系统通过分析所述HMD的惯性数据，追踪所述HMD的运动；基于所述用户的目光的轨迹和所述HMD的运动，预测所述用户的目光的即将到来的运动，其中所述预测接下来的运动配置为识别在未来时间所述目光移动到的、由所述HMD渲染的视图内的第一区域；基于所述目光的即将到来的运动确定用于被界定在由所述HMD渲染的所述视图上的多个区域的渲染策略，其中当所述计算系统追踪并且预测用户正在将所述目光移向所述视图的所述第一区域并且从所述视图的当前区域移开，那么在所述用户的目光指向所述第一区域之前，用比远离所述第一区域的区域更高的图像质量渲染所述第一区域；和通过所述HMD基于所述渲染策略渲染图像。2.根据权利要求1所述的方法，其中预测所述目光的即将到来的运动还包括：追踪所述用户的所述目光在预定时段内的轨迹；追踪所述HMD在所述预定时段内的轨迹。3.根据权利要求1所述的方法，其中用于每一区域的所述渲染策略包括下列各项中的一个或多个：屏幕更新的频率、渲染分辨率、所述区域中的渲染图像的复杂度或确定用于渲染所述多个区域的顺序的渲染顺序值。4.根据权利要求3所述的方法，其中所述视图中心中的区域比所述视图外围中的...

【专利技术属性】
技术研发人员：JR斯塔福德，X毛，G布莱克，
申请(专利权)人：索尼电脑娱乐公司，
类型：发明
国别省市：日本,JP