基于预测扫视着陆点的动态图形渲染制造技术

一种用于预测头戴式显示器(HMD)中的眼动的方法。所述方法包括利用布置在所述HMD中的视线跟踪系统在多个样本点处跟踪用户的眼睛的运动。所述方法包括基于所述眼睛的所述运动确定所述运动的速度。所述方法包括在所述速度达到阈值速度时确定所述用户的眼睛处于扫视状态。所述方法包括在所述HMD的显示器上预测与所述扫视的眼睛方向相对应的着陆点。与所述扫视的眼睛方向相对应的着陆点。与所述扫视的眼睛方向相对应的着陆点。

【技术实现步骤摘要】
【国外来华专利技术】基于预测扫视着陆点的动态图形渲染


[0001]本公开涉及计算机生成的图像，并且更具体地涉及计算机生成的图形的实时渲染。

技术介绍

[0002]在渲染管道中对虚拟现实(VR)场景进行计算机渲染需要中央处理单元(CPU)和图形处理单元(GPU)资源。尽管仅显示了宽观看范围的一小部分，但可以在该观看范围内渲染VR场景。另外，VR场景可能比传统场景更复杂，并且可能还需要更高的帧速率来进行图像处理以避免晕动病，所有这些都导致高功耗率。
[0003]为了节省功率，可以以比其他部分更高的分辨率呈现显示器的部分。例如，用户可能注视的屏幕部分可以以比用户未注视的其他部分(诸如外围的那些区域)更高的分辨率呈现。在外围中显示器的较低分辨率部分处进行的渲染可以节省处理资源，并且由于用户不关注外围，因此低分辨率不会降低用户的观看体验。然而，观看VR场景的用户的眼睛的运动可能比通过渲染管道更新帧更快。这样，因为眼睛比计算机渲染管道快，所以当用户运动到场景的之前可能在外围中的一部分时，该部分仍可能以低分辨率呈现，直到更新赶上眼动为止。这导致图像对用户来说是模糊的。
[0004]正是在这种背景下，出现了本公开的实施方案。

技术实现思路

[0005]本公开的实施方案涉及预测与观看头戴式显示器(HMD)的显示器的用户相关联的扫视(saccade)的着陆点。下文描述了本公开的若干专利技术实施方案。
[0006]在一个实施方案中，公开了一种用于预测HMD中的眼动的方法。所述方法包括利用布置在所述HMD中的视线跟踪系统在多个样本点处跟踪用户的眼睛的运动。所述方法包括基于所述眼睛的所述运动确定所述运动的速度。所述方法包括在所述速度达到阈值速度时确定所述用户的眼睛处于扫视状态。所述方法包括在所述HMD的显示器上预测与所述扫视的眼睛方向相对应的着陆点。
[0007]在另一个实施方案中，公开了一种用于预测与观看显示器的用户相关联的扫视的着陆点的方法。所述方法包括利用眼睛跟踪系统来跟踪用户的眼睛的运动。眼睛跟踪系统被配置为在多个样本点处收集眼睛在物理观看空间内的眼睛取向数据。在跟踪期间，用户的眼睛正在观看通过执行应用而生成并呈现在显示器上的视频帧序列。所述方法包括在第一样本点处识别用户的眼睛处于扫视状态。所述方法包括在扫视识别之后访问眼睛取向数据。眼睛取向数据对应于从眼睛跟踪系统收集的样本点集合，其中所述集合中的至少一个样本点出现在扫视期间。所述方法包括基于样本点集合的眼睛取向数据来预测扫视结束时眼睛在物理观看空间中的最终注视方向。
[0008]在另一个实施方案中，公开了一种非暂时性计算机可读介质，其存储用于预测HMD中的眼动的计算机程序。所述计算机可读介质包括用于利用布置在HMD中的视线跟踪系统
在多个样本点处跟踪用户的眼睛的运动的程序指令。所述计算机可读介质包括用于基于眼睛的运动确定运动的速度的程序指令。所述计算机可读介质包括用于在速度达到阈值速度时确定用户的眼睛处于扫视状态的程序指令。所述计算机可读介质包括用于在HMD的显示器上预测与扫视的眼睛方向相对应的着陆点的程序指令。
[0009]在又一个实施方案中，公开了一种计算机系统，其具有处理器和耦接到处理器的存储器，所述存储器中存储有指令，所述指令如果由所述计算机系统执行则使所述计算机系统执行用于预测HMD中的眼动的方法。所述方法包括利用布置在所述HMD中的视线跟踪系统在多个样本点处跟踪用户的眼睛的运动。所述方法包括基于所述眼睛的所述运动确定所述运动的速度。所述方法包括在所述速度达到阈值速度时确定所述用户的眼睛处于扫视状态。所述方法包括在所述HMD的显示器上预测与所述扫视的眼睛方向相对应的着陆点。
[0010]从以下结合附图的详细描述中，本公开的其他方面将变得显而易见，附图以示例的方式示出了本公开的原理。
附图说明
[0011]通过结合附图参考以下描述，可以最好地理解本公开，在附图中：
[0012]图1A示出了根据本公开的一个实施方案的被配置用于提供与VR内容的交互式体验并且用于预测与观看HMD的显示器的用户相关联的扫视的着陆点的系统，其中可以通过手持式控制器提供一些输入控制，并且可以通过跟踪身体部位(如通过相机实现的)来管理一些输入控制。
[0013]图1B示出了根据本公开的一个实施方案的被配置用于提供与VR内容的交互式体验并且用于预测与观看HMD的显示器的用户相关联的扫视的着陆点的系统，其中可以通过手持式控制器提供一些用于编辑的输入控制，并且可以通过跟踪身体部位(如通过相机实现的)来管理一些输入控制，其中相机还跟踪HMD的运动，以用于对将数据传输到HMD的RF发射器进行波束跟踪的目的。
[0014]图1C示出了根据本公开的一个实施方案的被配置用于提供与VR内容的交互式体验并且用于预测与观看HMD的显示器的用户相关联的扫视的着陆点的系统，其中可以通过手持式控制器提供一些用于编辑的输入控制，并且可以通过对身体部位进行磁跟踪(如通过磁源部分地实现的)来管理一些输入控制。
[0015]图2概念性地示出了根据本公开实施方案的与执行视频游戏相结合并且用于提供用于编辑3D数字内容的3D编辑空间的HMD的功能。
[0016]图3A至图3C示出了根据一个实施方案的当朝着内表面看时一个示例显示器壳体的视图，面部被设计成与显示器壳体在所述内表面处相接触，所述视图示出了包括眼睛跟踪传感器的HMD的内部。
[0017]图4A示出了根据本公开的一个实施方案的被配置用于预测与观看HMD的显示器的用户相关联的扫视的着陆点的预测引擎。
[0018]图4B示出了根据本公开的一个实施方案的用于预测与观看HMD的显示器的用户相关联的扫视的着陆点的循环神经网络。
[0019]图4C示出了根据本公开的一个实施方案的用于为观看HMD中的VR场景的一个或多个用户构建扫视运动模型的示例神经网络。
[0020]图5A示出了根据本公开的一个实施方案的没有扫视预测的渲染管道，所述渲染管道示出了帧更新如何比眼动慢，使得在完成眼动之后图像对用户来说是模糊的。
[0021]图5B示出了根据本公开的一个实施方案的渲染管道的所得效果，所述渲染管道配置有对观看HMD的显示器的用户的眼动的扫视预测，使得在完成眼动之后，通过在渲染管道中推进对高分辨率的中央凹区域的更新使图像对用户来说是清晰的。
[0022]图6A示出了根据本公开的一个实施方案的观看HMD的显示器的用户的扫视的眼睛位移和速度。
[0023]图6B示出了根据本公开的一个实施方案的在观看HMD的显示器的用户的扫视的速度图中的各个样本点处的眼睛取向数据的采样。
[0024]图6C示出了根据本公开的一个实施方案的用于预测与观看HMD的显示器的用户相关联的扫视的着陆点的一个或多个样本点集合的眼睛取向数据的收集。
[0025]图6D示出了根据本公开的一个实施方案的表格，所述表格列出了用于预测与观看HMD的显示器的用户相关联的扫视的着陆点的样本点集合的眼睛取向数本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于预测头戴式显示器(HMD)中的眼动的方法，其包括：利用布置在所述HMD中的视线跟踪系统在多个样本点处跟踪用户的眼睛的运动；基于所述跟踪确定所述运动的速度；在所述速度达到阈值速度时确定所述用户的所述眼睛处于扫视状态；以及在所述HMD的显示器上预测与所述扫视的眼睛方向相对应的着陆点。2.如权利要求1所述的方法，其还包括：渲染以用于显示第一视频帧，所述第一视频帧具有以所述显示器上的所述着陆点为中心的中央凹区域；以及在所述HMD的所述显示器上呈现具有所述中央凹区域的所述第一视频帧，其中在显示所述第一视频帧时预测所述眼睛的取向朝向所述着陆点。3.如权利要求2所述的方法，其还包括：终止在所述扫视期间的要在所述第一视频帧之前渲染的至少一个视频帧的渲染。4.如权利要求2所述的方法，其还包括：以低分辨率渲染在所述扫视期间的要在所述第一视频帧之前渲染的至少一个视频帧。5.如权利要求1所述的方法，其中所述预测所述着陆点包括：在第一样本点处，基于包括所述第一样本点和至少一个先前样本点的第一样本点集合的眼睛取向数据来预测第一着陆点，其中所述眼睛取向数据包括相对于所述HMD的眼睛方向；以及在所述扫视中所述第一样本点之后的第二样本点处，通过基于包括所述第二样本点和至少一个先前样本点的第二样本点集合的眼睛取向数据预测第二着陆点来更新所述着陆点。6.如权利要求1所述的方法，其中所述预测所述着陆点包括：在跟踪针对样本点集合的眼动时收集眼睛取向数据，所述眼睛取向数据包括相对于所述HMD的眼睛方向，其中所述集合中的至少一个样本点出现在所述扫视期间；将针对所述样本点集合的所述眼睛取向数据作为输入提供给基于测试对象的多次扫视的眼睛取向数据训练的循环神经网络；在所述循环神经网络中，将从针对所述样本点集合的所述眼睛取向数据构建的眼睛速度图的一部分与从测试对象的所述多次扫视构建的眼睛速度图进行比较；以及在所述循环神经网络中确定所述着陆点。7.如权利要求6所述的方法，其中所述着陆点出现在所述扫视结束时并且对应于所述眼睛的注视方向。8.如权利要求6所述的方法，其中所述着陆点出现在所述扫视的中点处并且对应于所述眼睛的中间方向。9.如权利要求6所述的方法，其中所述循环神经网络包括：长短期记忆神经网络；以及全连接多层感知机网络。10.如权利要求1所述的方法，其中所述确定速度包括：基于来自两个样本点的第一眼睛方向和第二眼睛方向确定所述眼睛的速度。11.一种计算机系统，其包括：
处理器；以及存储器，所述存储器耦接到所述处理器并且其中存储有指令，所述指令如果由所述计算机系统执行则使所述计算机系统执行用于预测头戴式显示器(HMD)中的眼动的方法，所述方法包括：利用布置在所述HMD中的视线跟踪系统在多个样本点处跟踪用户的眼睛的运动；基于所述跟踪确定所述运动的速度；在所述速度达到阈值速度时确定所述用户的所述眼睛处于扫视状态；以及在所述HMD的显示器上预测与所述扫视的眼睛方向相对应的着陆点。12.如权利要求11所述的计算机系统，所述方法还包括：渲染以用于显示第一视频帧，所述第一视频帧具有以所述显示器上的所述着陆点为中心的中央凹区域；以及在所述HMD的所述显示器上呈现具有所述中央凹区域的所述第一视频帧，其中在显示所述第一视频帧时预测所述眼睛的取向朝向所述着陆点。13.如权利要求12所述的计算机系统，所述方法还包括：终止在所述扫视期间的要在所述第一视频帧之前渲染的至少一个视频帧的渲染。14.如权利要求12所述的计算机系统，所述方法还包括：以低分辨率渲染在所述扫视期间的要在所述第一视频帧之前渲染的至少一个视频帧。15.如权利要求11所述的计算机系统，其中在所述方法中，所述预测所述着陆点包括...

【专利技术属性】
技术研发人员：A扬，J费尔南德斯里科，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：