使用交织合成第二眼睛视口制造技术

提供了一种用于在使用交织来合成第二眼睛视口时使用以便降低带宽成本的客户端设备和方法。客户端设备可以包括接收用户输入流的用户输入设备、立体显示设备、处理器和保持用于客户端应用程序的指令的存储设备，这些指令由处理器可执行以在客户端应用程序的视图插值模块处获取表示用于用户的第一眼睛的场景的当前视图的当前绘制的绘制表面和表示用于用户的第二眼睛的场景的过去的视图的先前绘制的绘制表面，基于当前绘制的绘制表面和先前绘制的绘制表面来合成并且显示表示用于用户的第二眼睛的场景的当前视图的当前第二眼睛视口。

Using interleaving synthesis of second eyes viewport

A method for the use of client devices and methods in order to reduce the bandwidth cost in the use of interleaving to synthesize second eyes viewport provides. The client device may include a user input device, receiving user input stream processor, stereo display device and maintain storage device for the client application instructions, the instructions executable by the processor that represents the current view of the first eye for users of the scene of the current drawing drawing surface and said for the past second eyes of the user view the scene of the previously drawn drawing surface to obtain the view interpolation module in the client application, surface rendering and surface rendering and display to the previously drawn synthetic representation for the user's current view of the scene of the second eyes second eyes rendering based on current viewport.

【技术实现步骤摘要】
【国外来华专利技术】使用交织合成第二眼睛视口
技术介绍
近来，计算机内容越来越多地被转移到云平台，在云平台，专用服务器通过广域网绘制并且流式传输内容至客户端计算设备。在基于云的流媒体游戏的类型中，这样的流媒体平台使得服务提供商能够集中数据中心服务器处的游戏中的图形场景的绘制过程。服务器侧绘制提供了几个优点。首先，客户端计算设备可以利用强大的服务器GPU提供的高端图形，以使得用户能够在不太强大的客户端计算设备上享受高端图形。第二，开发人员可以使其软件专门针对数据中心服务器，以缓解平台兼容性问题并且提高平台性能调整的效率。第三，集中到数据中心服务器增加了错误修复、软件更新、硬件更新和内容添加的难易程度。最后，用户可以选择已经加载在数据中心服务器上的大量内容，并且立即将该内容流式传输到其客户端计算设备。基于云的流媒体平台的一个缺点在于广域网络可能经受由于网络拥塞、分组丢失等导致的高的等待时间、以及/或者由用户与服务器之间的大距离引起的持续地高的等待时间，这可能降低用户实时体验流媒体内容的能力，而没有频繁的停顿和延迟。当前流媒体平台尝试通过使用内容缓冲区来解决这个问题。为了实现内容缓冲区，服务器将内容流式传输到客户端计算设备，在客户端计算设备处，内容被放置到内容缓冲区中，内容缓冲区存储内容用于显示给用户。客户端计算设备等待直到在播放给用户之前已经缓冲了足够的内容。在足够的内容被存储在缓冲区中之后，内容被显示给用户。当内容被显示时，缓冲区将重新填充有来自服务器的流媒体内容。在没有缓冲区的情况下，高的等待时间会导致播放暂停；然而，在具有缓冲区的情况下，不需要暂停播放，这是因为仅在将数据流下载到缓冲区中时发生暂停。通过这种方式，流媒体内容可以被播放给用户而没有感觉到延迟，这是因为由于等待时间而导致的下载的延迟被缓冲区吸收。然而，虽然缓冲可以减少用户对流媒体内容中的延迟的感知，但是当应用于其中在客户端计算设备处的用户输入被发送到服务器并且影响绘制的内容的应用(诸如游戏)时，缓冲存在相当大的缺点。在这些绘制应用中，由于在计算设备处接收到内容与向用户显示内容之间的通信时间滞后，缓冲实际上可以增加用户对等待时间的感知。由于在用户输入与显示的内容的响应之间产生小的滞后，小的通信时间滞后可能对用户造成烦扰。然而，大的通信时间滞后可能使这种网络上的实时游戏变得令人沮丧并且不切实际。
技术实现思路
为了解决这些问题，提供了一种用于在使用交织来合成第二眼睛视口时使用以便降低带宽成本的客户端设备和方法。客户端设备可以包括接收用户输入流的用户输入设备、立体显示设备、处理器和保持用于客户端应用程序的指令的存储设备，这些指令由处理器可执行以在客户端应用程序的视图插值模块处获取表示用于用户的第一眼睛的场景的当前视图的当前绘制的绘制表面和表示用于用户的第二眼睛的场景的过去的视图的先前绘制的绘制表面，基于当前绘制的绘制表面和先前绘制的绘制表面来合成表示用于用户的第二眼睛的场景的当前视图的当前第二眼睛视口，并且在立体显示设备上显示合成的当前第二眼睛视口。提供本
技术实现思路
以便以简化的形式介绍在下面的具体实施方式中进一步描述的概念的选择。本
技术实现思路
不旨在标识所要求保护的主题的主要特征或基本特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。附图说明图1是包括通过网络与客户端设备通信的服务器设备的一个实施例的计算系统的示意图。图2A是对于标准云游戏平台的响应于用户输入从输入到显示的帧的帧时间的时间线。图2B是对于图1的计算系统的一个实施例的响应于用户输入从输入到显示的帧的帧时间的时间线。图3A是示出由图1的绘制模块绘制的较宽视场的图形视图。图3B是示出具有被包括在图3A的绘制的较宽视场内的实际查看区域的实际的用户视点的图形视图。图3C是示出被包括在图3B的实际查看区域内的未显示的绘制的像素数据项的部分的图形视图。图4是图1的绘制表面的透视图实施例的图示。图5是图1的绘制表面的剪切的透视图实施例的图示。图6是用于图4的透视图实施例的预测的用户取向的预测的查看区域的图示。图7是用于图4的透视图实施例的实际的用户取向的实际的查看区域的图示。图8是图1的绘制表面的边缘实施例的图示。图9是用于图8的边缘实施例的预测的用户取向的预测的查看区域的图示。图10是用于图8的边缘实施例的实际的用户取向的实际的查看区域的图示。图11是用于图1的可能的备选脉冲输入序列的图形视图和时间线。图12A至图12D是示出图11的备选脉冲输入序列的俯视俯视图。图13是用于图11的备选脉冲输入序列的子采样和时移的图形视图和时间线。图14是示出用于被配置为计算预测的未来的导航输入并且将未来的场景绘制到绘制表面的服务器设备的方法的流程图。图15是具有由图1的绘制模块绘制的预测的用户视点的场景的俯视透视图。图16是示出可以从图14的方法发生的用户视点错误预测的俯视透视图。图17是用于填充由图15的用户视点错误预测引起的视觉孔的空间插值方法的俯视透视图。图18是用于填充由图15的用户视点中期预测引起的视觉孔的时间插值方法的俯视透视图。图19是用于填充由图15的用户视点错误预测引起的视觉孔的深度剥离方法的俯视透视图。图20是示出被配置为从图1的绘制的绘制表面重构用于实际的用户视点的视口的客户端设备的方法的流程图。图21是图1的客户端设备的头戴式显示器实施例的图示。图22是对于图21的HMD实施例的当合成用于第二眼睛的视口时由于深度差异和瞳孔间距离而可能产生的视觉孔的俯视透视图。图23是用于合成图22的第二眼睛的视口的交织方法的图形视图。图24是示出可能由图23的交织方法产生的视觉孔的图形视图。图25是示出用于被配置为从具有用于第一眼睛的用户视点的绘制的绘制表面合成用于第二眼睛的视口的客户端设备的方法的流程图。具体实施方式图1总体上示出了其中基于预测的未来的客户端侧导航输入来执行场景的服务器侧绘制的计算系统10。通过预测未来的客户端导航输入，计算系统10不仅可以绘制具有适合于最新的用户输入的视场的场景，而且可以绘制适合于预测的未来的客户端侧导航输入的较大的视场。如下面详细地描述的，这个较大的视场被发送到客户端设备，在客户端设备处，可以基于在客户端设备处接收到的最新的实际用户输入来适当地修改和向用户显示这个较大的视场。这样的方法提供了计算系统的清晰响应性的潜在优点，从而减少了在用户输入与响应于用户输入的服务器侧绘制的内容的显示之间的用户感觉到的等待时间。计算系统10通常包括被配置为通过网络16与服务器设备14通信的客户端设备12，网络16可以是诸如因特网等广域网、或其他合适的计算机网络。客户端设备12包括处理器18、易失性存储器20、非易失性存储设备22、和被配置为从客户端设备12的用户接收用户输入的至少一个用户输入设备24。如下所述，非易失性存储设备22保持由处理器18可执行以执行各种客户端侧功能的客户端应用程序26的指令。类似地，服务器设备14包括处理器28、易失性存储器30和相关联的非易失性存储设备32。如下所述，非易失性存储设备32保持由处理器28可执行以执行各种服务器侧功能的服务器应用程序34的指令。在计算系统10中，客户端设备12通常收集本文档来自技高网...

【技术保护点】
一种用于使用交织来合成第二眼睛视口的客户端设备，包括：用户输入设备，所述用户输入设备接收用户输入流；立体显示设备；处理器；以及存储设备，所述存储设备保持用于客户端应用程序的指令，所述指令由所述处理器可执行以：在所述客户端应用程序的视图插值模块处获取表示用于用户的第一眼睛的场景的当前视图的当前绘制的绘制表面以及表示用于所述用户的第二眼睛的所述场景的过去视图的先前绘制的绘制表面；基于所述当前绘制的绘制表面和所述先前绘制的绘制表面来合成表示用于所述用户的所述第二眼睛的所述场景的当前视图的当前第二眼睛视口；以及在所述立体显示设备上显示所述合成的当前第二眼睛视口。

【技术特征摘要】
【国外来华专利技术】2015.01.22 US 14/603,2531.一种用于使用交织来合成第二眼睛视口的客户端设备，包括：用户输入设备，所述用户输入设备接收用户输入流；立体显示设备；处理器；以及存储设备，所述存储设备保持用于客户端应用程序的指令，所述指令由所述处理器可执行以：在所述客户端应用程序的视图插值模块处获取表示用于用户的第一眼睛的场景的当前视图的当前绘制的绘制表面以及表示用于所述用户的第二眼睛的所述场景的过去视图的先前绘制的绘制表面；基于所述当前绘制的绘制表面和所述先前绘制的绘制表面来合成表示用于所述用户的所述第二眼睛的所述场景的当前视图的当前第二眼睛视口；以及在所述立体显示设备上显示所述合成的当前第二眼睛视口。2.根据权利要求1所述的客户端设备，其中所述第一眼睛在左眼与右眼之间交替。3.根据权利要求2所述的客户端设备，其中用以基于所述当前绘制的绘制表面和所述先前绘制的绘制表面来合成所述当前第二眼睛视口的指令包括用以进行以下操作的指令：从所述当前绘制的绘制表面向所述当前第二眼睛视口重新投影；检测所述当前第二眼睛视口中的一个或多个视觉孔；以及基于所述先前绘制的绘制表面来插值用于所述一个或多个视觉孔的一个或多个像素数据项。4.根据权利要求3所述的客户端设备，还包括用以进行以下操作的指令：在所述客户端应用程序的所述视图插值模块处获取用于所述当前绘制的绘制表面的深度图；检测用于所述当前绘制的绘制表面的所述深度图中的深度差异；以及其中所述客户端应用程序被配置为基于所检测的深度差异来检测所述一个或多个视觉孔。5.根据权利要求3所述的客户端设备，其中用以基于所述先前绘制的绘制表面来插值用于所述一个或多个视觉孔的一个或多个像素数据项的指令包括用以进行以下操作的指令：从所述先前绘制的绘制表面向所述当前第二眼睛视口重新投影。6.根据权利要求5所述的客户端设备，还包括用以进行以下操作的指令：在从所述先前绘制的绘制表面的重新投影之后，检测所述当前第二眼睛视口中的一个或多个剩余的视觉孔；以及对于所述一个或多个剩余的视觉孔中的每个剩余的视觉孔，确定所述当前第二眼睛视口中的像素位置；以及从与所述一个或多个剩余的视觉孔中的每个剩余的视觉孔的所述当前第二眼睛视口中的所述像素位置相对应的所述先前绘制的绘制表面中的像素位置来复制像素数据。7.根据权利要求6所述的客户端设备，还包括用以进行以下操作的指令：...

【专利技术属性】
技术研发人员：D·C·朱，E·A·C·拉法耶，J·P·科普夫，A·沃尔曼，Y·德加雷夫，李炅潣，S·格里赞，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US