【技术实现步骤摘要】
【国外来华专利技术】减少移动等待时间的视差遮挡渲染
技术介绍
[0001]交互式视频流式传输系统通过网络将视频帧从服务器流式传输到客户端设备，同时允许用户与由流式传输的视频表示的虚拟环境交互。例如，游戏流式传输系统流式传输表示游戏环境的视频帧，同时允许用户经由头戴式显示器(HMD)、游戏控制器或其他输入设备与游戏环境交互。用户操纵输入设备来以期望的方式与游戏环境交互，并且客户端设备通过网络向服务器传输表示交互的信令，诸如相机视角的改变。作为响应，服务器改变对应于游戏环境的游戏状态，并且基于新的游戏状态经由网络将表示游戏环境的视频帧传输到客户端设备。
[0002]到服务器已经渲染帧并将其传输到客户端设备以供显示时，客户端设备处的相机视角可能已经改变，从而导致显示不对应于当前相机视角的帧。在输入设备是HMD的情况下，当前相机视角与所显示帧的相机视角之间的差的对应性或等待时间可能对用户体验具有很大影响，甚至导致晕动病。即使当能够在服务器处实现低等待时间时，网络性能也可能导致等待时间的尖峰，这导致差的用户体验。
[0003]一些游戏流式传输系统尝试经由预测性流式...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在客户端设备(130)处接收视差像素图(120)，所述视差像素图(120)包括场景的第一图像(122)和高度图(124、310)，其中，所述第一图像包括来自第一相机视图(110)的视角的多个像素，并且其中，所述高度图指示所述第一图像的每个像素距所述第一相机视图的距离；基于来自所述客户端设备的当前视角的所述场景的第一当前相机视图(140)更新所述视差像素图，以生成包括更新的第一图像和更新的高度图中的至少一个的更新的视差像素图；基于所述更新的视差像素图(142)渲染当前显示帧(150)；以及提供所述当前显示帧以供显示。2.根据权利要求1所述的方法，其中，生成所述当前显示帧包括将所述更新的视差像素图的所述多个像素投影到帧缓冲器(132)处的所述第一图像的对应像素上。3.根据权利要求2所述的方法，进一步包括：基于在所述客户端设备处从所述第一当前相机视图可见的所述场景的一部分来识别所述视差像素图的一部分(210)；以及其中，投影所述视差像素图包括将所述视差像素图的所述一部分投影到所述第一图像上以生成所述当前显示帧。4.根据前述权利要求中的任一项所述的方法，其中，更新所述视差像素图包括基于所述客户端设备处的所述第一图像的每个像素距所述第一当前相机视图的距离来更新所述高度图。5.根据前述权利要求中的任一项所述的方法，其中，更新所述视差像素图基于从所述第一相机视图到所述第一当前相机视图的旋转或位置的改变。6.根据前述权利要求中的任一项所述的方法，进一步包括：识别所述第一图像中没有所述更新的视差像素图的对应像素的空白像素(815)；以及向所述空白像素分配值(820)。7.根据权利要求6所述的方法，其中，分配给所述空白像素的所述值基于以下之一：与所述空白像素相邻的像素的值；或者基于所述第一相机视图和所述第一当前相机视图之间的角度的体素。8.根据前述权利要求中的任一项所述的方法，其中，所述视差像素图包括用于渲染从所述第一相机视图的视角不可见的像素的信息(825)。9.根据前述权利要求中的任一项所述的方法，进一步包括：基于所述客户端设备处的第二当前相机视图更新所述视差像素图；基于所述更新的视差像素图生成第二当前显示帧；以及提供所述第二当前显示帧以在所述客户端设备处显示。10.一种方法，包括：在客户端设备(130)处接收视差像素图(120)和高度图(124)，所述视差像素图(120)包括来自包括多个像素的第一相机视图(110)的场景的图像(122)，所述高度图(124)指示所述图像的每个像素距所述第一相机视图的距离；识别所述视差像素图的所述图像的从当前相机视图(140)可见的部分(210)；
将所述视差像素图的所述部分的所述多个像素投影到帧缓冲器(132)处的所述图像的对应像素上，以从所述当前相机视图渲染当前显示帧(150)；以及提供所述当前显示帧以供显示。11.根据权利要求10所述的方法，进一步包括在所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。