【技术实现步骤摘要】
【国外来华专利技术】流式传输虚拟现实视频
本专利技术涉及将虚拟现实[VR]视频流式传输到VR渲染设备的方法。本专利技术进一步涉及包括用于使处理器系统执行该方法的指令的计算机程序,涉及VR渲染设备,并且涉及用于在VR视频的流式传输时使用的转发节点。
技术介绍
虚拟现实(VR)涉及使用计算机技术来模拟用户在虚拟环境中的物理存在。通常,VR渲染设备利用头戴式显示器(HMD)向用户渲染(render)虚拟环境,但是也可以使用其他类型的VR显示器和渲染技术,包括但不限于全息术和洞穴状自动虚拟环境。已知使用这样的VR渲染设备来渲染VR视频,例如适合于由VR渲染设备播出的视频。VR视频可以提供场景的全景视图,其中术语“全景视图”是指例如至少180度的视图。VR视频甚至可以提供更大的视图,例如360度,从而向用户提供更加沉浸的体验。VR视频可以被作为单个视频流而流式传输到VR渲染设备。然而,如果要以高质量并且可能以3D流式传输整个全景视图,则这可能需要大量的带宽,即使在使用现代视频编码技术时也是如此。例如,带宽要求可能容易达到数十或数百Mbps。因为VR渲染设备经由带宽受限的接入网(例如,数字订户线(DSL)或无线LAN(WLAN)连接或移动连接(例如,UMTS或LTE))频繁地流式传输视频流,所以单个视频流的流式传输可能对接入网造成很大负担,或者这样的流式传输甚至可能根本不可行。例如,由于重新缓冲,播出可能被频繁地中断,立即结束用户的任何沉浸。此外,这样的大视频流的接收、解码和处理可能导致高计算负荷和/或高功耗,这两者对于许多设备(尤其移动设备)是不利的。已经认识到:在任何给定的时刻,VR ...
【技术保护点】
1.一种用于在将虚拟现实[VR]视频流式传输到VR渲染设备时使用的方法,其中所述VR视频由多个流表示,所述多个流中的每个提供场景的不同图像数据,其中所述VR渲染设备被配置成基于所述多个流中的一个或多个来渲染所述场景的被选视图,所述方法包括:‑ 获得空间关系数据,所述空间关系数据指示如由所述多个流提供的所述场景的不同图像数据之间的空间关系;‑ 标识渲染所述被选视图所需的一个或多个流,从而标识流的第一子集;‑ 通过使用所述空间关系数据来标识流的第二子集,所述流的第二子集提供所述场景的与流的第一子集的图像数据在空间上相邻的图像数据;‑ 获得流元数据,所述流元数据标识网络中的提供对流的第二子集的访问的一个或多个流源;以及‑ 实现流的第二子集在网络高速缓存中的缓存,所述网络高速缓存被包括在所述网络中的所述一个或多个流源的下游和所述VR渲染设备的上游。
【技术特征摘要】
【国外来华专利技术】2016.09.14 EP 16188706.21.一种用于在将虚拟现实[VR]视频流式传输到VR渲染设备时使用的方法,其中所述VR视频由多个流表示,所述多个流中的每个提供场景的不同图像数据,其中所述VR渲染设备被配置成基于所述多个流中的一个或多个来渲染所述场景的被选视图,所述方法包括:-获得空间关系数据,所述空间关系数据指示如由所述多个流提供的所述场景的不同图像数据之间的空间关系;-标识渲染所述被选视图所需的一个或多个流,从而标识流的第一子集;-通过使用所述空间关系数据来标识流的第二子集,所述流的第二子集提供所述场景的与流的第一子集的图像数据在空间上相邻的图像数据;-获得流元数据,所述流元数据标识网络中的提供对流的第二子集的访问的一个或多个流源;以及-实现流的第二子集在网络高速缓存中的缓存,所述网络高速缓存被包括在所述网络中的所述一个或多个流源的下游和所述VR渲染设备的上游。2.根据权利要求1所述的方法,进一步包括:-获得所述VR渲染设备可能渲染所述场景的哪些相邻图像数据的预测;以及-基于所述预测来标识流的第二子集。3.根据权利要求2所述的方法,其中所述VR渲染设备被配置成根据用户的头部运动和/或头部旋转来确定所述场景的被选视图,并且其中获得所述预测包括获得指示所述用户的头部运动和/或头部旋转的跟踪数据。4.根据权利要求1至3中任一项所述的方法,进一步包括基于以下中的至少一个来选择将由流的第二子集提供的所述场景的图像数据的空间大小:-用户的头部运动的测量结果或统计;-用户的头部旋转的测量结果或统计;-由所述VR视频表示的内容的类型;-在所述一个或多个流源与所述网络高速缓存之间的所述网络中的传输延迟;-在所述网络高速缓存与所述VR渲染设备之间的所述网络中的传输延迟;以及-所述VR渲染设备处理流的第一子集的处理延迟。5.根据权利要求1至4中任一项所述的方法,其中流的第二子集可在所述一个或多个流源处以不同的质量等级来访问,并且其中所述方法进一步包括基于以下中的至少一个来选择将以其缓存流的第二子集的质量等级:-在所述一个或多个流源与所述网络高速缓存之间的所述网络中的可用带宽;-在所述网络高速缓存与所述VR渲染设备之间的所述网络中的可用带宽;以及-将由流的第二子集提供的所述场景的图像数据的空间大小。6.根据以上权利要求中任一项所述的方法,进一步包括:-从所述VR渲染设备接收对流的第一子集的流式传输的请求;-基于所述请求来标识流的第一子集。7.根据权利要求6所述的方法,进一步包括:响应于所述请求的接收:-如果可获得,则实现从所述网络高速缓存对流的第一子集的一个或多个流的递送;以及-对于从所述网络高速缓存不可获得的流的第一子集的一个或多个其他流,-向所述一个或多个流源共同请求所述一个或多个其他流与流的第二子集,-实现所述一个或多个其他流到所述VR渲染设备的递送,同时实现流的第二子集在所述网络高速缓存中的缓存。8.根据以上权利要求中任一项所述的方法,...
【专利技术属性】
技术研发人员:HM斯特金,OA尼亚穆特,SNB甘克尔,
申请(专利权)人:皇家KPN公司,
类型:发明
国别省市:荷兰,NL
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。