当前位置: 首页 > 专利查询>皇家KPN公司专利>正文

流式传输虚拟现实视频制造技术

技术编号:21440307 阅读:32 留言:0更新日期:2019-06-22 15:02
提供了用于在将虚拟现实[VR]视频流式传输到VR渲染设备时使用的方法和设备。VR视频可以由多个流表示,所述多个流中的每个提供场景的不同图像数据。VR渲染设备可以基于流的第一子集来渲染该场景的被选视图。例如基于空间关系数据,然后可以标识流的第二子集,其提供该场景的与流的第一子集的图像数据在空间上相邻的图像数据。在已经标识流的第二子集之后,可以在网络高速缓存中实现第二子集的缓存,该网络高速缓存被包括在网络中的一个或多个流源的下游和VR渲染设备的上游。流的第二子集可以有效地表示用于流的第一子集的图像数据的“保护带”。通过在网络高速缓存中缓存该“保护带”,可以减少在请求来自第二子集的一个或多个流与VR渲染设备接收它们之间的延迟。

【技术实现步骤摘要】
【国外来华专利技术】流式传输虚拟现实视频
本专利技术涉及将虚拟现实[VR]视频流式传输到VR渲染设备的方法。本专利技术进一步涉及包括用于使处理器系统执行该方法的指令的计算机程序,涉及VR渲染设备,并且涉及用于在VR视频的流式传输时使用的转发节点。
技术介绍
虚拟现实(VR)涉及使用计算机技术来模拟用户在虚拟环境中的物理存在。通常,VR渲染设备利用头戴式显示器(HMD)向用户渲染(render)虚拟环境,但是也可以使用其他类型的VR显示器和渲染技术,包括但不限于全息术和洞穴状自动虚拟环境。已知使用这样的VR渲染设备来渲染VR视频,例如适合于由VR渲染设备播出的视频。VR视频可以提供场景的全景视图,其中术语“全景视图”是指例如至少180度的视图。VR视频甚至可以提供更大的视图,例如360度,从而向用户提供更加沉浸的体验。VR视频可以被作为单个视频流而流式传输到VR渲染设备。然而,如果要以高质量并且可能以3D流式传输整个全景视图,则这可能需要大量的带宽,即使在使用现代视频编码技术时也是如此。例如,带宽要求可能容易达到数十或数百Mbps。因为VR渲染设备经由带宽受限的接入网(例如,数字订户线(DSL)或无线LAN(WLAN)连接或移动连接(例如,UMTS或LTE))频繁地流式传输视频流,所以单个视频流的流式传输可能对接入网造成很大负担,或者这样的流式传输甚至可能根本不可行。例如,由于重新缓冲,播出可能被频繁地中断,立即结束用户的任何沉浸。此外,这样的大视频流的接收、解码和处理可能导致高计算负荷和/或高功耗,这两者对于许多设备(尤其移动设备)是不利的。已经认识到:在任何给定的时刻,VR视频的一大部分可能对用户不可见。这一点的原因是VR渲染设备的显示器的视野(FOV)通常显著小于VR视频的视野。例如,HMD可以提供100度FOV,其显著小于例如VR视频提供的360度。照此,已经提出了仅流式传输VR视频的对VR渲染设备的用户当前可见的部分。例如,VR视频可以被在空间上分割成多个(通常)不重叠的视频流,每个视频流提供场景的不同视图。当用户例如通过旋转他/她的头部来改变视角时,VR渲染设备可以确定另一个视频流(此后也被简称为“新”视频流)被需要并通过请求来自流源的新视频流而切换到新视频流。不利的是,在用户物理地改变视角与新视图实际由VR渲染设备渲染之间的延迟可能太大。该延迟此后也被称为“切换等待时间”,并且由于延迟的合计而相当大,其中在请求新视频流与新视频流实际到达VR渲染设备之间的延迟通常是最大的。其他通常不太大的延迟包括由于视频流的解码所造成的延迟、在头部旋转的测量中的延迟等。已经进行了各种尝试来解决等待时间问题。例如,已知将多个视频流分割成部分重叠的视图,从而提供所谓的“保护带”,其包含恰好在当前视图之外的视频内容。保护带的大小通常取决于头部旋转的速度和切换视频流的等待时间。不利的是,考虑到特定带宽可用性,在给定一定量的可用带宽的情况下保护带的使用降低视频质量,因为较少带宽可用于对用户实际可见的视频内容。还已知(例如通过预测用户的头部旋转)预测将需要哪个视频流,并且提前请求和流式传输新视频流。然而,如在保护带的情况下,然后还分配带宽用于流式传输不可见的视频内容,从而减少可用于流式传输当前可见视频内容的带宽。还已知在新视频流的传输中使I帧优先化。在这里,术语I帧是指图像组(GOP)中的可独立解码的帧。尽管这确实可能减少切换等待时间,但是减少的量可能不足。特别地,I帧的优先化没有解决在请求新视频流与新视频流的分组实际到达VR渲染设备之间通常相当大的延迟。US20150346832A1描述一种生成环境的3D表示的回放设备,该3D表示例如经由头戴式显示器而被显示给客户端设备的用户。据说回放设备确定环境的哪个部分对应于用户的主视野。该设备然后从优先级角度选择以被指定的流以高速率(例如,全分辨率)接收那部分作为主要流。来自提供与环境的其他部分对应的内容的一个或多个其他流的内容也可以被接收,但是通常以较低的数据速率。US20150346832A1的回放设备的缺点是它可能未足够减少切换等待时间。另一个缺点是回放设备可能减少可用于流式传输可见视频内容的带宽。
技术实现思路
获得VR视频的流式传输将是有利的,其解决了US20150346832A1的上述问题中的至少一个。本专利技术的以下方面涉及VR渲染设备基于多个流的第一子集渲染或设法渲染场景的被选视图。作为响应,提供在空间上相邻的图像数据的流的第二子集可以被缓存在网络高速缓存中。因而不需要在网络高速缓存中不加区别地缓存所述多个流的全部。根据本专利技术的第一方面,可以提供一种用于在将VR视频流式传输到VR渲染设备时使用的方法,其中VR视频可以由多个流表示,所述多个流中的每个提供场景的不同图像数据,其中VR渲染设备可以被配置成基于所述多个流中的一个或多个来渲染场景的被选视图。该方法可以包括:-获得空间关系数据,该空间关系数据指示如由所述多个流提供的场景的不同图像数据之间的空间关系;-标识渲染被选视图所需的一个或多个流,从而标识流的第一子集;-通过使用空间关系数据来标识流的第二子集,该流的第二子集提供该场景的与流的第一子集的图像数据在空间上相邻的图像数据;-获得流元数据,该流元数据标识网络中的提供对流的第二子集的访问的一个或多个流源;以及-实现流的第二子集在网络高速缓存中的缓存,该网络高速缓存被包括在网络中的所述一个或多个流源的下游和VR渲染设备的上游。根据本专利技术的另一方面,可以提供一种包括计算机程序的暂时性或非暂时性计算机可读介质。该计算机程序可以包括用于使处理器系统执行所述方法的指令。根据本专利技术的另一方面,可以提供一种用于在将VR视频流式传输到VR渲染设备时使用的网络高速缓存。该网络高速缓存可以包括:-用于与网络通信的输入/输出接口;-用于缓存数据的数据贮存器;-高速缓存控制器,其被配置成:-获得空间关系数据,该空间关系数据指示如由所述多个流提供的场景的不同图像数据之间的空间关系;-标识渲染被选视图所需的一个或多个流,从而标识流的第一子集;-通过使用空间关系数据来标识流的第二子集,该流的第二子集提供该场景的与流的第一子集的图像数据在空间上相邻的图像数据;-获得流元数据,该流元数据标识网络中的提供对流的第二子集的访问的一个或多个流源;-使用输入/输出接口来请求来自所述一个或多个流源的流的第二子集的流式传输;以及-将流的第二子集缓存在数据贮存器中。根据本专利技术的另一方面,可以提供一种VR渲染设备。该VR渲染设备可以包括:-用于与网络通信的网络接口;-显示处理器,其被配置成基于多个流中的一个或多个来渲染场景的被选视图;以及-控制器,其被配置成:-获得空间关系数据,该空间关系数据指示如由所述多个流提供的场景的不同图像数据之间的空间关系;-标识渲染被选视图所需的一个或多个流,从而标识流的第一子集;-通过使用空间关系数据来标识流的第二子集,该流的第二子集提供该场景的与流的第一子集的图像数据在空间上相邻的图像数据;以及-通过使用网络接口向网络高速缓存或者向网络中的提供对流的第二子集的访问的一个或多个流源发送消息,实现流的第二子集在网络高速缓存中的缓存,该网络高速缓存被包括在网络中的所述一个或多个流源的下游和VR渲染设备的上游本文档来自技高网
...

【技术保护点】
1.一种用于在将虚拟现实[VR]视频流式传输到VR渲染设备时使用的方法,其中所述VR视频由多个流表示,所述多个流中的每个提供场景的不同图像数据,其中所述VR渲染设备被配置成基于所述多个流中的一个或多个来渲染所述场景的被选视图,所述方法包括:‑ 获得空间关系数据,所述空间关系数据指示如由所述多个流提供的所述场景的不同图像数据之间的空间关系;‑ 标识渲染所述被选视图所需的一个或多个流,从而标识流的第一子集;‑ 通过使用所述空间关系数据来标识流的第二子集,所述流的第二子集提供所述场景的与流的第一子集的图像数据在空间上相邻的图像数据;‑ 获得流元数据,所述流元数据标识网络中的提供对流的第二子集的访问的一个或多个流源;以及‑ 实现流的第二子集在网络高速缓存中的缓存,所述网络高速缓存被包括在所述网络中的所述一个或多个流源的下游和所述VR渲染设备的上游。

【技术特征摘要】
【国外来华专利技术】2016.09.14 EP 16188706.21.一种用于在将虚拟现实[VR]视频流式传输到VR渲染设备时使用的方法,其中所述VR视频由多个流表示,所述多个流中的每个提供场景的不同图像数据,其中所述VR渲染设备被配置成基于所述多个流中的一个或多个来渲染所述场景的被选视图,所述方法包括:-获得空间关系数据,所述空间关系数据指示如由所述多个流提供的所述场景的不同图像数据之间的空间关系;-标识渲染所述被选视图所需的一个或多个流,从而标识流的第一子集;-通过使用所述空间关系数据来标识流的第二子集,所述流的第二子集提供所述场景的与流的第一子集的图像数据在空间上相邻的图像数据;-获得流元数据,所述流元数据标识网络中的提供对流的第二子集的访问的一个或多个流源;以及-实现流的第二子集在网络高速缓存中的缓存,所述网络高速缓存被包括在所述网络中的所述一个或多个流源的下游和所述VR渲染设备的上游。2.根据权利要求1所述的方法,进一步包括:-获得所述VR渲染设备可能渲染所述场景的哪些相邻图像数据的预测;以及-基于所述预测来标识流的第二子集。3.根据权利要求2所述的方法,其中所述VR渲染设备被配置成根据用户的头部运动和/或头部旋转来确定所述场景的被选视图,并且其中获得所述预测包括获得指示所述用户的头部运动和/或头部旋转的跟踪数据。4.根据权利要求1至3中任一项所述的方法,进一步包括基于以下中的至少一个来选择将由流的第二子集提供的所述场景的图像数据的空间大小:-用户的头部运动的测量结果或统计;-用户的头部旋转的测量结果或统计;-由所述VR视频表示的内容的类型;-在所述一个或多个流源与所述网络高速缓存之间的所述网络中的传输延迟;-在所述网络高速缓存与所述VR渲染设备之间的所述网络中的传输延迟;以及-所述VR渲染设备处理流的第一子集的处理延迟。5.根据权利要求1至4中任一项所述的方法,其中流的第二子集可在所述一个或多个流源处以不同的质量等级来访问,并且其中所述方法进一步包括基于以下中的至少一个来选择将以其缓存流的第二子集的质量等级:-在所述一个或多个流源与所述网络高速缓存之间的所述网络中的可用带宽;-在所述网络高速缓存与所述VR渲染设备之间的所述网络中的可用带宽;以及-将由流的第二子集提供的所述场景的图像数据的空间大小。6.根据以上权利要求中任一项所述的方法,进一步包括:-从所述VR渲染设备接收对流的第一子集的流式传输的请求;-基于所述请求来标识流的第一子集。7.根据权利要求6所述的方法,进一步包括:响应于所述请求的接收:-如果可获得,则实现从所述网络高速缓存对流的第一子集的一个或多个流的递送;以及-对于从所述网络高速缓存不可获得的流的第一子集的一个或多个其他流,-向所述一个或多个流源共同请求所述一个或多个其他流与流的第二子集,-实现所述一个或多个其他流到所述VR渲染设备的递送,同时实现流的第二子集在所述网络高速缓存中的缓存。8.根据以上权利要求中任一项所述的方法,...

【专利技术属性】
技术研发人员:HM斯特金OA尼亚穆特SNB甘克尔
申请(专利权)人:皇家KPN公司
类型:发明
国别省市:荷兰,NL

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1