用于视图优化的360度虚拟现实视频流的系统及方法技术方案

一种用于流式传输已编码虚拟现实(VR)视频流的方法，包括：接收已编码VR视频流的多个片段；将所述多个片段存储在播放缓冲器中；基于确定当前播放时间在缓冲的片段的播放时间的阈值时间内、播放缓冲器的当前持续时间大于阈值持续时间、当前带宽大于阈值带宽、以及当前视口不同于先前视口，将与当前视口对应的至少一个细化的瓦片存储到播放缓冲器中；基于缓冲的片段以及与当前视口对应的至少一个细化的瓦片构建帧；以及基于所构建的帧对已编码VR视频流进行解码。视频流进行解码。视频流进行解码。

【技术实现步骤摘要】
【国外来华专利技术】用于视图优化的360度虚拟现实视频流的系统及方法
交叉引用
[0001]本申请要求于2020年11月13日递交的申请号为17/097,604的美国申请的优先权权益，该申请因此通过引用整体并入。


[0002]本公开总体上涉及数据处理领域，更具体地，涉及有关视图优化的360度虚拟现实(VR)视频流式传输的视频编码和/或解码。

技术介绍

[0003]与常规视频流式传输流水线相比，360度VR视频流式传输提出了几个独特的挑战。例如，360视频的分辨率通常非常大，从4K到16K不等。如果要传送的视频是立体声格式，分辨率会变成两倍大。这种高分辨率的视频还需要非常高带宽的网络来实现实时流式传输。

技术实现思路

[0004]实施例涉及用于流式传输已编码虚拟现实(VR)视频流的方法、系统和计算机可读介质。
[0005]根据一个方面，提供了一种用于流式传输已编码VR视频流的方法。所述方法包括：接收所述已编码VR视频流的多个片段；将所述多个片段存储在播放缓冲器中，其中，来自所述多个片段的缓冲的片段包括多个缓冲的瓦片，所述多个缓本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于使用至少一个处理器接收已编码虚拟现实VR视频流的方法，所述方法包括：接收所述已编码VR视频流的多个片段；将所述多个片段存储在播放缓冲器中，其中，来自所述多个片段的缓冲的片段包括多个缓冲的瓦片，所述多个缓冲的瓦片包括对应于先前视口的至少一个细化的缓冲的瓦片；确定与所述已编码VR视频流对应的VR视频的当前播放时间是否在所述缓冲的片段的播放时间的阈值时间内；确定所述播放缓冲器的当前持续时间是否大于阈值持续时间；确定当前带宽是否大于阈值带宽；确定当前视口是否不同于所述先前视口；基于确定所述当前播放时间在所述阈值时间内、所述播放缓冲器的所述当前持续时间大于所述阈值持续时间、所述当前带宽大于所述阈值带宽、以及所述当前视口不同于所述先前视口，将与所述当前视口对应的至少一个细化的瓦片存储到所述播放缓冲器中；基于所述多个缓冲的瓦片以及与所述当前视口对应的至少一个细化的瓦片，构建与所述缓冲的片段对应的帧；以及基于所构建的帧对所述已编码VR视频流进行解码。2.根据权利要求1所述的方法，其中，所述与所述当前视口对应的至少一个细化的瓦片具有以下至少之一：比所述多个缓冲的瓦片中的至少一个缓冲的瓦片更高的视频质量、以及比所述多个缓冲的瓦片中的至少一个缓冲的瓦片更高的分辨率。3.根据权利要求1所述的方法，还包括：基于确定至少一个所述当前播放时间在所述阈值时间外、所述播放缓冲器的所述当前持续时间小于所述阈值持续时间、所述当前带宽小于所述阈值带宽、以及所述当前视口与所述先前视口并无不同，将所述已编码VR视频流的下一个片段存储到所述播放缓冲器中。4.根据权利要求1所述的方法，还包括:基于确定至少一个所述当前播放时间在所述阈值时间外、所述播放缓冲器的所述当前持续时间小于所述阈值持续时间、所述当前带宽小于所述阈值带宽、以及所述当前视口与所述先前视口并无不同，基于所述多个缓冲的瓦片构建所述与所述缓冲的片段对应的帧。5.根据权利要求1所述的方法，其中，所述当前视口对应于在所述当前播放时间的用户的视场FOV，以及其中，当所述缓冲的片段存储在所述播放缓冲器中时，所述先前视口对应于在先前时间的所述用户的FOV。6.根据权利要求1所述的方法，其中，所述帧通过将所述多个缓冲的瓦片和与所述当前视口对应的所述至少一个细化的瓦片合并来构建。7.根据权利要求1所述的方法，其中，所述多个缓冲的瓦片和与所述当前视口对应的所述至少一个细化的瓦片不是以先进先出FIFO方式从所述播放缓冲器获得的。8.根据权利要求1所述的方法，其中，所述帧是基于对应于所述缓冲的片段的帧读取请求来构建的。9.一种用于接收已编码虚拟现实VR视频流的装置，所述装置包括：至少一个存储器，被配置为存储程序代码；以及
至少一个处理器，被配置为读取所述程序代码并按照所述程序代码的指示进行操作，所述程序代码包括：接收代码，被配置为使所述至少一个处理器接收所述已编码VR视频流的多个片段；第一存储代码，被配置为使所述至少一个处理器将所述多个片段存储在播放缓冲器中，其中，来自所述多个片段的缓冲的片段包括多个缓冲的瓦片，所述多个缓冲的瓦片包括对应于先前视口的至少一个细化的缓冲的瓦片；第一确定代码，被配置为使所述至少一个处理器确定与所述已编码VR视频流对应的VR视频的当前播放时间是否在所述缓冲的片段的播放时间的阈值时间内；第二确定代码，被配置为使所述至少一个处理器确定所述播放缓冲器的当前持续时间是否大于阈值持续时间；第三确定代码，被配置为使所述至少一个处理器确定当前带宽是否大于阈值带宽；第四确定代码，被配置为使所述至少一个处理器确定当前视口是否不同于所述先前视口；第二存储代码，被配置为使所述至少一个处理器基于确定所述当前播放时间在所述阈值时间内、所述播放缓冲器的所述当前持续时间大于所述阈值持续时间、所述当前带宽大于所述阈值带宽、以及所述当前视口不同于所述先前视口，将与所述当前视口对应的至少一个细化的瓦片存储到所述播放缓冲器中；第一构建代码，被配置为使所述至少一个处理器基于所述多个缓冲的瓦片以及与所述当前视口对应的所述至少一个细化的瓦片，构建与所述缓冲的片段对应的帧；以及解码代码，被配...

【专利技术属性】
技术研发人员：沙林，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：