一种基于SVC和DASH的360°视频流调度方法技术

本发明专利技术公开了一种基于SVC和DASH的360°视频流调度方法。方法包括:计算基于SVC编码的全景视频的视频块大小相关性；利用视频块大小相关性预测待下载的视频块大小；使用视频块大小预测结果增强客户端的DASH调度策略。本发明专利技术的方法能有效缓解因VBR视频码率在时间维度呈高度波动且MPD仅提供平均比特率而导致的比特率高估/低估问题，利用层次与/或空间相关性，基于视频块大小预测增强360°视频的调度策略，能有效提升用户感知的播放体验。

【技术实现步骤摘要】
一种基于SVC和DASH的360°视频流调度方法
本专利技术属于移动互联网中360°视频传输领域，尤其涉及一种基于SVC和DASH的360°视频流调度方法。
技术介绍
随着全景摄像技术的出现与廉价交互式显示设备的普及，360°全景视频流媒体正在逐步成为一种流行的互联网服务。多媒体技术正在从为用户提供简单的观看体验演变为提供新型的沉浸式虚拟环境体验。360°全景视频流媒体从制作到被用户消费的整个过程为：首先，通过多个摄像机捕获多个方向/角度的视频，将其拼接缝合并编辑；其次，由于现有的视频编码标准还不支持对球面视频进行编码，因此目前编码360°全景视频需要先选取合适的投影方式(例如等矩形投影、立方体投影等)将其投影到平面视频，再选取合适的编码方式对其编码；接着，通过自适应的网络流媒体传输技术对全景视频内容进行传输；然后，在数据到达目标设备后，对其进行解码操作；最后，通过选取的不同投影方式以及相应的输入/输出技术(如可以通过佩戴头戴式显示器，在360°视频播放过程中自由调整观看视口区域)来指导渲染的过程，最终将360°全景视频呈现在用户眼前。然而，在当前互联网传输360°全景视频依然面临着高带宽和低延迟两大挑战。用户在任一时刻所观看的360°视频，仅为整个球面视频的有限部分。若在网络中传输完整的360°视频，则所传输的位于用户视口之外的视频会极大地浪费资源，包括带宽、存储空间和处理能力。因此，在360°视频流媒体中实现视口自适应的传输，就能为降低带宽、减少延迟带来机会。现有的研究通过带宽预测、视口预测来解决带宽频繁波动与头部运动快速变化对自适应流媒体调度算法造成的影响，但基于VBR编码的视频的码率在时间维度存在高度抖动性。现有的算法都是以MPD文件的平均码率来预测未来视频块的大小，这将会造成比特率高估或低估问题。比特率高估可能会造成视频质量难以提升的问题，而比特率低估可能会造成缓冲区消耗过快甚至干枯的问题，从而制约自适应调度算法的有效性。因此，如何有效缓解比特率高估/低估对ABR算法的影响是亟需解决的问题。
技术实现思路
技术问题：针对现有技术存在的不足，本专利技术的目的是要提供一种基于SVC和DASH的360°视频流调度方法，可以有效地缓解比特率高估/低估对ABR算法的影响，提高视频播放质量，提升用户感知的播放体验。技术方案：为实现本专利技术的目的，本专利技术提供了一种基于SVC和DASH的360°视频流调度方法，该方法包括下述步骤：(1)在空间维度，将每个360°全景视频切分为M个矩形分块；(2)在质量层次维度，使用SVC编码，将每个分块进一步编码为L个质量层次不同的视频分块，即包含一个可独立解码播放的比特率最低的基础层视频分块，以及多个依赖于低层次的逐步提高质量的增强层视频分块；(3)在时间维度，将分块分层后的视频块进一步划分为N个分段，每个分段的持续时间为D秒，同时，为每个分块生成MPD文件，每个MPD文件中包含了此分块的L个层次以及N个分段的信息，并将上述预处理后的视频块文件以及MPD文件存储在服务器端；(4)计算并分析预处理后的基于SVC编码的全景视频的视频块大小相关性；(5)用户选择观看的视频，客户端根据DASH调度策略，按视频时间顺序逐步向服务器发出请求，下载视频块文件，同时渲染播放，直到播放结束，其中，在播放结束前，在客户端逐步下载视频的过程中，利用视频块大小相关性以及预测算法预测待下载视频块的大小，并使用视频块大小预测结果增强客户端的DASH调度策略，以提升此视频还未播放部分的播放质量。进一步的，步骤(4)中的相关性包括(4.1)计算视频块大小的层次相关性和(4.2)计算视频块大小的空间相关性。进一步的，(4.1)计算视频块大小的层次相关性，方法如下：(4.1.1)对每个视频的每个分块的基础层的视频块，按时间顺序统计分段的视频块大小序列为Xlayer；对增强层的视频块，按时间顺序统计分段视频块大小序列为Ylayer；(4.1.2)计算视频块分段大小序列Xlayer与Ylayer之间的相关系数，计算结果作为此分块的层次相关系数；进一步的，(4.2)计算视频块大小的空间相关性，方法如下：(4.2.1)对每个视频的每个分块的所有层次的视频块，将同一时间的分段所对应的不同层次的分段大小累计计算，并按时间顺序统计分段累计大小序列，此序列作为Xspatial；对其相邻分块的所有层次的视频块，将同一时间的分段所对应的不同层次的分段大小累计计算，并按时间顺序统计分段累计大小序列为Yspatial；(4.2.2)计算视频块大小序列Xspatial与Yspatial之间的相关系数，计算结果作为此分块与其相邻分块之间的空间相关系数；进一步的，步骤(5)的具体方法如下：(5.1)客户端对用户选择观看的视频进行初始化下载，初始化下载内容包括：客户端从服务器端拉取的此视频的所有分块的MPD文件，以及调度策略中需要初始化下载的视频块文件；(5.2)客户端在初始化下载后，在客户端逐步下载视频的过程中，基于视频块大小相关性预测待下载视频块的大小，并以此预测结果来增强客户端的DASH调度策略，同时开始按时间顺序播放视频，直到播放结束。进一步的，所述步骤(5.2)中，利用视频块大小相关性以及预测算法来预测待下载视频块的大小，并以此预测结果来增强客户端的DASH调度策略的方法为：(5.2.1)基于待下载视频块所对应的基础层视频块大小、待下载视频块所在分块的增强层与基础层的分段视频块大小序列之间的相关性、以及预测算法，来预测待下载视频块大小，即利用层次相关性以及预测算法进行预测；(5.2.2)基于待下载视频块的相邻分块的同一层次同一分段的视频块大小、待下载视频块与相邻的分块大小序列之间的相关性、以及预测算法，来预测待下载视频块的大小，即利用空间相关性以及预测算法进行预测；(5.2.3)若能利用步骤(5.2.1)和/或(5.2.2)的基于相关性的视频块大小预测算法预测出待下载视频块的大小，则将预测算法预测的视频块大小作为待下载视频块的期望大小；若不能，则使用原有的基于MPD的平均码率计算出的视频块大小作为待下载视频块的期望大小。有益效果：与现有技术相比，本专利技术的技术方案具有如下优点：通过本专利技术所提出的方法，能有效缓解因VBR视频码率在时间维度呈高度波动且MPD仅提供平均比特率而导致的比特率高估/低估问题，利用层次与/或空间相关性，基于视频块大小预测增强360°视频的调度策略，能有效提升用户感知的播放体验。附图说明图1示出了依据本专利技术一实施方式的基于SVC和DASH的360°视频流调度方法流程图；图2示出了依据本专利技术一实施方式的等矩形投影后的视频的空间分块组织方式；图3示出了依据本专利技术一实施方式的层次相关系数与空间相关系数的计算示例；图4示出了依据本专利技术一实施方式的层次与空间Pearson相关系数的CDF图；图5示出了依据本专利技术一实本文档来自技高网...

【技术保护点】
1.一种基于SVC和DASH的360°视频流调度方法，其特征在于，该方法包括下述步骤：/n(1)在空间维度，将每个360°全景视频切分为M个矩形分块；/n(2)在质量层次维度，使用SVC编码，将每个分块进一步编码为L个质量层次不同的视频分块，即包含一个可独立解码播放的比特率最低的基础层视频分块，以及多个依赖于低层次的逐步提高质量的增强层视频分块；/n(3)在时间维度，将分块分层后的视频块进一步划分为N个分段，每个分段的持续时间为D秒，同时，为每个分块生成MPD文件，每个MPD文件中包含了此分块的L个层次以及N个分段的信息，并将上述预处理后的视频块文件以及MPD文件存储在服务器端；/n(4)计算并分析预处理后的基于SVC编码的全景视频的视频块大小相关性；/n(5)用户选择观看的视频，客户端根据DASH调度策略，按视频时间顺序逐步向服务器发出请求，下载视频块文件，同时渲染播放，直到播放结束，其中，在播放结束前，在客户端逐步下载视频的过程中，利用视频块大小相关性以及预测算法预测待下载视频块的大小，并使用视频块大小预测结果增强客户端的DASH调度策略，以提升此视频还未播放部分的播放质量。/n

【技术特征摘要】
1.一种基于SVC和DASH的360°视频流调度方法，其特征在于，该方法包括下述步骤：
(1)在空间维度，将每个360°全景视频切分为M个矩形分块；
(2)在质量层次维度，使用SVC编码，将每个分块进一步编码为L个质量层次不同的视频分块，即包含一个可独立解码播放的比特率最低的基础层视频分块，以及多个依赖于低层次的逐步提高质量的增强层视频分块；
(3)在时间维度，将分块分层后的视频块进一步划分为N个分段，每个分段的持续时间为D秒，同时，为每个分块生成MPD文件，每个MPD文件中包含了此分块的L个层次以及N个分段的信息，并将上述预处理后的视频块文件以及MPD文件存储在服务器端；
(4)计算并分析预处理后的基于SVC编码的全景视频的视频块大小相关性；
(5)用户选择观看的视频，客户端根据DASH调度策略，按视频时间顺序逐步向服务器发出请求，下载视频块文件，同时渲染播放，直到播放结束，其中，在播放结束前，在客户端逐步下载视频的过程中，利用视频块大小相关性以及预测算法预测待下载视频块的大小，并使用视频块大小预测结果增强客户端的DASH调度策略，以提升此视频还未播放部分的播放质量。


2.根据权利要求1所述的一种基于SVC和DASH的360°视频流调度方法，其特征在于，步骤(4)中的相关性包括(4.1)计算视频块大小的层次相关性和(4.2)计算视频块大小的空间相关性。


3.根据权利要求2所述的一种基于SVC和DASH的360°视频流调度方法，其特征在于，(4.1)计算视频块大小的层次相关性，方法如下：
(4.1.1)对每个视频的每个分块的基础层的视频块，按时间顺序统计分段的视频块大小序列为Xlayer；对增强层的视频块，按时间顺序统计分段视频块大小序列为Ylayer；
(4.1.2)计算视频块分段大小序列Xlayer与Ylayer之间的相关系数，计算结果作为此分块的层次相关系数。


4.根据权利要求2所述的一种基于SVC和DASH的360°视频流调度方法，其特征在于，(4.2)计算视频块大小的空间相关性，方法如下：
(4.2.1)对每...

【专利技术属性】
技术研发人员：张国强，吴晨怡，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：江苏;32