多用户全景视频传输方法技术

本发明专利技术提供了一种多用户全景视频传输方法，具有这样的特征，包括以下步骤：步骤1，为多用户全景视频传输问题定义模型，并量化QoE指标；步骤2，码率决策器记录所有参与流媒体传输的客户端的状态，若用户数量≤5，使用全局最优化算法对全景视频传输带宽进行分配，并且使用遍历码率分配方案求解多用户的全局QoE最优解；若用户数量大于5，使用基于用户缓存队列长度的启发式分配方法对全景视频传输带宽进行分配；步骤3，客户端请求视频块，服务器端响应并推送数据，其中，步骤1中，对于用户c对视频块i的QoE，其具体定义为视口清晰度Q、帧内质量平滑度V

【技术实现步骤摘要】
多用户全景视频传输方法


[0001]本专利技术属于流媒体视频传输领域，具体涉及一种多用户全景视频传输方法。

技术介绍

[0002]360
°
视频亦称作全景视频(Panoramic video或Omnidirectional video)，指能通头盔式VR设备、手机或拖拽电脑屏幕等方式让观看者在任何一刻能够看到360
°
全方位场景的视频。视频的采集通常借助多摄像头全景相机与相应的拼接算法实现，然后通过等距柱状投影(ERP,Equirectangular Projection)或矩形球面投影(CMP,Cubemap Projection)等投影算法将球面视频仿射到二维平面。
[0003]360
°
视频正在得到几乎所有主流内容提供商以及大众用户越来越广泛的关注。包括爱奇艺、Facebook、网飞以及Hulu等服务商都在加紧对360
°
视频技术相关探索以及生态的建设。但与此同时，360
°
视频传输所面临的挑战要远超传统的平面视频传输。为了向用户提供沉浸式体验，360
°
视频需要传输整个观影球面上足够清晰的内容，这使得360
°
视频若想达到与普通视频相同主观清晰度，其视频码率会极大增加，下面举例来说明两者在传输时体现出的差别。一般的视频常用PPI(Pixels per Inch)来衡量视频的清晰度，即屏幕上每英寸空间上的像素点数量；而在VR视频清晰度量化表述中，则使用PPD(Pixels per Degree)这一指标，它是指在每单位弧度上显示的像素点个数，两者在观察者与屏幕的距离一定时可以相互转换。对于一个PPD为40且人眼观察范围为48
°
的普通视频来说，其在传输时的码率大约在5Mbps左右；与之相对应的是对于一个360
°
视频，要达到同样的观看质量(相同的PPD)则需要占用接近400Mbps，80倍于普通视频的带宽。
[0004]许多研究做了深入的探索希望能在不降低观看者对视频质量的主观感受的前提下，降低传输360
°
视频所占用的带宽资源。基于方格(Tile
‑
based)的360
°
传输方法在这一背景下被提出，但其缺点在于，与传统的自适应码率传输算法一样，目前所有基于方格的客户端侧算法性能受到客户端对网络带宽估计误差的极大限制，而基于方格的算法中视角预测误差量的引入更是给相关的算法设计提出了更大的挑战。
[0005]现有的全景视频传输算法在预测带宽与用户视角时由于预测的不准确会导致大量误差，造成QoE的大幅下降。造成这种情况的一个重要的原因在于目前的算法都是从客户端的角度进行变量的预测，但客户端对于整个网络有限的先验知识，限制了这类方法所能达到的性能上限。

技术实现思路

[0006]本专利技术是为了解决上述问题而进行的，目的在于提供一种多用户全景视频传输方法。
[0007]本专利技术提供了一种多用户全景视频传输方法，具有这样的特征，包括以下步骤：步骤1，为多用户全景视频传输问题定义模型，并量化QoE指标；步骤2，码率决策器记录所有参与流媒体传输的客户端的状态，若用户数量小于等于5，使用全局最优化算法对全景视频传
输带宽进行分配，并且使用遍历码率分配方案求解多用户的全局QoE最优解，从而为每个用户分配合理的视频方格请求码率，若用户数量大于5，使用基于用户缓存队列长度的启发式分配方法对全景视频传输带宽进行分配；步骤3，客户端请求视频块，服务器端响应并推送数据，其中，步骤1中，对于用户c对视频块i的QoE，其具体定义为视口清晰度Q、帧内质量平滑度V
I
、帧间质量平滑度V
iB
以及卡顿时长T
iS
这四个因素的加权和，步骤2还包括，在得出分配结果后，码率决策器一方面向内部控制器上安装计量表项以控制特定对服务端与客户端的端到端的流速，另一方面将分配结果返回给相应的客户端。
[0008]在本专利技术提供的多用户全景视频传输方法中，还可以具有这样的特征：其中，步骤1具体包括：将一个完整的视频表述为一系列连续的视频块的集合，H＝{1,2,3,...,N}，每一个视频块包含有一段独立编码的长度为L秒的视频片段，最后一个视频块H
N
除外，其中每个视频块都会被编码为多个清晰度级别，并保存为不同的文件；令R＝{1,2,3,...,K}表示所有可以选择的码率级别的集合，并用r
i
∈R表示在视频传输过程中，对于第i个视频块决策算法所具体选择的视频码率；集合U则表示所有加入该视频传输系统的用户，其中用户总数为P，对于单独的某个用户端，自行维护一个缓存视频队列以避免卡顿的发生，当客户端开始下载视频块H
i
时，其缓存队列的长度用B
i
表示，另外用BW
all
表示决策器可用来分配的总的带宽资源，而某个特定的用户c被分配到的带宽为BW
c
。
[0009]在本专利技术提供的多用户全景视频传输方法中，还可以具有这样的特征：其中，步骤2中，视口清晰度Q的计算公式如下：
[0010][0011]p
VP
指代用户视线焦点的坐标；p
tile
‑
j
指代编号为j的方格的中心点坐标；M是组成一个视频块的方格的总数；函数distance(p1，p2)计算坐标点p1,p2之间的球面距离；θ(
·
)是一个最大值位于坐标原点的凸函数，它的作用是为视口内不同的方格赋予权重，距离用户注视点越近的方格将获得更大的权重，反之亦然，最后x
j
用于判断方格j是否位于视口之内：
[0012][0013]h(
·
)是一个映射函数，它将方格文件的码率映射为人眼主观上对视频质量感受。
[0014]在本专利技术提供的多用户全景视频传输方法中，还可以具有这样的特征：其中，函数h(
·
)的实现方法为：使用结构相似性或图像峰值信噪比作为视频质量的映射函数，计算峰值信噪比首先需要计算均方误差，对于一幅图像来说，其均方误差为原无损图像与目标图像对应两两像素点之间差值平方的均值，其计算公式如下：
[0015][0016]其中W是图像中的像素点总数，S为原无损图像，T为带噪图像，在此基础上，峰值信噪比(dB)定义为：
[0017][0018]其中MAX是像素点可能的最大取值。
[0019]在本专利技术提供的多用户全景视频传输方法中，还可以具有这样的特征：其中，帧内质量平滑度V
I
用以下标准来度量：
[0020][0021]其中，StdDev(
·
)函数计算集合内所有元素的标准差，
[0022]帧间质量平滑度V
iB
为当前请求视频块质量与上一个请求的视频块的质量差值的绝对值，其度量方式如下：...

【技术保护点】

【技术特征摘要】
1.一种多用户全景视频传输方法，其特征在于，包括以下步骤：步骤1，为多用户全景视频传输问题定义模型，并量化QoE指标；步骤2，码率决策器记录所有参与流媒体传输的客户端的状态，若用户数量小于等于5，使用全局最优化算法对全景视频传输带宽进行分配，并且使用遍历码率分配方案求解多用户的全局QoE最优解，从而为每个用户分配合理的视频方格请求码率，若用户数量大于5，使用基于用户缓存队列长度的启发式分配方法对全景视频传输带宽进行分配；步骤3，客户端请求视频块，服务器端响应并推送数据，其中，步骤1中，对于用户c对视频块i的QoE，其具体定义为视口清晰度Q、帧内质量平滑度V
I
、帧间质量平滑度V
iB
以及卡顿时长T
iS
这四个因素的加权和，步骤2还包括，在得出分配结果后，所述码率决策器一方面向内部控制器上安装计量表项以控制特定对服务端与客户端的端到端的流速，另一方面将分配结果返回给相应的客户端。2.根据权利要求1所述的多用户全景视频传输方法，其特征在于：其中，步骤1具体包括：将一个完整的视频表述为一系列连续的视频块的集合，H＝{1,2,3,...,N}，每一个视频块包含有一段独立编码的长度为L秒的视频片段，最后一个视频块H
N
除外，其中每个视频块都会被编码为多个清晰度级别，并保存为不同的文件；令R＝{1,2,3,...,K}表示所有可以选择的码率级别的集合，并用r
i
∈R表示在视频传输过程中，对于第i个视频块决策算法所具体选择的视频码率；集合U则表示所有加入该视频传输系统的用户，其中用户总数为P，对于单独的某个用户端，自行维护一个缓存视频队列以避免卡顿的发生，当客户端开始下载视频块H
i
时，其缓存队列的长度用B
i
表示，另外用BW
all
表示决策器可用来分配的总的带宽资源，而某个特定的用户c被分配到的带宽为BW
c
。3.根据权利要求2所述的多用户全景视频传输方法，其特征在于：其中，步骤2中，所述视口清晰度Q的计算公式如下：p
VP
指代用户视线焦点的坐标；p
tile
‑
j
指代编号为j的方格的中心点坐标；M是组成一个视频块的方格的总数；函数distance(p1，p2)计算坐标点p1,p2之间的球面距离；θ(
·
)是一个最大值位于坐标原点的凸函数，它的作用是为视口内不同的方格赋予权重，距离用户注视点越近的方格将获得更大的权重，反之亦然，最后x
j
用于判断方格j是否位于视口之内：h(
·
)是一个映射函数，它将方格文件的码率映射为人眼主观上对视频质量感受。4.根据权利要求3所述的多用户全景视频传输方法，其特征在于：其中，函数h(
·
)的实现方法为：使用结构相似性或图像峰值信噪比作为视频质量的映射函数，计算峰值信噪比首先需要计算均方误差，对于一幅图像来说，其均方误差为原无损图像与目标图像对应两两像素点之间差值平方的均值，其计算公式如下：
其中W是图像中的像素点总数，S为原无损图像，T为带噪图像，在此基础上，峰值信噪比(dB)定义为：其中MAX是像素点可能的最大取值。5.根据权利要求2所述的多用户全景视频传输方法，其特征在于：其中，所述帧内质量平滑度V
I
用以下标准来度量：其中，StdDev(
·
)函数计算集合内所有元素的标准差，所述帧间质量平滑度V
iB
为当前请求视频块质量与上一个请求的视频块的质量差值的绝对值，其度量方...

【专利技术属性】
技术研发人员：徐跃东，张超，吴俊，
申请(专利权)人：复旦大学，
类型：发明
国别省市：