一种tile大小感知的360度视频比特率分配方法组成比例

本发明专利技术公开了一种tile大小感知的360度视频比特率分配方法，该方法谨慎地降低了少量大tile的质量，从而为大量的小tile分配更多的网络带宽，在不过度牺牲大tile的质量的条件下，提高视频整体的感知质量。由于当tile较小时，随着tile大小的小幅增大，质量会显著提高，但是当tile增大到一定程度后，质量的提高速度明显变慢，本发明专利技术可以更优地为每个tile分配网络带宽，提高视频整体的感知质量，从而改善用户的观看体验。的观看体验。

A tile size aware 360 degree video bit rate allocation method

【技术实现步骤摘要】
一种tile大小感知的360度视频比特率分配方法


[0001]本专利技术属于视频流媒体技术，具体涉及一种tile大小感知的360度视频比特率分配方法。

技术介绍

[0002]360度视频可以给用户带来更加沉浸式的体验，近年来，360度视频越来越受欢迎。由于全景的特点，360度视频与传统视频相比，需要更高的网络带宽，并且用户在某个时刻只能观看全景视频的一部分，即视口部分，传输视口外视频内容的这部分带宽是浪费的。在这样的背景下，许多基于tile的视口自适应的360度视频传输方法被提出，首先将投影到平面的360度视频视频编码为不同的码率等级，然后以固定的时间间隔切割为视频块，并将这些视频块在空间上切割为多个tile，存储在HTTP服务器上。客户端播放时，运行自适应比特率(Adaptive Bitrate Algorithm，ABR)算法，根据用户视口(Field of View，FOV)和网络条件为每个tile选择合适的码率等级，以实现高质量的体验(Quality of Experience，QoE)。
[0003]目前的360度视频媒体系统大多采用比特率作为质量评估指标，并侧重于提高tile的比特率。然而，这些方法有两个局限性。首先，虽然视频比特率被广泛用于评估视频质量，但用于衡量视频感知质量的指标对提高用户的观看体验更为重要。此外，目前大多数ABR方法都没有考虑视频切割后得到的tile之间大小的显著变化性。在实践中，不同视频块甚至同一个视频块中的tile大小显示出显著的可变性。如果将大部分带宽分配给高比特率的大tile，那么大量低比特率的小tile将无法获得足够的带宽，从而导致整体视频质量低下。

技术实现思路

[0004]针对为360度视频不同tile分配合适的比特率的问题，本专利技术提供一种tile大小感知的360度视频比特率分配方法，该方法小心地降低了少量大tile的质量，从而为大量的小tile分配更多的网络带宽，从而提高了整体视频的感知质量，并且不会过度牺牲大tile的质量。由于当tile较小时，随着tile大小的小幅增大，质量会显著提高，但是当tile增大到一定程度后，质量的提高速度明显变慢，本专利技术可以更优地为tile分配网络带宽，从而改善用户的观看体验。
[0005]一方面，本专利技术提供的一种tile大小感知的360度视频比特率分配方法，应用于服务器端，包括以下步骤：
[0006]服务器端的视频处理按以下步骤操作：
[0007]步骤1
‑
1：将360度视频投影到2D平面，并编码为不同的比特率等级；
[0008]步骤1
‑
2：将所有比特率等级下的视频以固定的时间间隔切割为视频块，并进一步将视频块在空间维度切割为若干个tile；
[0009]步骤1
‑
3：统计每个tile的大小，计算每个tile的VMAF，并把每个tile的相关信息
存储在清单文件中。
[0010]服务器端接收客户端的请求和做出响应按以下步骤操作：
[0011]步骤2
‑
1：接收来自客户端的tile请求；
[0012]步骤2
‑
2：服务端向客户端发送相应的tile，转至步骤2
‑
1继续接收来自客户端的tile请求。
[0013]第二方面，本专利技术提供一种tile大小感知的360度视频比特率分配方法，应用于客户端，包括以下步骤：
[0014]步骤1
‑
1：更新客户端缓冲区数据，预测当前视频块的总比特率和当前的视口位置。
[0015]步骤2
‑
1：向服务器请求当前视频块的清单文件，包括各tile的位置信息，大小信息，质量信息等。
[0016]tile比特率分配过程包括：
[0017]步骤3
‑
1：根据清单文件中的信息和视口位置，为所有视口外的tile分配最低比特率等级，并更新剩余带宽；
[0018]步骤3
‑
2：在带宽的约束下，为视口内的tile选择相同的最高比特率等级，并更新剩余带宽；
[0019]步骤3
‑
3：把视口内的tile分出两类，Class1：VMAF大且存储大小大的tile，Class2：VMAF小且存储大小小的tile；
[0020]步骤3
‑
4：选择Class1中VMAF与存储大小乘积最大的tile，记为l；选择Class2中VMAF与存储大小乘积最小的tile，记为s；
[0021]步骤3
‑
5：把tile l的比特率等级降低一级，更新剩余带宽；
[0022]步骤3
‑
6：判断剩余带宽是否够把tile s的比特率等级提升一级，如果是则转至步骤3
‑
7，否则转至步骤3
‑
4；
[0023]步骤3
‑
7：把tile s的比特率等级提升一级，更新剩余带宽；
[0024]步骤3
‑
8：判断是否满足tile l的质量等级降到最低或者VMAF低于阈值，或者tile s的质量等级升到最高或者VMAF高于阈值，如果是转至步骤4
‑
1；否则转至步骤3
‑
4；
[0025]步骤4
‑
1：按照比特率分配结果向服务器请求tile；
[0026]步骤5
‑
1：判断视频播放是否完成，如果是则结束，否则转至步骤2
‑
1。
[0027]第三方面，本专利技术提供的一种客户端，包括：
[0028]更新模块，用于更新客户端缓冲区的数据；
[0029]预测模块，用户预测用户视口信息和网络带宽；
[0030]比特率分配模块，用于为每个tile分配合适的比特率；
[0031]请求模块，用于向服务器发送请求；
[0032]接收模块，用于从服务器接收响应；
[0033]缓存模块，用于将接收到的tile，存放在缓冲区。
[0034]第四方面，本专利技术提供的一种服务器，包括：
[0035]视频处理模块，将投影到2D平面的360度视频，编码为不同的比特率等级，在时间和空间维度切割为若干个tile；
[0036]信息收集模块，用于统计计算所有tile的信息，包括大小，VMAF，位置；
[0037]请求接受模块，用于接受客户端的请求，包括清单文件的请求和tile；
[0038]请求响应模块，用于向客户端发送相应的请求文件和视频。
[0039]第五方面，本专利技术提供的一种系统，包括上述应用所述tile大小感知的360度视频比特率分配技术的客户端和服务器，所述客户端与所述服务器通信连接。
[0040]第六方面，本专利技术提供的一种可读存储介质，存储了计算机程序，处理器调用计算机程序以执行所述的tile大小感知的360度视频比特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种tile大小感知的360视频比特率分配方法，应用于客户端，其特征在于：包括以下步骤：步骤1
‑
1：更新客户端缓冲区数据，预测当前视频块的总比特率和当前的视口位置。步骤2
‑
1：向服务器请求当前视频块的清单文件，包括各tile的位置信息，大小信息，质量信息等。tile比特率分配过程包括：步骤3
‑
1：根据清单文件中的信息和视口位置，为所有视口外的tile分配最低比特率等级，并更新剩余带宽；步骤3
‑
2：在带宽的约束下，为视口内的tile选择相同的最高比特率等级，并更新剩余带宽；步骤3
‑
3：把视口内的tile分出两类，Class1：VMAF大且存储大小大的tile，Class2：VMAF小且存储大小小的tile；步骤3
‑
4：选择Class1中VMAF与存储大小乘积最大的tile，记为l；选择Class2中VMAF与存储大小乘积最小的tile，记为s；步骤3
‑
5：把tile l的比特率等级降低一级，更新剩余带宽；步骤3
‑
6：判断剩余带宽是否够把tile s的比特率等级提升一级，如果是则转至步骤3
‑
7，否则转至步骤3
‑
4；步骤3
‑
7：把tile s的比特率等级提升一级，更新剩余带宽；步骤3
‑
8：判断是否满足tile l的质量等级降到最低或者VMAF低于阈值，或者tile s的质量等级升到最高或者VMAF高于阈值，如果是转至步骤4
‑
1；否则转至步骤3
‑
4；步骤4
‑
1：按照比特率分配结果向服务器请求tile；步骤5
‑
1：判断视频播放是否完成，如果是则结束，否则转至步骤2
‑
1。2.一种tile大小感知的360视频比特率分配方法，应用于服务器，其特在于：包括以下步骤：服务器端的视频处理按以下步骤操作：步骤1
‑
1：将360视频投影到2D平面，并编码为不同的比特率等级；步骤1
‑
2：将所有比特率等级下的视频以固定的时间间隔切割为视频块，并进一步将视频块在空间维度切割为若干个tile；步骤1
‑
3：统计每个tile的大小，计算每个tile的VMAF，并把每个tile的相关信息存储在清单文件中；服务器端接收客户端的请求和做出响应按以下步骤操作：步骤2
‑
1：接收来自客户端的tile请求；步骤22：服务端向客户端发送相应的tile，转至步骤2
‑
1继续接收来自客户端的tile请求。3.根据权利要求1所述的方法，其特征在于：所述步骤3
‑
...

【专利技术属性】
技术研发人员：刘明月，黄家玮，刘敬玲，李威赫，高枫，王建新，
申请(专利权)人：中南大学，
类型：发明
国别省市：