多用户360度视频流服务器端码率自适应分配方法及系统技术方案

本发明专利技术提供了一种多用户360度视频流服务器端码率自适应分配方法及系统，所述方法结合服务器处的动态自适应流媒体技术将360度视频流切分为一连串的视频流时间切片，每一个时间切片又切分为多个空间切片，每一个空间切片编码为多个不同码率的版本并缓存，同时兼顾了各个视频时间切片和空间切片之间联合码率‑失真性能的差异、每个用户端的网络连接情况、预测观看视野范围、头部运动状态以及视频点播概率分布，采用服务器端码率自适应分配算法确定各个用户所需下载的视频空间切片码率版本，最终实现多用户总体视频观看体验的最大化。本发明专利技术提高了360度视频流传输的带宽利用率，为用户提供更好的视频服务质量。

【技术实现步骤摘要】
多用户360度视频流服务器端码率自适应分配方法及系统
本专利技术涉及一种视频通信
的方法，具体的，涉及一种适用于多用户360度视频流服务器端码率自适应分配方法及系统。
技术介绍
360度视频是一种虚拟现实技术的应用，它采用全方位的摄像头去捕捉每一个方位的景象并将这些景象汇集成一个画面以此给用户提供沉浸式的体验。用户在使用过程中将会佩戴一个头盔式的显示器用来观看视频，并且随着头部的方位移动，用户观看的视角也会发生变化。与传统的视频相比，为了达到相同的用户观看清晰度，360度视频流往往需要4-6倍的传输带宽。为了更有效地传输360度视频流，服务器端可以采取只传输当前时刻用户观看视野范围内视频内容来减少带宽消耗的策略。此外，考虑到用户的观看视角会随着用户头部的快速移动而进行快速切换，部分用户观看视野范围之外的视频内容也需要进行传输，但可以编码成非常低的码率版本。用户的观看视野范围由用户头部的位置决定，在对视频内容进行传输之前，需要进行用户头部方位的预测。然而，现有的技术很难精准预测到用户头部运动的方位。为了保证用户观看体验，用户头部方位预测的准确性越低，服务器端所需传输的视频内容就越大，传输所需的带宽也越大。多用户360度视频流的服务器端码率自适应分配技术能在多用户环境下做出视频不同区域的自适应码率选择来平衡用户的观看体验和带宽利用率。经过对现有技术的检索发现，S.Rossi等人在2017年的《IEEEInternationalWorkshoponMultimediaSignalProcessing》会议上发表了题为“Navigation-awareadaptivestreamingstrategiesforomnidirectionalvideo”的文章，该文章利用了视频空间切片技术，进行了动态自适应流策略研究，并提出了一种为每一个空间切片分配下载传输码率的解决方案，以最大化用户的观看体验为目标。但是该文章涉及的应用场景没有考虑用户头部方位的预测，无法适用多用户360度视频流的服务器端码率自适应分配。经检索还发现，A.Ghost等人2017年在arXiv网站上(arXivpreprintarXiv:1704.08215)发表了题为“Arateadaptationalgorithmfortile-based360-degreevideostreaming”的文章，该文章在给定预测的用户观看视野范围和带宽预测的条件下提出了不同的用户观看体验度量方法，并设计出360度视频流的码率自适应分配算法，但是该文章主要考虑单一用户的情形。此外，上述工作都是考虑用户端的码率自适应分配，在此类状况下，用户端基于带宽和缓存占用状况决定最佳的空间切片码率分配。当应用于多用户环境时，由于用户之间对带宽的相互竞争，上述方法不能取得最优的用户观看体验。
技术实现思路
针对现有技术中的缺陷/之一，本专利技术的目的是提供一种适用于多用户360度视频流的服务器端码率自适应分配的方法及系统。为了实现以上目的，本专利技术采用的技术方案是：结合服务器处的动态自适应流媒体技术将360度视频流切分为一连串的视频流时间切片，每一个时间切片又切分为多个空间切片，每一个空间切片编码为多个不同码率的版本并缓存，同时兼顾了各个视频时间切片和空间切片之间联合码率-失真性能的差异、每个用户端的网络连接情况、预测观看视野范围、头部运动状态以及视频点播概率分布，采用服务器端码率自适应分配方法确定各个用户所需下载的视频空间切片码率版本，最终实现多用户总体视频观看体验的最大化。本专利技术提高了360度视频流传输的带宽利用率，为用户提供更好的视频服务质量。根据本专利技术的第一方面，提供一种多用户360度视频流服务器端码率自适应分配方法，包括：在服务器处，使用动态自适应流媒体技术将360度视频流切分为一连串的视频流时间切片，每一个时间切片又切分为多个空间切片，每一个空间切片编码为多个不同码率的版本并缓存；在用户端处，将各用户端的网络条件和用户观看信息反馈给服务器，从服务器上下载分配给当前用户的视频流版本；基于上述，采用参数：服务器处得到的360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络资源限制、用户端的网络资源限制、基于用户观看信息得到的所有用户预测观看视野范围和所有空间切片被观看的概率分布，建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题，采用快速高效的码率分配方法，得到分配给每个用户端最优的空间切片码率版本子集，该子集即各用户端下载的视频流版本。优选地，所述服务器，使用动态自适应流媒体编码技术将任意一个360度视频文件切分为任意长度的时间切片和任意数目的空间切片，每个时间切片的播放时间长度相同或不相同，每个空间切片有相同或不同的编码码率，并且所有视频文件缓存在服务器中供所有用户端下载。优选地，所述的用户观看信息，可以包括用户的头部运动轨迹，该信息反馈回服务器后，可以预测出用户下一时间端的观看范围，从而得出下一时间段360度视频每个空间切片的被观看概率。优选地，所述适用于多用户360度视频流的服务器端码率自适应分配的优化问题，结合了服务器处得到的360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络带宽限制、用户端的网络带宽限制、基于用户观看信息得到的所有用户预测观看视野范围和所有空间切片被观看的概率分布，并使用用户观看体验最大化建模方法得到。更优选地，所述建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题，具体如下：目标优化问题：约束条件：其中，为用户集合，为空间切片集合，为时间切片集合，定义第t个时间切片中包含下一时刻预测出的用户观看视野范围的空间切片集合为为弥补预测误差，周围一部分区域的空间切片定义为集合用户可能观看到空间切片集合定义为优化变量为：R表示空间切片码率版本向量，具体的，某一个元素Ri,k,t表示第k个用户播放的第t个时间切片中的第i个空间切片的码率版本，定义Pi,k,t为第t个时间切片中第i个空间切片的被第k个用户观看的概率；{R1,R2,…,Rm}为服务器处得到的360度视频不同码率版本的时间和空间切片组成的全集；定义函数U(·)为效用函数，服务器的网络带宽容量为Bs，用户端k处的网络带宽容量为Bk；优化目标为：最大化所有用户的预期效用函数之和；约束条件为：1)网络带宽限制条件，即服务器端带宽约束和用户端带宽约束；2)码率版本限制条件，即码率版本为离散变量，用户不可能观看区域的空间切片保持最低的码率版本，而在最可能观看的区域中，应该尽可能地分配高码率版本并保持码率版本一致。优选地，所述的码率分配方法，在为各用户分配每个空间切片具体的码率版本时，采用具有多项式时间复杂度和高近似优化性能的最速梯度上升算法，最终快速高效地得到分配给每个用户最优的空间切片码率版本子集。更优选地，所述的码率分配方法，具体执行步骤为：初始化：设置初始局部最优解集合为满足优化问题所有约束条件且能使算法收敛的最小可行解集合、初始搜索集合为所有用户当前时刻所需传输的360度视频时间切片中空间切片组成的全集，以及初始步数为1；迭代搜索步骤：根据已有的局部最优解集合，在搜索集合中寻找使得总用户观看体验增量与码率代价的比值最大的元素，所本文档来自技高网...

【技术保护点】
1.一种多用户360度视频流服务器端码率自适应分配方法，其特征在于，包括：在服务器处，使用动态自适应流媒体技术将360度视频流切分为一连串的视频流时间切片，每一个时间切片又切分为多个空间切片，每一个空间切片编码为多个不同码率的版本并缓存；在用户端处，将各用户端的网络条件和用户观看信息反馈给服务器，从服务器上下载分配给当前用户的视频流版本；基于上述，采用参数：服务器处得到的360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络资源限制、用户端的网络资源限制、基于用户观看信息得到的所有用户预测观看视野范围和所有空间切片被观看的概率分布，建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题，采用快速高效的码率分配方法，得到分配给每个用户端最优的空间切片码率版本子集，该子集即各用户端下载的视频流版本。

【技术特征摘要】
1.一种多用户360度视频流服务器端码率自适应分配方法，其特征在于，包括：在服务器处，使用动态自适应流媒体技术将360度视频流切分为一连串的视频流时间切片，每一个时间切片又切分为多个空间切片，每一个空间切片编码为多个不同码率的版本并缓存；在用户端处，将各用户端的网络条件和用户观看信息反馈给服务器，从服务器上下载分配给当前用户的视频流版本；基于上述，采用参数：服务器处得到的360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络资源限制、用户端的网络资源限制、基于用户观看信息得到的所有用户预测观看视野范围和所有空间切片被观看的概率分布，建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题，采用快速高效的码率分配方法，得到分配给每个用户端最优的空间切片码率版本子集，该子集即各用户端下载的视频流版本。2.根据权利要求1所述的多用户360度视频流服务器端码率自适应分配方法，其特征在于，所述服务器，使用动态自适应流媒体编码技术将任意一个360度视频文件切分为任意长度的时间切片和任意数目的空间切片，每个时间切片的播放时间长度相同或不相同，每个空间切片有相同或不同的编码码率，并且所有视频文件缓存在服务器中供所有用户端下载。3.根据权利要求1所述的多用户360度视频流服务器端码率自适应分配方法，其特征在于，所述用户观看信息包括用户的头部运动轨迹，该信息反馈回所述服务器后，能预测出用户下一时间段的观看范围，从而得出下一时间段360度视频每个空间切片的被观看概率。4.根据权利要求1-3任一项所述的多用户360度视频流服务器端码率自适应分配方法，其特征在于，所述适用于多用户360度视频流的服务器端码率自适应分配的优化问题，结合了所述服务器处得到的360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络带宽限制、用户端的网络带宽限制、基于用户观看信息得到的所有用户预测观看视野范围和所有空间切片被观看的概率分布，并使用用户观看体验最大化建模方法得到。5.根据权利要求4所述的多用户360度视频流服务器端码率自适应分配方法，其特征在于，所述建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题，具体如下：目标优化问题：约束条件：其中，为用户集合，为空间切片集合，为时间切片集合，定义第t个时间切片中包含下一时刻预测出的用户观看视野范围的空间切片集合为为弥补预测误差，周围一部分区域的空间切片定义为集合用户可能观看到空间切片集合定义为优化变量为：R表示空间切片码率版本向量，具体的，某一个元素Ri,k,t表示第k个用户播放的第t个时间切片中的第i个空间切片的码率版本，定义Pi,k,t为第t个时间切片中第i个空间切片的被第k个用户观看的概率；{R1,R2,…,Rm}为服务器处得到的360度视频不同码率版本的时间和空间切片组成的全集；定义函数U(·)为效用函数，服务器的网络带宽容量为Bs，用户端k处的网络带宽容量为Bk；优化目标为：最大化所有用户的预期效用函数之和；约束条件为：1)网络带宽限制条件，即服务器端带宽约束和用户端带宽约束；2)码率版本限制条件，即码率版本为离散变量，用户不可能观看区域的空间切片保持最低的码率版本，而在最可能观看的区域中，应该尽可能地分配高码率版本并保持码率版本一致。6.根据权利要求1-5任一项所述的多用户360度视频流服务器端码率自适应分配方法，其特征在于，所述码率分配方法，在为各用户分配每个空间切片具体的码率版本时，采用具有多项式时间复杂度和高近似优化性能的最速梯度上升算法，最终快速高效地得到分配给每个用户最优的空间切片码率版本子集。7.根据权利要求6所述的多用户360度视频流服务器端码率自适应分配方法，其特征在于，所述码率分配方法...

【专利技术属性】
技术研发人员：邹君妮，阚诺文，唐可欣，李成林，熊红凯，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31