虚拟现实视频传输和下载播放的方法、系统及计算机设备技术方案

本发明专利技术提出了一种虚拟现实视频下载播放的方法及系统、虚拟现实视频传输的方法及系统、计算机设备、计算机可读存储介质，其中虚拟现实视频下载播放的方法，包括：按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，根据视频质量优化模型确定下一播放视频片段；发起视频下载请求，对下一播放视频片段进行下载播放。达到使视窗内质量最大化，以及减少视频片段与片段之间的质量抖动的目的。

Method, System and Computer Equipment of Video Transmission and Download Play in Virtual Reality

【技术实现步骤摘要】
虚拟现实视频传输和下载播放的方法、系统及计算机设备
本专利技术涉及视频
，具体而言，涉及一种虚拟现实视频下载播放的方法及系统、虚拟现实视频传输的方法及系统、计算机设备、计算机可读存储介质。
技术介绍
虚拟现实视频，又称全景视频或360度视频，以其充分的沉浸性、真实性、制作简单性等特点正受到人们的广泛关注。它通过全景摄像机记录三自由度或六自由度的自然图像，从而提供现有普通视频所不能达到的真实感。近几年，随着虚拟现实设备、网络和终端技术的成熟，虚拟现实视频正越来越多地用于影视、游戏、医疗、教育等应用中。然而，高质量的虚拟现实视频服务仍面临若干挑战。其中网络传输是一个关键性问题。虚拟现实视频对网络带宽有较高的消耗，例如，一个分辨率为2K×1K的虚拟现实视频经过压缩编码，需要4Mbps的数据量；若分辨率达到4K×2K，则数据量将上涨至20Mbps，至少需要25Mbps的网络带宽才可以承载。现有互联网带宽难以满足如此高码率虚拟现实视频的流畅播放，进而严重影响其应用。除此之外，由于人眼视度和播放设备的限制，用户在观看全景视频时只能看到视窗内的视频内容。所以，传输整个视频势必会造成浪费。HTTP(HyperTextTransferProtocol，超文本传输协议)动态流媒体技术可以实现基于视窗的自适应传输。其主要包括两个方面，分别是视点自适应和码率自适应。视点自适应技术是指在视窗内传输高质量的视频内容，视窗外传输低质量的视频内容，从而在整体上减少传输数据量。码率自适应技术是指将原始视频在时间上进行切片，切片后将视频片段转化为多种码率，根据当前网络带宽实时调整视频码率，实现视频片段的自适应传输，减少播放卡顿。即便是采用了先进的分块传输模式，若想为用户提供高质量的视频传输服务还面临着很多挑战：1)视频分块获取错误。2)块与块之间边界效应明显。3)视频片段与片段之间的过渡不平滑。造成这些后果主要有三点原因：1)用户视点的变化。由于在虚拟现实视频中，用户可以在360度空间内随意观看视频内容，所以用户视点的变化自然会影响客户端下载内容的变化，若用户在转头时新的视窗内容没有被及时下载，势必会造成视窗内出现黑块，严重影响用户体验。2)视频内容的变化。由于分块传输模式需要将原始视频进行空间和时间上的划分再进行转码，所以即使所有的视频块都被转码成相同的码率，在拼接的过程中相邻块之间乃至相邻视频片段之间还可能出现明显的质量抖动。比如运动的篮球和相对静止的蓝天，即使都转码成某固定码率，我们可能仍会认为篮球的运动较为模糊，而蓝天较为清晰。这是由于视频中运动的物体总是需要更多信息才能代表，而静止的物体则不然，这一特性就使得基于分块的虚拟现实视频传输面临很大挑战。3)网络带宽的变化。为了保证视频的流畅播放，用户在下载过程中需实时根据当前带宽选择合适的视频码率进行下载，所以时间上相邻的视频片段可能就会以不同的码率进行下载，最终造成视频片段过渡不平滑。
技术实现思路
本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。为此，本专利技术的一个方面在于提出了一种虚拟现实视频下载播放的方法。本专利技术的另一个方面在于提出了一种虚拟现实视频下载播放的系统。本专利技术的再一个方面在于提出了一种虚拟现实视频传输的方法。本专利技术的又一个方面在于提出了一种虚拟现实视频传输的系统。本专利技术的又一个方面在于提出了一种计算机设备。本专利技术的又一个方面在于提出了一种计算机可读存储介质。有鉴于此，根据本专利技术的一个方面，提出了一种虚拟现实视频下载播放的方法，包括：按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，根据视频质量优化模型确定下一播放视频片段；发起视频下载请求，对下一播放视频片段进行下载播放。本专利技术提供的虚拟现实视频下载播放的方法，对网络中的用户同时执行视点自适应和码率自适应两个操作，两种自适应技术相辅相成，共同提升用户的观看体验。并且结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，提出一种视频质量优化模型，并将模型转化为一个最优化问题，通过解决此最优化问题来选择下一播放视频片段，从而达到使视窗内质量最大化，以及减少视频片段与片段之间的质量抖动的目的。根据本专利技术的上述虚拟现实视频下载播放的方法，还可以具有以下技术特征：在上述技术方案中，优选地，当前播放视频片段和下一播放视频片段均为在空间和时间上进行切片以及进行转码后的视频片段；视频质量优化模型为：其中，Φ(X)代表视频整体的失真情况，Ψ(X)代表视频整体的空间质量抖动情况，η代表空间质量抖动情况的权重，Θ(X)代表视频整体的时间质量抖动情况，ζ代表时间质量抖动情况的权重，代表视频选择是否被观看的结果；代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块是否被观看，代表第k个视频片段下第i个分块在第j个码率等级所处的实际码率大小，Rk代表第k个视频片段的码率上限值，L代表视频片段总数，N代表视频分块总数，M代表视频码率等级总数，1≤i≤N，1≤j≤M，1≤k≤L。在该技术方案中，优化目标为使视频整体的失真情况、空间质量抖动情况、时间质量抖动情况达到最小，限制条件s.t.分别代表用户选择的视频片段总码率不能超过当前可供下载的码率值以及单个分块只能以一种码率被下载的前提条件，通过解出上述优化问题进而解决用户观看区域质量差、视频空间、时间上质量抖动大的问题。在上述任一技术方案中，优选地，视频整体的失真情况为所有视频片段的质量失真情况之和；视频整体的空间质量抖动情况为所有视频片段的空间质量抖动情况之和；视频整体的时间质量抖动情况为所有视频片段的时间质量抖动情况之和；视频片段的质量失真情况的计算公式为：视频片段的空间质量抖动情况的计算公式为：视频片段的时间质量抖动情况的计算公式为：其中，Φk(X)代表第k个视频片段的质量失真情况，Ψk(X)代表第k个视频片段的空间质量抖动情况，Θk(X)代表第k个视频片段的时间质量抖动情况，代表第k个视频片段下第i个分块在第j个码率等级所对应的转码质量失真信息，代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块的观看权重，1≤i≤N，1≤j≤M，1≤k≤L；H代表视频滑动窗口长度。在该技术方案中，通过计算出视频片段的质量失真情况、视频片段的空间质量抖动情况、视频片段的时间质量抖动情况，进而计算出视频整体的失真情况、视频整体的空间质量抖动情况、视频整体的时间质量抖动情况。在上述任一技术方案中，优选地，转码质量失真信息为当前播放视频片段的转码前后的区别信息。在该技术方案中，当前播放视频片段转码后与转码前的质量情况之差为转码质量失真信息，通过视频质量优化模型使转码质量失真信息达到最小。根据本专利技术的另一个方面，提出了一种虚拟现实视频下载播放的系统，包括：模型建立单元，用于按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；视频确定单元，用于结合当前播放视频片段以及当前播放视频片段的转码质量失真信息，根据视频质量优化模型确定下一播放视频片段；下载播放单元，用于发起视频下载请求，对下一播放视频片段进行下载播放。本专利技术提供的虚拟现实视频下载播放的系统，对网络中的用户同时执行视点自适应和码率自适应两个本文档来自技高网...

【技术保护点】
1.一种虚拟现实视频下载播放的方法，其特征在于，所述方法包括：按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；结合当前播放视频片段以及所述当前播放视频片段的转码质量失真信息，根据所述视频质量优化模型确定下一播放视频片段；发起视频下载请求，对所述下一播放视频片段进行下载播放。

【技术特征摘要】
1.一种虚拟现实视频下载播放的方法，其特征在于，所述方法包括：按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；结合当前播放视频片段以及所述当前播放视频片段的转码质量失真信息，根据所述视频质量优化模型确定下一播放视频片段；发起视频下载请求，对所述下一播放视频片段进行下载播放。2.根据权利要求1所述的虚拟现实视频下载播放的方法，其特征在于，所述当前播放视频片段和所述下一播放视频片段均为在空间和时间上进行切片以及进行转码后的视频片段；所述视频质量优化模型为：其中，Φ(X)代表视频整体的失真情况，Ψ(X)代表视频整体的空间质量抖动情况，η代表所述空间质量抖动情况的权重，Θ(X)代表视频整体的时间质量抖动情况，ζ代表所述时间质量抖动情况的权重，代表视频选择是否被观看的结果；代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块是否被观看，代表第k个视频片段下第i个分块在第j个码率等级所处的实际码率大小，Rk代表第k个视频片段的码率上限值，L代表视频片段总数，N代表视频分块总数，M代表视频码率等级总数，1≤i≤N，1≤j≤M，1≤k≤L。3.根据权利要求2所述的虚拟现实视频下载播放的方法，其特征在于，所述视频整体的失真情况为所有所述视频片段的质量失真情况之和；所述视频整体的空间质量抖动情况为所有所述视频片段的空间质量抖动情况之和；所述视频整体的时间质量抖动情况为所有所述视频片段的时间质量抖动情况之和；所述视频片段的质量失真情况的计算公式为：所述视频片段的空间质量抖动情况的计算公式为：所述视频片段的时间质量抖动情况的计算公式为：其中，Φk(X)代表第k个视频片段的质量失真情况，Ψk(X)代表第k个视频片段的空间质量抖动情况，Θk(X)代表第k个视频片段的时间质量抖动情况，代表第k个视频片段下第i个分块在第j个码率等级所对应的转码质量失真信息，代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块的观看权重，1≤i≤N，1≤j≤M，1≤k≤L；H代表视频滑动窗口长度。4.根据权利要求1至3中任一项所述的虚拟现实视频下载播放的方法，其特征在于，所述转码质量失真信息为所述当前播放视频片段的转码前后的区别信息。5.一种虚拟现实视频下载播放的系统，其特征在于，所述系统包括：模型建立单元，用于按照视点自适应方式以及码率自适应方式，建立视频质量优化模型；视频确定单元，用于结合当前播放视频片段以及所述当前播放视频片段的转码质量失真信息，根据所述视频质量优化模型确定下一播放视频片段；下载播放单元，用于发起视频下载请求，对所述下一播放视频片段进行下载播放。6.根据权利要求5所述的虚拟现实视频下载播放的系统，其特征在于，所述当前播放视频片段和所述下一播放视频片段均为在空间和时间上进行切片以及进行转码后的视频片段；所述视频质量优化模型为：其中，Φ(X)代表视频整体的失真情况，Ψ(X)代表视频整体的空间质量抖动情况，η代表所述空间质量抖动情况的权重，Θ(X)代表视频整体的时间质量抖动情况，ζ代表所述时间质量抖动情况的权重，代表视频选择是否被观看的结果；代表第k个视频片段下第i个分块在第j个码率等级所对应的视频块是否被观看，代表第k个视频片段下第i个分块在第j个码率等级所处的实际码率大小，Rk代表第k个视频片段的码率上限值，L代表视频片段总数，N代表视频分块总数，M代表视频码率等级总数，1≤i≤N，1≤j≤M，1≤k≤L。7.根据权利要求6所述的虚拟现实视频下载播放的系统，其特征在...

【专利技术属性】
技术研发人员：班怡璇，谢澜，张行功，郭宗明，
申请(专利权)人：北京大学，北大方正集团有限公司，北京北大方正电子有限公司，
类型：发明
国别省市：北京,11