利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置制造方法及图纸

本发明专利技术提出一种利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置。在服务器端将全景视频进行处理，包括时间上的切片和空间上的分块和转码操作；在客户端自适应地选取合适的视频片段进行请求。自适应传输过程包含两方面：视点自适应不断根据用户观看方位传输对应的视频内容，对视点进行预测；码率自适应不断调节视频总体的码率，以适应当前网络带宽的变化。为了合理实施两个自适应过程，本发明专利技术提出了一种全新的利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置，不仅可以保证用户观看区域的视频质量，减少视点预测错误造成的黑窗，也可以保证视频在空间上的稳定性，减少了视频质量的抖动。

【技术实现步骤摘要】
利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置
本专利技术涉及多媒体传输领域，尤指虚拟现实视频，具体涉及一种利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置。
技术介绍
虚拟现实视频(VRvideo)，也称全景视频或360度视频，以其充分的沉浸性、真实性、制作简单性等特点正受到人们的广泛关注。它通过全景摄像机记录三自由度或六自由度的自然图像，从而提供现有普通视频所不能达到的真实感。为在网络中传输虚拟现实视频以供观看，传统的视频网站需要将整个全景空间的视频内容进行传输，然而，由于人眼视度和播放设备的限制，用户在观看全景视频时只能看到视窗内的内容，所以这种全传的方式势必会造成带宽的浪费。由于带宽需求的增加，视窗内内容质量也会下降。所以，自适应传输技术势在必行。HTTP动态流媒体技术可以实现基于视窗的自适应传输。其主要包括视点自适应和码率自适应两项关键技术：视点自适应技术是指在视窗内传输高质量的视频内容，视窗外传输低质量的视频内容，从而在整体上减少数据传输量。然而，要想实现为保证播放的连续性，传输系统需对用户视点进行预测。现有的预测手段可大体分为两类：1.基于视点的预测。2.基于内容的预测。基于视点的预测是指利用用户过去的观看行为对将来的视点进行预测，其中较为典型的为线性回归等。基于内容的预测是指利用视频内容本身的信息指导用户视点预测，其中较为典型的为显著性预测等等。然而这两种预测手段都有着较大的缺陷。前者的准确性太差，当预测未来两秒的用户视点时，预测精度会低于70％，当间隔进一步增长时，预测精度会显著下降。后者除准确性难以保证外，算法复杂度和成本开销也极为明显。码率自适应技术是指将原始视频在时间上进行切片并编码为多种码率，并根据当前网络带宽实时调整，实现视频片段的自适应传输，从而减少播放卡顿。两种自适应技术相辅相成，共同提升用户的观看体验。本专利技术所涉及到的HTTP动态流媒体技术主要是指基于分块的虚拟现实视频自适应传输。也即将视频内容除时间上切片外，还需在空间上进行分块，对于用户覆盖的分块采取高码率传输，用户没有覆盖的分块采取低码率传输或者不传，从而减少带宽浪费。然而，即便是采用了先进的分块传输模式，若想为用户提供高质量的视频传输服务还面临着很多挑战：1)用户视点预测不准。2)块与块之间边界效应明显。造成这些后果主要有两点原因：1)用户视点的变化。由于在虚拟现实视频中，用户可以在360度空间内随意观看视频内容，所以用户视点的变化自然会影响客户端下载内容的变化，若用户在转头时新的视窗内容没有被及时下载，势必会造成视窗内出现黑块，严重影响用户体验。2)视频内容的变化。由于分块传输模式需要将原始视频进行空间和时间上的划分再进行转码，所以即使所有的视频块都被转码成相同的码率，在拼接的过程中相邻块之间乃至相邻视频片段之间还可能出现明显的质量抖动。比如运动的篮球和相对静止的蓝天，即使都转码成某固定码率，我们可能仍会认为篮球的运动较为模糊，而蓝天较为清晰。这是由于视频中运动的物体总是需要更多信息才能代表，而静止的物体则不然，这一特性就使得基于分块的虚拟现实视频传输面临很大挑战。
技术实现思路
本专利技术针对上述问题，提供一种全新的利用跨用户行为模式预测视点并实现虚拟现实视频最优化传输的方法和装置。本专利技术采用的技术方案如下：一种利用跨用户行为模式进行视点预测的方法，包括以下步骤：1)客户端根据当前用户的历史运动轨迹，利用线性回归模型找出视频分块的预测视点；2)客户端根据与当前用户最邻近的k个用户的位置，对所述预测视点进行修正，得到视频分块的观看概率。进一步地，步骤2)包括：2.1)客户端寻找距离所述预测视点最近的k个用户的位置；2.2)客户端对k+1个位置覆盖的视频分块大小进行计算，对每个视频分块的覆盖次数进行加权求和，得出投票数，然后对每个视频分块的投票数进行归一化，得出每个视频分块的观看概率。进一步地，步骤2.2)采用以下公式计算视频块i是否被覆盖的投票次数Vi：其中，wr代表线性回归预测位置的权重，wf代表其他筛选后的K个用户的位置权重，wf＝1，δ表示对未来δ秒的视点位置进行预测；Li(Or)代表视频块i是否被视点Or所覆盖，Or表示根据线性回归预测出的用户位置；表示将所有用户与当前用户球面距离进行排序后最小的K个用户的位置信息，其中1≤k≤K。进一步地，步骤2.2)采用以下公式计算每个视频分块的观看概率pi：一种利用跨用户行为模式进行视点预测的装置，其包括：线性回归模块，负责根据当前用户的历史运动轨迹，利用线性回归模型找出视频分块的预测视点；预测视点修正模块，负责根据与当前用户最邻近的k个用户的位置，对所述预测视点进行修正，得到视频分块的观看概率。一种实现虚拟现实视频最优化传输的方法，包括以下步骤：1)服务器端将原始虚拟现实视频进行划分和转码操作并计算对应失真，然后保存所有视频分块及失真信息；2)客户端采用上面所述方法对视频分块进行视点预测，并根据最优化传输模型从所述服务器获取视频片段进行播放；所述最优化传输模型在最小化视频失真的同时最小化空间上视频质量的波动。进一步地，所述最优化传输模型为：其中，Φ(X)代表视频的期望失真；Ψ(X)代表视频空间质量抖动情况；xi,j为第i个分块在第j个码率等级所对应的视频块是否被观看，xi,j＝1代表观看，xi,j＝0代表不观看，1≤i≤N,1≤j≤M，X＝{xi,j}代表整体选择结果；ri,j为第i个分块在第j个码率等级所对应的视频块的码率；R为视频片段总码率上限值；η为空间质量抖动情况的权重。进一步地，所述Φ(X)采用以下公式计算：其中，si为第i个分块在球面上对应的球面面积；Di,j为第i个分块在第j个码率等级所对应的视频块的球面失真情况，球面失真为视频块平面失真与球面面积的乘积；pi为每个视频分块的观看概率。进一步地，所述Ψ(X)采用以下公式计算：其中，Ui代表与编号i的分块相邻的视频分块编号集合，i、u为相邻视频分块。一种实现虚拟现实视频最优化传输的装置，其包括：服务器端，负责将原始虚拟现实视频进行划分和转码操作并计算对应失真，然后保存所有视频分块及失真信息；客户端，负责采用上面所述方法对视频分块进行视点预测，并根据最优化传输模型从所述服务器获取视频片段进行播放；所述最优化传输模型在最小化视频失真的同时最小化空间上视频质量的波动。本专利技术提出的利用跨用户行为模式的视点预测方法及虚拟现实视频最优化传输方法和装置，能够在执行视点自适应、码率自适应传输过程的基础上，根据所提出的视点预测模型及最优化传输算法解决用户观看区域质量差，视频分块预测错误，视频空间上质量抖动大的问题。本专利技术不仅可以保证用户观看区域的视频质量，减少视点预测错误造成的黑窗，并且也可以保证视频在空间上的稳定性，减少了视频质量的抖动。附图说明图1为基于分块的虚拟现实视频整体传输框架示意图；图2为用户视点分布示意图；图3为k最近邻视点预测过程图；图4为视频分块观看概率计算图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本专利技术做进一步详细说明。本专利技术的整体传输框架如图1所示。在服务器端，需对原始全景视频进行处理，主要包括划本文档来自技高网...

【技术保护点】
1.一种利用跨用户行为模式进行视点预测的方法，其特征在于，包括以下步骤：1)客户端根据当前用户的历史运动轨迹，利用线性回归模型找出视频分块的预测视点；2)客户端根据与当前用户最邻近的k个用户的位置，对所述预测视点进行修正，得到视频分块的观看概率。

【技术特征摘要】
1.一种利用跨用户行为模式进行视点预测的方法，其特征在于，包括以下步骤：1)客户端根据当前用户的历史运动轨迹，利用线性回归模型找出视频分块的预测视点；2)客户端根据与当前用户最邻近的k个用户的位置，对所述预测视点进行修正，得到视频分块的观看概率。2.根据权利要求1所述的方法，其特征在于，步骤2)包括：2.1)客户端寻找距离所述预测视点最近的k个用户的位置；2.2)客户端对k+1个位置覆盖的视频分块大小进行计算，对每个视频分块的覆盖次数进行加权求和，得出投票数，然后对每个视频分块的投票数进行归一化，得出每个视频分块的观看概率。3.根据权利要求2所述的方法，其特征在于，步骤2.2)采用以下公式计算视频块i是否被覆盖的投票次数Vi：其中，wr代表线性回归预测位置的权重，wf代表其他筛选后的K个用户的位置权重，wf＝1，δ表示对未来δ秒的视点位置进行预测；Li(Or)代表视频块i是否被视点Or所覆盖，Or表示根据线性回归预测出的用户位置；表示将所有用户与当前用户球面距离进行排序后最小的K个用户的位置信息，其中1≤k≤K。4.根据权利要求3所述的方法，其特征在于，步骤2.2)采用以下公式计算每个视频分块的观看概率pi：5.一种利用跨用户行为模式进行视点预测的装置，其特征在于，包括：线性回归模块，负责根据当前用户的历史运动轨迹，利用线性回归模型找出视频分块的预测视点；预测视点修正模块，负责根据与当前用户最邻近的k个用户的位置，对所述预测视点进行修正，得到视频分块的观看概率。6.一种实现虚拟现实视频最优化传输的方法，其特征在于，包括以下步骤：1)服务器端将原始虚拟现实视频进行划分和转码操作并计算对...

【专利技术属性】
技术研发人员：张行功，班怡璇，谢澜，郭宗明，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京,11