基于显著性检测的360°视频流传输系统技术方案

本发明专利技术公开了一种基于显著性检测的360°视频流传输系统，包括：服务器端，在该系统的离线阶段，根据眼动数据获取显著性矩阵并计算每个视频的方差，即显著性矩阵的平均方差，从而将视频分为显著性视频和非显著性视频两类；在完成显著性矩阵的获取与分析之后，视频通过在时间维度和空间维度的分片以不同的质量和相应的形式存在；客户端，当用户观看显著性视频时，根据实际网络状况从服务器下载相对应的显著性矩阵到客户端播放器，基于显著性的码率控制算法在播放过程中控制视频流的下载传输，对于非显著视频，则通过MPC算法来调整视频流的质量。本发明专利技术有效缓解了由于用户观看行为的非线性性、预测窗口限制使得缓存长度过小等弊端。

【技术实现步骤摘要】
基于显著性检测的360°视频流传输系统
本专利技术属于网络系统领域，具体涉及一种基于显著性检测的360°视频流传输系统。
技术介绍
随着360°视频的日益流行，虚拟现实(VirtualReality,VR)和增强现实(AugmentedReality,AR)技术开始受到各界关注。近几年，随着VR设备、网络和终端技术的成熟，360°视频正越来越多地用于影视、游戏、医疗、教育等应用中。据思科的统计报告显示：VR应用在2016年的平均月流量达到13.3PB，预计到2021年达到140PB，年增长率达到60％。如此广泛的360°视频给人们的生活和工作带来了新体验，大量的网络基础设施和智能穿戴设备也推动了360°视频应用的发展。然而，高质量的360°视频流服务面临着若干挑战，其中网络传输是一个关键性问题。随着每个VR图像分为两个流(每只眼睛一个)，对网络带宽的需求快速增长。即使是最低级别的360°视频流体验，也将至少需要25Mbps的线路。在VR上流式传输高清级别的内容可能需要高达80到100Mbps的吞吐量，而对于Retina品质，需要寻找接近600M本文档来自技高网...

【技术保护点】
1.基于显著性检测的360°视频流传输系统，其特征在于，包括：/n服务器端，在该系统的离线阶段，根据眼动数据获取显著性矩阵并计算每个视频的方差，即显著性矩阵的平均方差，从而将视频分为显著性视频和非显著性视频两类；在完成显著性矩阵的获取与分析之后，视频通过在时间维度和空间维度的分片以不同的质量和相应的形式存在；/n客户端，当用户观看显著性视频时，根据实际网络状况从服务器下载相对应的显著性矩阵到客户端播放器，基于显著性的码率控制算法在播放过程中控制视频流的下载传输；对于非显著视频，则通过MPC算法来调整视频流的质量。/n

【技术特征摘要】
1.基于显著性检测的360°视频流传输系统，其特征在于，包括：
服务器端，在该系统的离线阶段，根据眼动数据获取显著性矩阵并计算每个视频的方差，即显著性矩阵的平均方差，从而将视频分为显著性视频和非显著性视频两类；在完成显著性矩阵的获取与分析之后，视频通过在时间维度和空间维度的分片以不同的质量和相应的形式存在；
客户端，当用户观看显著性视频时，根据实际网络状况从服务器下载相对应的显著性矩阵到客户端播放器，基于显著性的码率控制算法在播放过程中控制视频流的下载传输；对于非显著视频，则通过MPC算法来调整视频流的质量。


2.根据权利要求1所述的基于显著性检测的360°视频流传输系统，其特征在于，根据所采集的用户眼动数据，基于历史眼动数据和深度学习方法获取360°视频显著性矩阵。


3.根据权利要求2所述的基于显著性检测的360°视频流传输系统，其特征在于，基于历史眼动数据获取360°视频显著性矩阵利用高斯分布、方差自适应的高斯分布以及重叠面积分布三种方法生成M×N的显著性矩阵。


4.根据权利要求2所述的基于显著性检测的360°视频流传输系统，其特征在于，深度学习方法获取360°视频显著性矩阵利用PCSA网络提取视频中的显著性区域特征以及CNN监督网络来进行分块区域的预测；该获取360°视频显著性矩阵的深度学习方法在显著性检测网络的基础上，利用眼动数据作为标签，将经过显著性检测网络处理过后的输出特征映射作为输入，最后经过网络的深层训练，获得分块后的输出特征值。


5.根据权利要求1所述的基于显著性检测的360°视频流传输系统，其特征在于，所述服务器，使用基于HTTP的动态自适应流媒体编码技术将360°视频进行空间和时间维度的分片...

【专利技术属性】
技术研发人员：王世博，王楠斌，杨树森，徐宗本，栗海亮，张潇丹，周琛，陈军，郭建伟，
申请(专利权)人：西安交通大学，华为技术有限公司，
类型：发明
国别省市：陕西;61