一种基于强化学习的自适应全景视频传输方法及系统技术方案

本发明专利技术公开了一种基于强化学习的自适应全景视频传输方法及系统，用户观看全景视频前，下载深度学习模型，在正式观看全景视频时，客户端收集用户观看信息，通过预测用户在未来观看的内容，使用强化学习模型灵活根据带宽自适应选择获取预测内容所在瓦片的质量等级，对于需求更高的内容优先选择获取更高的质量，当相应的编码文件由远端视频服务器传输到用户所在的客户端后，客户端进行解码并播放给用户，满足用户的观看需求。

【技术实现步骤摘要】
一种基于强化学习的自适应全景视频传输方法及系统
本专利技术涉及全景视频
，尤其涉及一种基于强化学习的自适应全景视频传输方法及系统。
技术介绍
全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。用户在观看全景视频的时候，对于视频质量的损失非常敏感，因此有必要在用户观看全景视频时保证视频质量QoE(QualityofExperience，视频质量，或者体验质量)。此外，全景视频的传输本身需要大量带宽，用户的观看需求就对网络资源提出了极大要求，网络将变得不堪重负。在此情形下，如何设计全景视频的传输方式，节约网络资源并提高用户的QoE是一个亟待解决的问题。现有技术方案主要从客观的视频质量评价指标出发实现方案的改进，很少考虑用户主观对于全景视频的感受方式，而这种主观的感受方式实际上会产生全景视频内容上的冗余。通过衡量用户主观感受的特点，有针对性地处理全景视频的内容，去除视频内容冗余，将节省大量网络带宽，并提高用户QoE。针对普通视频主观质量感受的问题，即非360度全景本文档来自技高网...

【技术保护点】
1.一种基于强化学习的自适应全景视频传输方法，其特征在于，所述基于强化学习的自适应全景视频传输方法包括：/n远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果；/n远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果；/n远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器；/n客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场...

【技术特征摘要】
1.一种基于强化学习的自适应全景视频传输方法，其特征在于，所述基于强化学习的自适应全景视频传输方法包括：
远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果；
远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果；
远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器；
客户端下载并在本地运行深度学习模型，收集来自用户设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内包含的瓦片范围，依照深度学习模型对于质量的选择结果，向远端服务器请求并获取相应的视频内容；
客户端获得视频内容后，对视频内容进行解码、瓦片拼接和渲染，将画面呈现给用户。


2.根据权利要求1所述的基于强化学习的自适应全景视频传输方法，其特征在于，所述远端视频服务器对视频内容进行分析，使用光流法获取视频内容的运动速度和景深，得到视频质量的数值结果，具体包括：
远端视频服务器读取存储的视频文件，按时间顺序进行分段处理；
远端视频服务器调用光流法神经网络，将分段后的视频输入到光流法神经网络，输出光流法检测结果；
远端视频服务器根据光流法检测结果，得到视频内容相对运动速度和相对景深，通过量化得到最低可察觉损失，计算当前视频质量，减去最低可察觉损失得到实际的视频质量的数值结果。


3.根据权利要求2所述的基于强化学习的自适应全景视频传输方法，其特征在于，所述远端视频服务器根据视频质量进行瓦片分割，采用二维聚类算法将视频从空间上分为规定数目的不同尺寸的瓦片，对瓦片进行不同质量等级的编码，获得多个质量版本的编码结果，具体包括：
远端视频服务器将视频段在空间上分割为预设区域大小的矩形基本瓦片；
计算每一个矩形基本瓦片的质量增长效率；
对矩形基本瓦片进行聚类操作，将相邻的矩形基本瓦片合成为指定数量的最终需要传输给用户的瓦片；
将分割得到的瓦片进行HEVC编码，使得每个瓦片分配多个不同等级的编码质量；
使用属性文件记录编码结果的信息。


4.根据权利要求3所述的基于强化学习的自适应全景视频传输方法，其特征在于，所述质量增长效率为采用最高级编码和最低级编码时基本瓦片的视频质量数值之差除以最高级编码和最低级编码对应的量化参数之差。


5.根据权利要求3所述的基于强化学习的自适应全景视频传输方法，其特征在于，所述远端视频服务器根据存储的带宽数据和多个质量版本的编码结果训练深度学习模型，并将深度学习模型作为瓦片自适应质量选择器，具体包括：
远端视频服务器初始化深度学习网络，为网络状态赋随机初值，并将反馈函数置为0；
读取网络带宽数据集中的带宽数据，更新网络状态；
网络决策器根据网络状态确定选择瓦片质量水平的决策，确认传输何种版本的瓦片编码文件给用户；
网络判决器根据网络决策器的选择，依据网络状态计算反馈函数的值；
判断反馈函数是否大于0，若否，则表示决策不适合当前网络状态，继续读取网络带宽数据集中的带宽数据，更新网络状态，若是，则表示决策...

【专利技术属性】
技术研发人员：潘宇轩，胡欣珏，刘雨，张琳，
申请(专利权)人：鹏城实验室，北京邮电大学，
类型：发明
国别省市：广东;44