基于质量感知的自适应全向视频流方法技术

技术编号:33856145 阅读:29 留言:0更新日期:2022-06-18 10:44
本发明专利技术公开一种基于质量感知的自适应全向视频流方法,考虑了全向视频特有的两种质量决定因素——视点移动和亮度变化,并采用用户调查研究来量化该特征对主观感知质量的影响。通过引入上述两种特征对SSIM度量进行改进,建立了用户感知质量模型。在MPC算法对每个视频块决策的基础上,对视频块内所有的区域进行质量分配,以最大化总体视频块的SSIM质量。本发明专利技术能够对视频区域实现更合理的质量分配,进一步提高流媒体资源利用率和用户体验质量。步提高流媒体资源利用率和用户体验质量。步提高流媒体资源利用率和用户体验质量。

【技术实现步骤摘要】
基于质量感知的自适应全向视频流方法


[0001]本专利技术涉及流媒体传输
,具体涉及一种基于质量感知的自适应全向视频流方法。

技术介绍

[0002]近年来,全向视频已逐渐成为新兴的互联网流量之一。同时,全向视频流的传输比传统视频流更具挑战性。为了创造全景体验,全向视频必须以高分辨率、无卡顿的方式流式传输全景内容,这将产生大量的带宽和资源消耗。在自适应传输过程中,首先将全向视频投影为普通的二维平面视频,然后在时间上将其切割成视频块。对于每个视频块,编码器将其转码为多个比特率级别(代表不同质量)。最后,在空间上将各个比特率级别的视频块进一步切割成视频区域。与传统的自适应方法类似,视频播放器可以在两个连续视频区域的边界处动态地切换质量级别,以应对网络带宽的波动。
[0003]目前的大多数自适应算法均采用视点驱动的方法,其中只有视点区域(面向用户的区域)中的视频内容以高质量进行流式传输。但这类方法具有以下局限性:首先,视点区域通常比电脑屏幕大得多,在相同质量下,流式传输视点区域的内容仍需要至少两倍于普通视频的带宽;其次,由于需要预取视点区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于质量感知的自适应全向视频流方法,其特征是,包括步骤如下:步骤1、先使用常用的对称投影法将全向视频文件投影到二维平面;再将投影后的视频文件切割成多个等长的视频块,并将每个视频块转码为不同的比特率级别;步骤2、将各个比特率级别的视频块每个视频帧从空间上切割成多个视频区域,并将每个视频区域进一步从空间上切割成多个视频窗口;步骤3、基于全向视频文件预先给定的视点轨迹,计算各个比特率级别视频块的每个视频帧的每个像素点的相对视点移动速度和视点亮度变化,其中:v
b
(p,q)=|v
u

v
0b
(p,q)|l
b
(p,q)=|l
ub
(p,q)

l
mb
|步骤4、计算各个比特率级别下各个视频区域的相对视点移动速度和视点亮度变化,其中:中:步骤5、计算各个比特率级别下视频帧的每个像素点的基于视点的刚刚可见差异阈值,其中:步骤6、计算各个比特率级别下各个视频窗口的权重,其中:步骤7、计算各个比特率级别下各个视频窗口的用户感知质量,其中:步骤8、计算各个比特率级别下各个视频区域的用户感知质量,其中:步骤9、基于步骤4所得到的相对视点移动速度和视点亮度变化与步骤8所得到的用户感知质量,建立各个比特率级别下各个视频区域的相对视点移动速度和视点亮度变化的用户感知质量查询表;步骤10、使用ABR算法将视频块的自适应比特率决策建模为一个基于模型预测控制的最优化问题,通过求解该最优化问题确定每个视频块的比特率,即相应地确定了视频块的每个视频帧的比特率;步骤11、基于当前用户的历史视点位置使用现有的线性回归方法预测未来时间点的视点位置,并使用当前时间点的过去m秒的最低视点移动速度作为未来时间点视点移动速度
的预测值,最后采用步骤3和4相同的公式计算各个比特率级别下所有视频区域的相对视点移动速度和视点亮度变化;步骤12、计算步骤11所得的各个比特率级别下所有视频区域的相对视点移动速度和视点亮度变化与步骤4所得的相应比特率级别下对应视频区域的相对视点移动速度和视点亮度变化的欧式距离,并利用步骤9所构建的用户感知质量查询表确定欧式距离最小的视频区域对应的用户感知质量,最终可以得到各个比特率级别下所有视频区域的用户感知质量;步骤13、基于步骤10所确定的视频块的比特率和步骤12所确定的各个比特率级别下所有视频区域的用户感知质量,在视频块的所有视频帧的所有视频区域的总质量低于或等于该视频块比特率的情况下,以最大化视频块的总体用户感知质量为目标,进一步确定视频块的所有视频帧中各个视频区域的质量;上述式中,v
b
(p,q)表示比特率级别b下像素点(p,q)的相对视点移动速度,l
b
(p,q)表示比特率级别b下像素点(p,q)的视点亮度变化,v
u
表示用户视点移动速度,v
0b
(p,q)表示比特率级别b下像素点(p,q)处对象的运动速度,l
ub
(p,q)表示比特率级别b下像素点(p,q)处的亮度,l
mb
表示比特率级别b下m秒前视点所在视频区域所有像素...

【专利技术属性】
技术研发人员:王传吴霄汉吴岚梁晶刘胜黄寒梅李靓平刘鸿谋莫冬花李明星黎菲
申请(专利权)人:广西昊华科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1