一种基于时空管道建模的全景视频客观质量评估方法技术

本发明专利技术公开了一种基于时空管道建模的全景视频客观质量评估方法，首先，根据人眼视觉机制，加入了时域失真的概念，建立了一种基于时空管道的视频质量评估模型；其次，时空管道的建立由用于运动估计的块搜索算法实现，实现了将在空间上切分的视频内容在时间上前后关联，而时空管道的失真分解为平均失真和时域失真，前者通过一个递归滤波器对时空管道中块与块的空间失真进行合理的平均，后者通过结合块与块之间失真变化梯度的频率和幅度对时空管道失真计算进行了巩固；最后，将所有时空管道失真通过空域池化和时域池化计算得出最终的视频质量评分。采用本发明专利技术方法，可大大提高全景视频客观质量评估的精确度，使之更符合人眼的主观质量评价的结果。

An objective quality evaluation method of panoramic video based on spatiotemporal pipeline modeling

【技术实现步骤摘要】
一种基于时空管道建模的全景视频客观质量评估方法
本专利技术属于视频编码和处理领域，具体涉及一种基于时空管道建模的全景视频客观质量评估方法。
技术介绍
随着虚拟与增强现实技术的不断发展，全景视频媒体系统技术标准的制定与完善逐渐显得越来越重要。全景视频(即360度视频)是通过专业相机捕捉整个场景的图像信息，使用软件进行拼接，并用专门的播放器进行播放。在观看360度视频时，观看者通常需要佩戴虚拟头盔，通过头部的运动观看不同位置的视频图像，从而达到观看的沉浸感和身临其境感。然而，由于全景视频包含很多的视角观看信息，通常都具有较大的图像分辨率(如4K,8K等)，如何对其高效压缩与质量评估目前成为研究热点。用于2D平面视频媒体的成熟技术方案直接移植于360度全景视频系统中还存在各种各样的问题，其中对于全景视频的客观质量评估方法是亟待解决的问题之一。视频质量评估从方法上可分为主观评估和客观评估。主观评估就是人从主观感知来评价视频图像质量，通过给观察者展示原始参考图像和失真图像，让观察者为其失真图像评分；而客观评估使用数学模型计算给出量化值，无需人工参与，简便易行。由于主观实验受观察者位置、设备、照明、视力水平甚至情绪等因素影响，费时费力，所以有必要设计出能够精确预测主观质量的客观质量评估方法。由于360度全景视频的球面特性，直接将传统2D平面视频的客观质量评估方法用于分析全景视频，其结果与用户主观体验差异较大，不能够准确反应主观质量。另外，现有的全景视频客观质量评估方案中，WS-PSNR(Weighted-SphericallyPNSR)是一种最近提出的并得到广泛应用的客观质量计算方法，该方法通过计算球面到平面映射的拉伸因子，并利用该因子加权对应平面视频计算的PSNR。但该方法也只考虑了全景视频的空间特性，没有考虑失真的时域变换，精确度也尚有提升的空间。
技术实现思路
专利技术目的：本专利技术提出一种考虑时域特性的基于时空管道建模的全景视频客观质量评估方法，可提高360度全景视频客观质量评估的精确度，使之更符合人眼的主观质量评价结果。
技术实现思路
：本专利技术所述的一种基于时空管道建模的全景视频客观质量评估方法，包括以下步骤：(1)将全景视频序列每帧分块，对于每帧每块的质量评估通过向前回溯构建的时空管道来计算取得；所述时空管道的构建由运动估计的块搜索算法按块与块之间内容相似度来匹配连接，作为视频质量评估的基本单元；(2)在时空管道评估单元构建完成后，计算每帧每块的时空管道的失真值；所述失真值由平均失真和时域失真两部分构成，平均失真是由时空管道上所有块的空间失真平均计算得到，而时域失真则由块与块之间失真变化的梯度值的频率和幅度结合平均失真得到；(3)将每一帧的所有时空管道单元失真值进行空间池化，得到每一帧的失真值评估，将整个视频所有帧的失真求平均得到关于该视频的失真评估，再通过对该视频失真计算峰值信噪比得出最终全景视频客观质量评分。所述步骤(1)包括以下步骤：(11)对于原始视频序列的第t帧，我们将该帧按行列分成K·L个块；(12)根据人眼视觉机制，假设一次可能的眼球注视动作会从任一帧t的任一块(k,l)开始，并在时空域中移动且持续不超过注视时长Th；对于块(kt,lt)在向前一个Th时间范围内的若干帧中，用块搜索算法向前逐帧寻找相似的匹配块(kt-1,lt-1)，块(kt-2,lt-2)，…，块(kt-n,lt-n)；(13)将空域上的n个块连接组成一个时空管道，作为一个基本质量评估单元，在每帧中，便有K·L个时空管道。所述步骤(2)通过以下公式实现：块的失真值：时空管道的平均失真值Dk,l,t：Dk,l,t＝α·Dk,l,t-1+(1-α)·dk,l,t时空管道的时域失真D′k,l,t：时空管道总体失真值其中，M和N表示块中水平和垂直方向的像素个数，y(i,j)和y′(i,j)分别是原始视频序列和失真视频序列中的像素值，ω(i,j)则是对应像素点权值，α为平滑因子，为块(k,l,t)的失真变化梯度，β为自由参数，表示时域失真D′k,l,t的影响程度，β越大，时域失真对总体失真影响越大。所述步骤(3)通过以下公式实现：空域池化计算如下：时域池化计算如下：其中，Dt表示帧t的失真，βs为Minkowski指数，N为视频序列中总帧数，D为整个视频序列的失真评估。有益效果：与现有技术相比本专利技术的有益效果：本专利技术充分地结合了人眼的视觉关注机制，不仅在保留了已有的全景视频客观质量评估方案中的空间特性的前提下，引入时域失真变化的考虑，大大的增加了全景视频客观质量评估的精确度，使其更符合主观质量评估的结果。附图说明图1为本专利技术的流程图；图2为时空管道结构示意图；图3为拟合函数fs(ns)图像。具体实施方式不同于传统的2D视频的平面表现空间，全景视频的表示空间是三维球面。因此，当使用传统平面视频的压缩编码方案编码全景视频数据时，需先将全景视频的球面空间映射到平面空间，再进行编码压缩；当解码后，还需要再映射回球面空间用于展现。时域失真可以被定义为空间失真在时间尺度上的演变，如画面连续闪烁，急速抖动等，这些剧烈且持续的空间失真对人眼的感知系统同样产生着重大的影响。下面结合附图对本专利技术作进一步详细说明。如图1所示本专利技术包括以下步骤：1、时空管道的建立人视觉机制中的眼球运动可分为三种类型：扫视(Saccades)，追瞄(Pursuits)，注视(Fixation)，其中扫视持续时间较短，而追瞄和注视的平均时长为400ms。因此，观察者观看视频的行为可以分解为若干次眼球运动，每一次眼球运动可假定为发生从视频任一帧上任一区域开始持续不超过400ms的注视行为。本专利技术首先需建立视频的基本质量评估单元，即时空管道。对于原始视频序列的第t帧，我们将该帧按行列分成K·L个块。根据上述的人眼视觉机制，假设一次可能的眼球注视动作会从任一帧t的任一块(k,l)开始，并在时空域中移动且持续不超过注视时长Th(如400ms)。因此，对于块(kt,lt)在向前一个Th时间范围内的若干帧中，用块搜索算法向前逐帧寻找相似的匹配块(kt-1,lt-1)，块(kt-2,lt-2)，…，块(kt-n,lt-n)。由这时空域上的n个块连接组成一个时空管道，作为一个基本质量评估单元，如图2所示。在每帧中，我们便有K·L个时空管道。2、关于块的失真计算对于上述的块(kt,lt)的失真值，由于该块是由球面上某一个不规则块映射过来的。为了考虑全景视频的空间特效，即格式映射造成的拉伸失真，采用加权的均方误差(WMSE，WeightedMSE)方法来计算：其中，M和N表示块中水平和垂直方向的像素个数，y(i,j)和y′(i,j)分别是原始视频序列和失真视频序列中的像素值，ω(i,j)则是对应像素点权值，该值与全景视频的映射格式相关。如等距圆柱投影格式(ERP)的ω(i,j)计算如下：其中，H为视频分辨率的高度。该式子考虑了球面上在不同经度和纬度的像素具有不同的拉伸因子的特性。3、时空管道平均失真的计算在上述建立完时空管道并包含对应块失真值后，基于一个递归滤波器来计算关于此时空管道的平均失真值Dk,l,t：Dk,l,t＝α·Dk,l,t-1+(1-α)·dk,l,t(3)其中，dk,l,t是上述所计本文档来自技高网...

【技术保护点】
1.一种基于时空管道建模的全景视频客观质量评估方法，其特征在于，包括以下步骤：(1)将全景视频序列每帧分块，对于每帧每块的质量评估通过向前回溯构建的时空管道来计算取得；所述时空管道的构建由运动估计的块搜索算法按块与块之间内容相似度来匹配连接，作为视频质量评估的基本单元；(2)在时空管道评估单元构建完成后，计算每帧每块的时空管道的失真值；所述失真值由平均失真和时域失真两部分构成，平均失真是由时空管道上所有块的空间失真平均计算得到，而时域失真则由块与块之间失真变化的梯度值的频率和幅度结合平均失真得到；(3)将每一帧的所有时空管道单元失真值进行空间池化，得到每一帧的失真值评估，将整个视频所有帧的失真求平均得到关于该视频的失真评估，再通过对该视频失真计算峰值信噪比得出最终全景视频客观质量评分。

【技术特征摘要】
1.一种基于时空管道建模的全景视频客观质量评估方法，其特征在于，包括以下步骤：(1)将全景视频序列每帧分块，对于每帧每块的质量评估通过向前回溯构建的时空管道来计算取得；所述时空管道的构建由运动估计的块搜索算法按块与块之间内容相似度来匹配连接，作为视频质量评估的基本单元；(2)在时空管道评估单元构建完成后，计算每帧每块的时空管道的失真值；所述失真值由平均失真和时域失真两部分构成，平均失真是由时空管道上所有块的空间失真平均计算得到，而时域失真则由块与块之间失真变化的梯度值的频率和幅度结合平均失真得到；(3)将每一帧的所有时空管道单元失真值进行空间池化，得到每一帧的失真值评估，将整个视频所有帧的失真求平均得到关于该视频的失真评估，再通过对该视频失真计算峰值信噪比得出最终全景视频客观质量评分。2.根据权利要求1所述的一种基于时空管道建模的全景视频客观质量评估方法，其特征在于，所述步骤(1)包括以下步骤：(11)对于原始视频序列的第t帧，我们将该帧按行列分成K·L个块；(12)根据人眼视觉机制，假设一次可能的眼球注视动作会从任一帧t的任一块(k，l)开始，并在时空域中移动且持续不超过注视时长Th；对于块(kt，lt)在向前一个Th时间范围内的...

【专利技术属性】
技术研发人员：高攀，张鹏伟，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32