一种对于非对称失真三维视频的质量评价方法技术

本发明专利技术涉及一种对于非对称失真三维视频的质量评价方法，其特征在于：首先，使用现有的二维图像质量评价方法评估单视图视频每一帧图像的空间失真，并且利用光流法评估运动失真量；其次，提取单视图视频每一帧的空间信息量和时间信息量；接着，利用单视图视频每一帧的空间信息量和时间信息量分别对视频每一帧的空间失真、运动失真进行加权及融合，来评估单视图视频质量损失；然后，分别平均单视图视频每一帧的空间信息量和时间信息量，得到单视图视频的空间信息量和时间信息量，并利用它们对左右视图视频质量损失进行加权，来评估三维视频的质量损失；最后将损失转化为质量分数。实验结果表明，与最先进的方法相比，该方法在三维视频的视觉质量方面展现了良好的有效性和优越性。

A Quality Evaluation Method for Asymmetric Distortion 3D Video

【技术实现步骤摘要】
一种对于非对称失真三维视频的质量评价方法
本专利技术设计了一种非对称失真三维视频质量评价方法，属于多媒体
，具体属于数字图像和数字视频处理

技术介绍
三维视频在电影、游戏、广告等许多行业中已经很普遍。然而，与传统二维视频序列相比，由于增加了深度维度，三维视频的感知质量评估仍然具有挑战性。此外，由于立体视觉感知尚不清晰，用户体验质量的量化也存在一定的困难。一般来说，主观质量评估是最有效和最可靠的，它反应了人眼对图像质量好坏的直观判断，但是，这种方法耗费人力严重且需要投入大量专注力，因此主观质量评估不能难以应用于实际的应用程序中。所以，能有效评估三维视频视觉质量的客观方法显得十分重要，是值得研究的。另一方面，由于左视图和右视图视频的质量的不对称失真，使得对三维视频序列感知质量的客观方法评估变得复杂困难。三维视频在不稳定的网络环境下传输。在三维视频编码和传输过程中，可能会产生非对称失真的情况，即左右视图的失真类型或级别存在显著的差异，从而导致了不同的三维视频质量感受。相关主观实验表明，若直接平均左右两个二维视频质量分数来预测三维视频质量，将会导致强烈的预测偏差，即与人主观感受到的质量体验情况不一致。除此之外，主观实验研究还发现，通过后期处理提高低质量视频的模糊度可以提高3D视频的感知质量。因此，三维视频质量评估是有意义的且富有挑战性的，尤其是在失真不对称的情况下。提出能够对非对称三维视频进行自动评价的算法的目的在于：(1)可以将非对称三维视频质量评价算法内嵌到三维视频的任何处理环节，来对此环节的质量进行监督并及时进行反馈，有利于后续的优化处理。(2)通过高效的非对称三维视频质量评价方法，可以对三维视频非对称编码方案或压缩方案进行指导，有利于提高算法性能，增强三维视频质量与人眼主观评判好坏的相关性。同时有利于减小三维视频传输数据量，提高三维视频的传输速率。(3)研究非对称三维视频质量评价方法，有助于进一步理解人类感知视觉系统，如双目竞争机制等，有助于视觉科学的发展。因此，有效且预测准确的非对称失真三维视频质量评价算法对于三维视频的发展会有很大的促进作用。
技术实现思路
一种对于非对称失真三维视频的质量评价方法，其特征提取包括以下几个步骤：A.采用现有的二维图像质量评价方法评估单视图视频每一帧图像的空间失真量，并且利用光流法评估运动失真量；B.提取单视图视频每一帧的空间信息量和时间信息量；C.结合空间和时间信息评估单视图视频质量损失。利用单视图视频每一帧的空间信息量和时间信息量分别对该帧的空间失真、运动失真进行加权及融合；D.结合单视图视频的空间信息量和时间信息量对左右视图视频质量损失进行加权，来评估三维视频的质量损失，最后将损失转化为质量分数。进一步地，对单视图视频每一帧图像评估空间失真量、运动失真量。进一步地，所述视觉特征包含空间失真量，其具体步骤是：A.采用几种常用的二维图像质量评价方法评估空间失真，包括峰值信噪比(PSNR)、结构相似性(SSIM)、多尺度结构相似性(MS-SSIM)、信息加权结构相似性(IW-SSIM)和特征相似性(FSIM)；B.将质量分数转化为失真分数。特别地，记(Ii，r，l，Ii，r，r)为参考三维视频的第i帧的左视频和右视频，(Ii，c，l，Ii，c，r)为失真三维视频的第i帧的左视频和右视频，左/右视频第i帧的空间失真量为对于PSNR，对于其他评价方法，空间失真量为1-MS-SSIM，1-IW-SSIM，1-FSIM；进一步地，所述视觉特征包含运动失真量，其具体步骤是：A.利用光流法(Opticalflow)提取运动向量，记为MVi，c，l(r)为左/右视图第i帧的运动向量图，记左/右视频第i帧的运动失真量为其计算公式如下：其中，W和H分别表示视频的分辨率的宽和高。进一步地，其特征包括空间信息量和时间信息量，其具体步骤是：A.对于空间信息量。首先用Scharr算子对每一个失真单视图视频帧的亮度图进行滤波，特别地，梯度大小计算公式如下所示：其中，G代表梯度大小，Gx、Gy分别代表水平方向和垂直方向的Scharr卷积。然后计算出上述操作后每一个Scharr滤波后的帧的梯度图的均值作为单个帧的空间感知信息，单个帧的空间信息计算公式如下：其中，Gi，c，l和Gi，c，r分别表示左右两个失真视频的第i帧的梯度图，SIi，c，l(r)表示失真的左右视频第i帧的空间信息量；B.对于时间信息量。首先，提取失真视频连续帧中亮度图的像素值的差异，作为运动差异特征图，记为Mi，c，l(r)，其计算公式如下：Mi，c，l＝Ii，c，l(x，y)-Ii-1，c，l(x，y)andMi，c，r＝Ii，c，r(x，y)-Ii-1，c，r(x，y)(4)其中Ii，c，l(x，y)，Ii，c，r(x，y)分别表示左右失真视频的第i帧的第x行，第y列的像素。然后计算运动差异特征图的均值作为为单个帧的时间信息，记为TIi，c，l(r)，单个帧的时间信息量计算公式如下：其中，TIi，c，l和TIi，c，r分别表示表示左右两个失真视图的时间感知信息，Mi，c，l和Mi，c，r分别表示左右两个失真视图的运动差异特征图。进一步地，利用单视图视频每一帧的空间信息量和时间信息量分别对该帧的空间失真、运动失真进行加权及融合，其具体步骤是：A.利用空间信息量对空间失真量加权。记失真的左右视频感知空间失真量为其计算公式如下：B.利用时间信息量对时间失真量加权。记失真的左右视频感知时间失真量为其计算公式如下：C.融合单视图视频的感知空间失真量和感知时间失真量，作为单视图视频的质量损失，记为其计算公式如下：其中，分别表示左/右视频的平均空间信息量和平均时间信息量。进一步地，利用单视图视频的空间信息量和时间信息量对左右视图视频质量损失进行加权，其具体步骤是：A.利用左/右视图视频的空间信息量得到权重，记为其计算公式如下：B.利用左/右视图视频的时间信息量得到权重，记为其计算公式如下：C.平均空间信息量得到权重和时间信息量得到权重，得到最终的权重，记为wl(r)，其计算公式如下：D.计算三维视频的质量损失，记为L3D，其计算公式为：E.最后，将质量损失转换为质量分数，记为Q3D，其计算公式为：为了改善使用直接平均法在预测非对称失真三维视频时产生的预测偏差，我们就非对称失真三维视频质量评价模型提出了一种新的方法。所用的视觉特征包含空间失真量、运动失真量、空间信息量、时间信息量。本专利技术各个部分的具体操作如下：·空间失真量、运动失真量提取：对于给定的非对称失真三维视频，分别对左右视图计算空间失真量和运动失真量。记(Ii，r，l，Ii，r，r)为参考三维视频的第i帧的左视频和右视频，(Ii，c，l，Ii，c，r)为失真三维视频的第i帧的左视频和右视频。对于左/右视频的第i帧的空间失真量，采用现有的二维图像质量评价方法计算，包括峰值信噪比(PSNR)、结构相似性(SSIM)、多尺度结构相似性(MS-SSIM)、信息加权结构相似性(IW-SSIM)和特征相似性(FSIM)。设空间失真量为对于PSNR，其他相应指标的空间失真量为1-MS-SSIM，1-IW-SSIM，1-FSIM。对于左/右视频的第i帧的运动失真量，首先利用光流本文档来自技高网...

【技术保护点】
1.一种对于非对称失真三维视频的质量评价方法，其特征提取包括以下几个步骤：A.采用二维图像质量评价方法评估单视图视频每一帧图像的空间失真量，并且利用光流法评估运动失真量；B.提取单视图视频每一帧的空间信息量和时间信息量；C.结合空间和时间信息评估单视图视频质量损失，利用单视图视频每一帧的空间信息量和时间信息量分别对该帧的空间失真、运动失真进行加权及融合；D.结合单视图视频的空间信息量和时间信息量对左右视图视频质量损失进行加权，来评估三维视频的质量损失，最后将损失转化为质量分数。

【技术特征摘要】
1.一种对于非对称失真三维视频的质量评价方法，其特征提取包括以下几个步骤：A.采用二维图像质量评价方法评估单视图视频每一帧图像的空间失真量，并且利用光流法评估运动失真量；B.提取单视图视频每一帧的空间信息量和时间信息量；C.结合空间和时间信息评估单视图视频质量损失，利用单视图视频每一帧的空间信息量和时间信息量分别对该帧的空间失真、运动失真进行加权及融合；D.结合单视图视频的空间信息量和时间信息量对左右视图视频质量损失进行加权，来评估三维视频的质量损失，最后将损失转化为质量分数。2.如权利要求1所述的一种对于非对称失真三维视频的质量评价方法，其特征在于，对单视图视频每一帧图像评估空间失真量、运动失真量。3.如权利要求2所述的一种对于非对称失真三维视频的质量评价方法，其特征在于，视觉特征包含空间失真量，其具体步骤是：A.采用二维图像质量评价方法评估空间失真，其包括峰值信噪比(PSNR)、结构相似性(SSIM)、多尺度结构相似性(MS-SSIM)、信息加权结构相似性和特征相似性(FSIM)；B.将质量分数转化为失真分数，记(Ii，r，l，Ii，r，r)为参考三维视频的第i帧的左视频和右视频，(Ii，c，l，Ii，c，r)为失真三维视频的第i帧的左视频和右视频，左/右视频第i帧的空间失真量为对于PSNR，对于其他评价方法，空间失真量为1-MS-SSIM，1-IW-SSIM，1-FSIM。4.如权利要求2所述的一种对于非对称失真三维视频的质量评价方法，其特征在于，视觉特征包含运动失真量，其具体步骤是：A.利用光流法提取运动向量，记为MVi，c，l(r)，为左/右视图第i帧的运动向量图，记左/右视频第i帧的运动失真量为其计算公式如下：其中，W和H分别表示视频的分辨率的宽和高。5.如权利要求4所述的一种对于非对称失真三维视频的质量评价方法，其特征在于，其特征包括空间信息量和时间信息量，其具体步骤是：A.对于空间信息量：首先用Scharr算子对每一个失真单视图视频帧的亮度图进行滤波，梯度大小计算公式如下所示：其中，G代表梯度大小，Gx、Gy分别代表水平方向和垂直方向的Scharr卷积；然后计算出上述操作后每一个Scharr...

【专利技术属性】
技术研发人员：方玉明，眭相杰，
申请(专利权)人：方玉明，
类型：发明
国别省市：江西,36