基于3D-DCT域统计分析的无参考视频质量评价方法技术

本发明专利技术公开了一种基于3D-DCT域统计分析的无参考视频质量评价方法，主要解决现有方法中应用失真类型有限，对视频的空-时信息利用不足的局限。其实现步骤是：(1)对数据集所有视频进行局部3D-DCT计算；(2)根据3D-DCT系数，提取反映不同统计特性的特征；(3)对特征进行合并得视频总体特征；(4)将数据集分为训练集和测试集，训练集用于训练特征到真实质量分数之间的回归映射模型，再将学习到的回归模型预测测试视频的质量分数。统计预测结果与真实分数之间相关性，作为质量评价的性能指标。本发明专利技术与现有方法相比，不需要额外的运动估计，仅需对3D-DCT域统计分析，实现了同时捕获视频的空-时统计特性，提高了客观质量预测与主观评价的一致性。

【技术实现步骤摘要】

本专利技术属于图像/视频处理
，特别涉及视频质量评价方法，可用于多媒体信息处理、影视创作等领域。
技术介绍
随着多媒体与网络传输技术的快速发展，海量的视频信号在用户端和视频服务商间产生、传输、存储和显示，并用于不同的应用中，如网络电视、视频监控、视频会议等。然而由于压缩损失、传输信道带宽等因素的限制，原始的视频会不可避免的引入一些失真或丢失部分信息，造成视频质量的下降。为了将用户端视频质量维持在可接受的范围内，提高用户的体验质量，设计准确的视频质量评价算法是非常必要且重要的。客观的质量评价方法目的在于在无人类观察者参与的情况下自动评价视频的视觉质量。根据评价过程中有无参考视频参与，可将客观评价方法分为三类：有参考、半参考和无参考。其中无参考视频质量评价是应用最为广泛、最具挑战的一类工作，也是本专利技术要探索的问题。目前无参考视频质量评价方法面临的挑战主要有以下三点。1)参考视频信息的缺失使得无法从相似度或保真度的角度定义质量；2)视频的时空复杂度高。难以提取质量相关的反映视频时空特性的特征；3)对人类视觉系统理解有限，提取特征与主观视觉质量之间的映射关系难以建模。目前，无参考的视频质量评价方法主要分为两类：一是针对特定视频类型的评价方法。这种方法是研究特定失真如压缩、传输误差失真等的特性以及其与视频视觉质量的映射关系，从而对这类失真视频质量进行评价。如Zhang等人在文献“F.Zhang,W.Lin,Z.Chen,and K.N.Ngan.Additive log-logistic model for networked video quality assessment.IEEE Transactions on Image Processing,22(4):1536-1547,2013.”中提出的针对数据库IPTV(Internet Protocol
Television)的质量评价方法。该方法首先提取了反映视频压缩、贴片和冻结严重程度的特征，并提出了ALM(Additive log-logistic model)模型建模多维特征与主观评价之间的非线性关系。通过经典的统计推理可以选择特征并估计模型参量。该类方法存在的不足之处是，只能应用到特定失真类型的视频，同时提取特征的过程中需要利用视频的编码和信道信息如量化参量、丢包率等，而在大多数应用中，这些信息是无法获得的。二是通用的视频质量评价方法。目前已存在这类方法是基于对NVS(natural video statistics)的研究，这类方法认为自然(无失真)场景视频存在NVS,而视频质量的下降会使其偏离NVS模型,从而通过度量失真视频与NVS之间的距离评价视频质量。此外人类视觉系统普遍被认为是根据自然环境进行进化，因此NVS一定程度上也反映了人类感知特性。最近Saad等人在文献“M.A.Saad,A.C.Bovik,C.Charrier.Blind prediction of natural video quality.IEEE Transactions on Image Processing,23(3):1352-1365,2014.”中提出了一种基于NVS模型的方法。该方法中通过帧间差的2维DCT变换获取局部的空间和时间频域信息，通过广义高斯模型对频域系数建模，并以低中高频模型参量比作为NVS模型特征。另外该方法还提出了对视频运动相干性的度量以反映相干运动对失真的掩蔽特性。该方法存在的不足之处是，帧间差的方法只能捕获连续两帧之间的变化，而无法反映持续短时的时间频域信息。另外相干运动的度量需要对首先对视频进行运动估计，使得算法运行更加耗时。
技术实现思路
本专利技术的目的在于针对上述现有方法的不足，提出一种适应各种类型的无参考视频、适用于短时间频域信息的基于3D-DCT域统计分析的通用型无参考视频质量评价方法。本专利技术的具体技术方案包括如下步骤：一种基于3D-DCT域统计分析的无参考视频质量评价方法，其特
征在于，包括以下步骤：1)对视频质量评估数据库中的每个视频进行3D-DCT计算，获取反映视频时空频域信息的一维向量形式的交流系数；2)利用步骤1)一维向量形式的交流系数，提取每个视频中每M×N个时空立方体的时空统计特征；所述视频中每M×N个时空立方体的时空统计特征包括基本谱特征、能量波动特征、形状参量特征以及分布变化特征；2.1)提取视频3D-DCT域的基本谱特征；2.1.1)利用无符号交流系数的均值和方差度量之比获得K个交流频率的基本谱特征，所述无符号交流系数为交流系数的绝对值；2.1.2)将所有K个交流频率的基本谱特征连接一起构成特征f1＝[s1,s2…,sK]T；2.2)提取描述视频3D-DCT域能量波动特征；所述视频3D-DCT域能量波动特性包括平均谱能量和熵度量；2.2.1)计算平均谱能量和熵度量，具体计算公式分别为： r k = 1 NM Σ m = 1 m = M Σ n = 1 n = N log 2 [ C k ( m , n ) ] 2 , ]]> e k = - Σ i = 1 i = N b p i ( | C k | ) log 2 ( p i ( | C k | ) ) , ]]>其中，rk为第k个交流频率上的平均谱能量，ek为第k个交流频率上的熵度量，pi(|Ck|)为第k个交流频率上无符号交流系数落在第i箱内的概率，Nb为总的箱数；2.2.2)将所有K个交流频率对应的平均谱能量和熵度量分别本文档来自技高网...

【技术保护点】
一种基于3D‑DCT域统计分析的无参考视频质量评价方法，其特征在于，包括以下步骤：1)对视频质量评估数据库中的每个视频进行3D‑DCT计算，获取反映视频时空频域信息的一维向量形式的交流系数；2)利用步骤1)一维向量形式的交流系数，提取每个视频中每M×N个时空立方体的时空统计特征；所述视频中每M×N个时空立方体的时空统计特征包括基本谱特征、能量波动特征、形状参量特征以及分布变化特征；2.1)提取视频3D‑DCT域的基本谱特征；2.1.1)利用无符号交流系数的均值和方差度量之比获得K个交流频率的基本谱特征，所述无符号交流系数为交流系数的绝对值；2.1.2)将所有K个交流频率的基本谱特征连接一起构成特征f1＝[s1,s2…,sK]T；2.2)提取描述视频3D‑DCT域能量波动特征；所述视频3D‑DCT域能量波动特性包括平均谱能量和熵度量；2.2.1)计算平均谱能量和熵度量，具体计算公式分别为：rk=1NMΣm=1m-MΣn=1n-Nlog2[Ck(m,n)]2,]]>ek=-Σi=1i=Nbpi(|Ck|)log2(pi(|Ck|)),]]>其中，rk为第k个交流频率上的平均谱能量，ek为第k个交流频率上的熵度量，pi(|Ck|)为第k个交流频率上无符号交流系数落在第i箱内的概率，Nb为总的箱数；2.2.2)将所有K个交流频率对应的平均谱能量和熵度量分别连接一起构成特征f2＝[r1,r2…,rK]T和f3＝[e1,e2…,eK]T；2.3)提取描述视频3D‑DCT域形状参量特征；2.3.1)统计各交流频率上交流系数的概率分布，并利用广义高斯分布对每个交流频率上交流系数的概率分布进行拟合，获取每个交流频率上分布的形状参量；2.3.2)将所有K个交流频率上分布的形状参量连接一起构成对应的特征f4＝[γ1,γ2…,γK]T；2.4)提取视频3D‑DCT域分布变化特征；2.4.1)计算每个交流频率上交流系数分布与所有K个交流频率上交流系数的平均分布之间的city‑block距离从而度量两者之间的距离，计算公式如下：dk=Σi=1i=Nb|pi(|Ck|)-mpi|]]>其中，dk为第k个交流频率上交流系数分布与所有K个交流频率上交流系数的平均分布之间的距离度量，为所有K个交流频率上交流系数的平均分布，pi(|Ck|)为第k个交流频率上无符号交流系数落在第i箱内的概率；2.4.2)将所有K个交流频率上计算得到的距离度量连接组成特征f5＝[d1,d2…,dK]；3)由步骤2)中获取视频中M×N个时空立方体的时空统计特征，对时空统计特征在时间轴上进行平均合并后再实施PCA降维，获取质量评价特征；4)在视频质量评价数据库中训练回归模型，进行测试，计算预测结果与真实质量分数的相关系数；4.1)将视频质量评价数据库中视频分为两部分：一部分视频作为训练集，其余视频作为测试集；其中，训练集中的视频和测试集中的视频在内容上完全无重叠；训练集中视频数量为P，训练集提取到的质量评价特征表示为Xtrain∈Rd×P训练集真实质量分数为ytrain∈RP；利用训练集训练回归模型；4.2)设测试集中视频数量为Q，测试集提取到的质量评价特征表示Xtest∈Rd×Q，测试集真实质量分数为ytest∈RQ，将测试集Xtest输入训练好的回归模型，得到测试集中视频的预测分数ypredict∈RQ；4.3)通过皮尔斯线性相关系数以及斯皮尔曼等级相关系数计算测试集中视频的预测分数ypredict与真实质量分数ytest之间的相关性：4.4)重复步骤4.1)至步骤4.3)，对视频质量评估数据库中的所有视频进行相关系数的计算，实现评估。...

【技术特征摘要】
1.一种基于3D-DCT域统计分析的无参考视频质量评价方法，其特征在于，包括以下步骤：1)对视频质量评估数据库中的每个视频进行3D-DCT计算，获取反映视频时空频域信息的一维向量形式的交流系数；2)利用步骤1)一维向量形式的交流系数，提取每个视频中每M×N个时空立方体的时空统计特征；所述视频中每M×N个时空立方体的时空统计特征包括基本谱特征、能量波动特征、形状参量特征以及分布变化特征；2.1)提取视频3D-DCT域的基本谱特征；2.1.1)利用无符号交流系数的均值和方差度量之比获得K个交流频率的基本谱特征，所述无符号交流系数为交流系数的绝对值；2.1.2)将所有K个交流频率的基本谱特征连接一起构成特征f1＝[s1,s2…,sK]T；2.2)提取描述视频3D-DCT域能量波动特征；所述视频3D-DCT域能量波动特性包括平均谱能量和熵度量；2.2.1)计算平均谱能量和熵度量，具体计算公式分别为： r k = 1 NM Σ m = 1 m - M Σ n = 1 n - N log 2 [ C k ( m , n ) ] 2 , ]]> e k = - Σ i = 1 i = N b p i ( | C k | ) log 2 ( p i ( | C k | ) ) , ]]>其中，rk为第k个交流频率上的平均谱能量，ek为第k个交流频率上的熵度量，pi(|Ck|)为第k个交流频率上无符号交流系数落在第i箱内
\t的概率，Nb为总的箱数；2.2.2)将所有K个交流频率对应的平均谱能量和熵度量分别连接一起构成特征f2＝[r1,r2…,rK]T和f3＝[e1,e2…,eK]T；2.3)提取描述视频3D-DCT域形状参量特征；2.3.1)统计各交流频率上交流系数的概率分布，并利用广义高斯分布对每个交流频率上交流系数的概率分布进行拟合，获取每个交流频率上分布的形状参量；2.3.2)将所有K个交流频率上分布的形状参量连接一起构成对应的特征f4＝[γ1,γ2…,γK]T；2.4)提取视频3D-DCT域分布变化特征；2.4.1)计算每个交流频率上交流系数分布与所有K个交流频率上交流系数的平均分布之间的city-block距离从而度量两者之间的距离，计算公式如下： d k = Σ i = 1 i = N b | p i ( | ...

【专利技术属性】
技术研发人员：李学龙，卢孝强，郭群，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：陕西;61