基于高维离散余弦变换的无参考光场图像质量评价方法技术

本发明专利技术公开了一种基于高维离散余弦变换的无参考光场图像质量评价方法，其将光场图像的子孔径图像阵列转换成子孔径梯度图像阵列，然后将子孔径梯度图像阵列划分成多个不重叠的4D块，并将4D块转换到4D‑DCT域中提取了裁剪的能量向量和裁剪的无符号系数分布特征向量，进而将裁剪的能量向量和裁剪的无符号系数分布特征向量串联得到光场图像的感知特征向量；随后，再结合支持向量回归技术，计算得到光场图像的客观质量评价分数；优点是其无需原始光场图像的任何信息，且能够获得与主观感知质量高度相似的客观评价结果。

【技术实现步骤摘要】
基于高维离散余弦变换的无参考光场图像质量评价方法
本专利技术涉及一种图像质量评价方法，尤其是涉及一种基于高维离散余弦变换的无参考光场图像质量评价方法。
技术介绍
光场图像质量的定量评价是光场图像处理领域中具有挑战性的问题。与平面图像相比，光场图像同时包含了空间强度信息和方向信息，提供了更为丰富的视觉信息。近年来，随着商用光场相机的推出，光场图像在工业界和商业界逐渐普及。因此，光场图像被广泛地采集、处理、传输、储存，并显示在各类应用中。在光场图像的处理过程中，将不可避免地造成光场图像的失真，从而会降低用户对于光场图像的使用体验。为了向用户提供更为优质的服务，实时检测并准确地评估光场图像的质量是有必要的。因此，光场图像质量评价也成为了光场图像处理领域中具有挑战性的问题。迄今为止，许多研究人员已经提出了许多较为成熟的平面图像客观质量评价方法，这些平面图像客观质量评价方法能够较为准确地预测平面图像质量。然而，光场图像不仅包含了场景的空间强度信息，而且也记录了场景的方向信息。因此，光场图像质量不单单与空间质量有关，还与光场图像的角度一致性相关。此外，光场图像还能提供场景的深度信息，故而光场图像的深度感知也是不容忽视的。简单地说，光场图像因其高维结构特性，使得平面图像客观质量评价方法并不适用于对光场图像客观质量的预测。目前，对于光场图像客观质量评价方法的探索只是初步，现有的光场图像客观质量评价方法还很少。如：Tian等人提出的一种全参考光场图像质量评价方法(Y.Tian,H.Zeng,L.Xing,J.Chen,J.Zhu,andK.Ma,“Amulti-orderderivativefeature-basedqualityassessmentmodelforlightfieldimage,”J.Vis.Commun.ImageRepresent.,vol.57,pp.212-217,Nov.2018.(基于多阶导数特征的光场图像质量评估模型))，该方法为MDFM方法，该方法对原始光场图像和失真光场图像的每个子孔径图像进行二阶梯度导数的相似度比较，得到失真光场图像的每个子孔径图像的结构相似度值，并平均失真光场图像的所有子孔径图像的结构相似度值作为失真光场图像的质量分数。又如：Shi等人提出的一种无参考光场图像质量评价方法(L.Shi,S.Zhao,andZ.Chen,“BELIF:Blindqualityevaluatoroflightfieldimagewithtensorstructurevariationindex,”inProc.IEEEInt.Conf.ImageProcess.(ICIP),Taipei,Taiwan,Sept.2019,pp.3781-3785.(BELIF:基于张量结构变化指数的光场图像盲质量评价器))，其被命名为盲光场图像质量估计器(简称为：BELIF)，该方法首先生成光场图像的独眼图阵列，然后使用张量分解获取独眼图阵列的第一切片并测量了第一切片中的自然度来衡量光场图像的空间质量，接着用第一切片与独眼图阵列中的每幅独眼图进行结构相似度比较来获取光场图像的角度一致性。再如：Shi等人进一步提出了一种无参考光场图像质量评价方法(L.Shi,W.Zhou,Z.ChenandJ.Zhang,“No-ReferenceLightFieldImageQualityAssessmentBasedonSpatial-AngularMeasurement,”IEEETransactionsonCircuitsandSystemsforVideoTechnology,vol.30,no.11,pp.4114-4128,Nov.2020.(基于空间-角度测量的无参考光场图像质量评估))，简称为：NR-LFQA，该方法结合了独眼图阵列和极平面图像来估计光场图像质量。再如：Zhou等人提出了一种无参考光场图像质量评价方法(W.Zhou,L.Shi,Z.ChenandJ.Zhang,“Tensororientedno-referencelightfieldimagequalityassessment,”IEEETrans.ImageProcess.,vol.29,pp.4070-4084,2020.(张量定向无参考光场图像质量评估))，简称为Tensor-NLFQ，该方法使用张量分解去提取四个方向子孔径图像栈中的主成分，然后评估主成分中的自然度来捕获光场图像的空间质量，再用主成分与子孔径图像栈中的每个视点进行结构相似度比较来估计光场图像的角度一致性。全参考光场图像质量评价方法需要原始光场图像的信息，在某些无法获取原始光场图像的信息的情况下，全参考光场图像质量评价方法将无法使用；无参考光场图像质量评价方法不需要原始光场图像的信息，但是更需要关注它的预测性能，上述现有的无参考光场图像质量评价方法的客观评价结果与主观感知质量的一致性还有待提高。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于高维离散余弦变换的无参考光场图像质量评价方法，其无需原始光场图像的任何信息，且能够获得与主观感知质量高度相似的客观评价结果。本专利技术解决上述技术问题所采用的技术方案为：一种基于高维离散余弦变换的无参考光场图像质量评价方法，其特征在于包括以下步骤：步骤1：将待评价的4维的光场图像记为L，L的角度分辨率为U×V，L的空间分辨率为X×Y；然后将L视作为2维的子孔径图像阵列，子孔径图像阵列由U×V幅子孔径图像构成，每幅子孔径图像的分辨率为X×Y，将子孔径图像阵列中视点坐标位置为(u,v)的子孔径图像记为Iu,v；其中，1≤u≤U，1≤v≤V；步骤2：将子孔径图像阵列中除最后一行和最后一列外的每幅子孔径图像作为待处理子孔径图像，将子孔径图像阵列中视点坐标位置为(u',v')的待处理子孔径图像记为Iu',v'；然后计算子孔径图像阵列中的每幅待处理子孔径图像与其水平相邻的子孔径图像之间的水平差分图像，将Iu',v'与其水平相邻的子孔径图像即子孔径图像阵列中视点坐标位置为(u'+1,v')的待处理子孔径图像Iu'+1,v'之间的水平差分图像记为将中坐标位置为(x,y)的像素点的像素值记为并计算子孔径图像阵列中的每幅待处理子孔径图像与其垂直相邻的子孔径图像之间的垂直差分图像，将Iu',v'与其垂直相邻的子孔径图像即子孔径图像阵列中视点坐标位置为(u',v'+1)的待处理子孔径图像Iu',v'+1之间的垂直差分图像记为将中坐标位置为(x,y)的像素点的像素值记为接着计算子孔径图像阵列中的每幅待处理子孔径图像的子孔径梯度图像，将Iu',v'的子孔径梯度图像记为Gu',v'，将Gu',v'中坐标位置为(x,y)的像素点的像素值记为Gu',v'(x,y)，在得到子孔径图像阵列中的所有待处理子孔径图像的子孔径梯度图像后，将子孔径图像阵列转换成子孔径梯度图像阵列，记为G，G的角度分辨率为(U-1)×(V-1)，即由(U-1)×(V-1)幅子孔径梯度图像构成，G的空间分辨率为X×Y，即每幅子孔径梯度图像的分辨率为X×Y；其中，1≤u'≤U本文档来自技高网...

【技术保护点】
1.一种基于高维离散余弦变换的无参考光场图像质量评价方法，其特征在于包括以下步骤：/n步骤1：将待评价的4维的光场图像记为L，L的角度分辨率为U×V，L的空间分辨率为X×Y；然后将L视作为2维的子孔径图像阵列，子孔径图像阵列由U×V幅子孔径图像构成，每幅子孔径图像的分辨率为X×Y，将子孔径图像阵列中视点坐标位置为(u,v)的子孔径图像记为I

【技术特征摘要】
1.一种基于高维离散余弦变换的无参考光场图像质量评价方法，其特征在于包括以下步骤：
步骤1：将待评价的4维的光场图像记为L，L的角度分辨率为U×V，L的空间分辨率为X×Y；然后将L视作为2维的子孔径图像阵列，子孔径图像阵列由U×V幅子孔径图像构成，每幅子孔径图像的分辨率为X×Y，将子孔径图像阵列中视点坐标位置为(u,v)的子孔径图像记为Iu,v；其中，1≤u≤U，1≤v≤V；
步骤2：将子孔径图像阵列中除最后一行和最后一列外的每幅子孔径图像作为待处理子孔径图像，将子孔径图像阵列中视点坐标位置为(u',v')的待处理子孔径图像记为Iu',v'；然后计算子孔径图像阵列中的每幅待处理子孔径图像与其水平相邻的子孔径图像之间的水平差分图像，将Iu',v'与其水平相邻的子孔径图像即子孔径图像阵列中视点坐标位置为(u'+1,v')的待处理子孔径图像Iu'+1,v'之间的水平差分图像记为将中坐标位置为(x,y)的像素点的像素值记为并计算子孔径图像阵列中的每幅待处理子孔径图像与其垂直相邻的子孔径图像之间的垂直差分图像，将Iu',v'与其垂直相邻的子孔径图像即子孔径图像阵列中视点坐标位置为(u',v'+1)的待处理子孔径图像Iu',v'+1之间的垂直差分图像记为将中坐标位置为(x,y)的像素点的像素值记为接着计算子孔径图像阵列中的每幅待处理子孔径图像的子孔径梯度图像，将Iu',v'的子孔径梯度图像记为Gu',v'，将Gu',v'中坐标位置为(x,y)的像素点的像素值记为Gu',v'(x,y)，在得到子孔径图像阵列中的所有待处理子孔径图像的子孔径梯度图像后，将子孔径图像阵列转换成子孔径梯度图像阵列，记为G，G的角度分辨率为(U-1)×(V-1)，即由(U-1)×(V-1)幅子孔径梯度图像构成，G的空间分辨率为X×Y，即每幅子孔径梯度图像的分辨率为X×Y；其中，1≤u'≤U-1，1≤v'≤V-1，1≤x≤X，1≤y≤Y，符号“||”为取绝对值符号，Iu',v'(x,y)表示Iu',v'中坐标位置为(x,y)的像素点的像素值，Iu'+1,v'(x,y)表示Iu'+1,v'中坐标位置为(x,y)的像素点的像素值，Iu',v'+1(x,y)表示Iu',v'+1中坐标位置为(x,y)的像素点的像素值；
步骤3：将G划分为个互不重叠的尺寸为4×4×4×4的4D块，将G中的第s个4D块记为GBs，将GBs中坐标位置为(u1,v1,x1,y1)的像素点的像素值记为GBs(u1,v1,x1,y1)；然后采用四维离散余弦变换技术将G中的每个4D块转换到4D-DCT域中，得到G中的每个4D块对应的频域块，将GBs对应的频域块记为FBs，将FBs中频域坐标位置为上的值记为即为GBs在4D-DCT域中在频域坐标位置上的4D-DCT系数，GBs在4D-DCT域中共包含有256个4D-DCT系数，包括1个直流系数和255个交流系数，当时GBs在4D-DCT域中在频域坐标位置(1,1,1,1)上的4D-DCT系数为直流系数；其中，符号为向下取整符号，1≤u1≤4，1≤v1≤4，1≤x1≤4，1≤y1≤4，函数g()的功能定义为a1,a2为两个参数；
步骤4：计算G中的所有4D块在4D-DCT域中在相同频域坐标位置上的交流系数所对应的能量值，在不为(1,1,1,1)的情况下将G中的所有4D块在4D-DCT域中在频域坐标位置上的交流系数所对应的能量值记为然后将得到的255个能量值按顺序排列构成维数为255×1的能量向量，作为L对应的能量向量，并记为E，E＝[E1,E2,…,Ek,…,E255]T；其中，1≤k≤255，符号“[]”为向量或矩阵表示符号，E1表示E中的第1个元素，E2表示E中的第2个元素，Ek表示E中的第k个元素，E255表示E中的第255个...

【专利技术属性】
技术研发人员：郁梅，项建军，蒋志迪，蒋刚毅，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33