基于协方差矩阵特征的半参考3D合成图像质量评价方法技术

本发明专利技术公开了一种基于协方差矩阵特征的半参考3D合成图像质量评价方法，用于解决目前图像质量评价方法对3D合成图像质量评价效果较差的问题。半参考图像质量评价方法需要使用参考图像的部分信息，本发明专利技术中使用协方差矩阵描述这些信息。首先在发送端提取参考图像特征，通过无损的辅助信道将参考图像特征传输到接收端。在接收端，提取退化图像特征。然后计算参考图像特征和退化图像特征间的距离，用于评价退化图像质量。本发明专利技术提出使用图像八个基本特征的协方差矩阵描述3D合成图像，然后使用仿射不变度量计算退化图像和参考图像协方差矩阵间的距离，距离越小说明图像质量越高。

【技术实现步骤摘要】
基于协方差矩阵特征的半参考3D合成图像质量评价方法
：本专利技术涉及3D合成图像质量评价的方法。现有技术：随着3D电视，3D游戏，沉浸式漫游系统等应用的发展和普及，3D合成图像技术作为保障这些应用的核心技术，得到了研究人员的广泛关注。然而3D图像合成技术尚未完全成熟，导致3D合成图像中或多或少会出现一定的失真，特别是几何失真。并且在3D合成图像压缩、存储和传输过程中，也会引入一定的噪声和失真，导致3D合成图像质量退化，损害各种3D应用的用户体验。因此3D合成图像质量评价技术具有重要的研究意义。目前经典图像质量评价方法无法对3D合成图像质量进行较准确的评价，因为经典图像质量评价方法一般针对自然场景图像而提出，而3D合成图像中包含了一些新的失真类型，例如：几何失真。这些经典图像质量评价方法几乎很少考虑这些新的失真类型，因此评价效果无法令人满意。根据使用参考信息的多少，图像质量评价方法可分为：全参考方法，半参考方法和无参考方法。其中半参考方法只需要使用部分参考图像信息。文献1“D,KukoljD,CalletPL.Multi-ScaleSynthesizedViewAssessmentBasedonMorphologicalPyramids[J].JournalofElectricalEngineering,2016,67(1):3-11.”提出了一种专门针对3D合成图像的质量评价方法，命名为形态学金字塔峰值信噪比度量(Morphologicalpyramidpeaksignal-to-noiseratiometric,MP-PSNR)。此方法首先使用形态学金字塔把图像分解到多个尺度上，然后计算高尺度下多个子图像的平均均方误差。再根据平均均方误差计算图像在多个高尺度下的平均峰值信噪比，即为形态学金字塔峰值信噪比。形态学金字塔峰值信噪比越高，说明图像质量越好。专利技术目的：针对目前图像质量评价方法对3D合成图像质量评价效果较差的问题。本专利技术提出了一种基于协方差矩阵特征的半参考3D合成图像质量评价方法。在3D合成图像质量评价数据库IRCCyN/IVC中取得了较好效果。具体来说，本专利技术质量评价结果与IRCCyN/IVC主观评价值的皮尔森相关系数(PLCC)达到0.8002，相对于文献1性能提高了18％。斯皮尔曼相关系数(SRCC)达到了0.7812，相对于文献1性能提高了13％。
技术实现思路
：本专利技术是一种半参考3D合成图像质量评价方法。本专利技术流程如附图1所示。半参考图像质量评价方法需要使用参考图像的部分信息，本专利技术使用图像协方差矩阵特征描述这些信息。首先在发送端提取参考图像特征，通过无损的辅助信道将参考图像特征传输到接收端。在接收端，提取退化图像特征。然后计算参考图像特征和退化图像特征间的距离，用于评价退化图像质量。本专利技术提出使用图像八个基本特征的协方差矩阵描述3D合成图像，然后使用文献2“TuzelO,PorikliF,MeerP.RegionCovariance:AFastDescriptorforDetectionandClassification[C],EuropeanConferenceonComputerVision.Springer-Verlag,2006:589-600.”中提出的仿射不变度量计算退化图像和参考图像协方差矩阵间的距离，距离越小说明图像质量越高。本专利技术分为两个部分：图像协方差矩阵特征计算和图像质量得分计算。1、图像协方差矩阵特征计算对于宽度和高度分别为w和h的RGB图像I(x,y),x＝1,2,…,w,y＝1,2,…,h。1)计算灰度特征图像I的灰度特征图Igray可由公式(1)计算得到。Igray＝0.299*IR+0.587*IG+0.114*IB(1)其中，IR，IG和IB分别表示图像I的R,G,B三个颜色分量。将Igray按列拉直为一个列向量，得到图像I的灰度特征向量fgray，向量长度为w*h。2)计算明度特征图像I的明度特征图Ival是指图像在HSV颜色空间中的明度(Value)分量，可通过公式(2)计算得到。Ival＝max(IR,IG,IB)(2)其中max(·)为求最大值算子。将Ival按列拉直为一个列向量，得到图像I的明度特征向量fval，向量长度为w*h。3)计算饱和度特征图像I的饱和度特征图Isat是指图像在HSV颜色空间中的饱和度(Saturation)分量，可通过公式(3)计算得到。其中min(·)为求最小值算子，Ival可由公式(2)计算得到。将Isat按列拉直为一个列向量，得到图像I的饱和度特征向量fsat，向量长度为w*h。4)计算梯度特征本专利技术只计算图像的水平梯度特征，图像I的水平梯度图Igrad可通过公式(4)计算得到。Igrad(x,y)＝Igray(x+1,y)-Igray(x,y)(4)其中Igray可由公式(1)计算得到。x和y分别表示图像内像素的水平和垂直坐标。当计算图像边缘像素时，对图像外进行补零填充。将Igray按列拉直为一个列向量，得到图像I的梯度特征向量fgray，向量长度为w*h。5)计算局部熵特征图像I的局部熵特征图Ientr可由公式(5)计算得到。其中Igray可由公式(1)计算得到。Igray(x+i,y+j)表示了图像灰度图中以(x,y)为中心的一个区域，区域大小为7*7，即i∈[-3,3],j∈[-3,3]。当计算图像边缘像素时，对图像外进行补零填充。Pk为这个区域内，灰度值为k的像素出现的概率。将Ientr按列拉直为一个列向量，得到图像I的局部熵特征向量fentr，向量长度为w*h。6)计算局部标准差特征图像I的局部标准差特征图Ilsd可由公式(6)、(7)计算得到。其中ω＝{ωi,j|i＝-3,...,3,j＝-3,...,3}为单位卷积高斯窗(Unit-volumeGaussianwindow)函数。当计算图像边缘像素时，对图像外进行补零填充。将Ilsd按列拉直为一个列向量，得到图像I的局部标准差特征向量flsd，向量长度为w*h。7)计算局部标准差邻域乘积特征图像I的局部标准差邻域乘积图Ipsd可由图像局部标准差图Ilsd计算得到，如公式(8)所示。Ipsd(x,y)＝Ilsd(x+1,y)*Ilsd(x,y)(8)当计算图像边缘像素时，对图像外进行补零填充。将Ipsd按列拉直为一个列向量，得到图像I的局部标准差邻域乘积特征向量fpsd，向量长度为w*h。8)计算局部二值化模式差分特征根据文献3“HongX,ZhaoG,PietikainenM,etal.CombiningLBPDifferenceandFeatureCorrelationforTextureDescription[J].IEEETransImageProcess,2014,23(6):2557-2568.”提出的方法，计算图像I的局部二值化模式差分特征图Ilbpd。将Ilbpd按列拉直为一个列向量，得到图像I的局部二值化模式差分特征向量flbpd，向量长度为w*h。根据步骤1)到8)，我们得到了8个长度为w*h的特征向量，根据公式(9)对每个特征向量进行标准化。f表示原始向量，F表示标准化后的特征向量。具体来说，由fgray,fv本文档来自技高网...

【技术保护点】
1.基于协方差矩阵特征的半参考3D合成图像质量评价方法，其特征在于两个部分：图像协方差矩阵特征计算和图像质量得分计算；(1)图像协方差矩阵特征计算：对于宽度和高度分别为w和h的RGB图像I(x,y),x＝1,2,…,w,y＝1,2,…,h；1)计算灰度特征：图像I的灰度特征图Igray可由公式(1)计算得到：Igray＝0.299*IR+0.587*IG+0.114*IB                  (1)其中，IR，IG和IB分别表示图像I的R,G,B三个颜色分量；将Igray按列拉直为一个列向量，得到图像I的灰度特征向量fgray，向量长度为w*h；2)计算明度特征：图像I的明度特征图Ival是指图像在HSV颜色空间中的明度(Value)分量，可通过公式(2)计算得到：Ival＝max(IR,IG,IB)                               (2)其中max(·)为求最大值算子；将Ival按列拉直为一个列向量，得到图像I的明度特征向量fval，向量长度为w*h；3)计算饱和度特征：图像I的饱和度特征图Isat是指图像在HSV颜色空间中的饱和度(Saturation)分量，可通过公式(3)计算得到：...

【技术特征摘要】
1.基于协方差矩阵特征的半参考3D合成图像质量评价方法，其特征在于两个部分：图像协方差矩阵特征计算和图像质量得分计算；(1)图像协方差矩阵特征计算：对于宽度和高度分别为w和h的RGB图像I(x,y),x＝1,2,…,w,y＝1,2,…,h；1)计算灰度特征：图像I的灰度特征图Igray可由公式(1)计算得到：Igray＝0.299*IR+0.587*IG+0.114*IB(1)其中，IR，IG和IB分别表示图像I的R,G,B三个颜色分量；将Igray按列拉直为一个列向量，得到图像I的灰度特征向量fgray，向量长度为w*h；2)计算明度特征：图像I的明度特征图Ival是指图像在HSV颜色空间中的明度(Value)分量，可通过公式(2)计算得到：Ival＝max(IR,IG,IB)(2)其中max(·)为求最大值算子；将Ival按列拉直为一个列向量，得到图像I的明度特征向量fval，向量长度为w*h；3)计算饱和度特征：图像I的饱和度特征图Isat是指图像在HSV颜色空间中的饱和度(Saturation)分量，可通过公式(3)计算得到：其中min(·)为求最小值算子，Ival可由公式(2)计算得到；将Isat按列拉直为一个列向量，得到图像I的饱和度特征向量fsat，向量长度为w*h；4)计算梯度特征：本发明只计算图像的水平梯度特征，图像I的水平梯度图Igrad可通过公式(4)计算得到：Igrad(x,y)＝Igray(x+1,y)-Igray(x,y)(4)其中Igray可由公式(1)计算得到；x和y分别表示图像内像素的水平和垂直坐标；当计算图像边缘像素时，对图像外进行补零填充；将Igray按列拉直为一个列向量，得到图像I的梯度特征向量fgray，向量长度为w*h；5)计算局部熵特征：图像I的局部熵特征图Ientr可由公式(5)计算得到：其中Igray可由公式(1)计算得到；Igray(x+i,y+j)表示了图像灰度图中以(x,y)为中心的一个区域，区域大小为7*7，即i∈[-3,3],j∈[-3,3]；当计算图像边缘像素时，对图像外进行补零填充；Pk为这个区域内，灰度值为k的像素出现的概率；将Ientr按列拉直为一个列向量，得到图像I的局部熵特征向量fentr，向量长度为w*h；6)计算局部标准差特征：图像I的局部标准差特征图Ilsd可由公式(6)、(7)计算...

【专利技术属性】
技术研发人员：夏召强，吴军，黄东，李磊，冯晓毅，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61