自然性、结构和双目不对称无参考立体图像质量评价方法技术

本发明专利技术属于立体图像处理领域，为在立体图像自然性、结构特性和双目不对性的基础上，提出一种立体图像质量评价方法，结果优于其他算法，并且与人眼主观评价分数更为接近，说明提出的方法适用于解决无参考的立体图像评价问题。为此，本发明专利技术采取的技术方案是，自然性、结构和双目不对称无参考立体图像质量评价方法，步骤如下：1、数据准备；2、自然场景统计特征提取；3、独眼图特征提取；4、不对称失真特征提取；5、图像质量预测。本发明专利技术主要应用于立体图像处理场合。

Naturality, Structure and Binocular Asymmetric Non-Reference Stereo Image Quality Assessment Method

The present invention belongs to the field of stereo image processing. In order to improve the naturalness, structural characteristics and binocular misalignment of stereo image, a stereo image quality evaluation method is proposed. The result is superior to other algorithms, and is closer to the subjective evaluation score of human eyes. It shows that the proposed method is suitable for solving the problem of stereo image evaluation without reference. To this end, the technical scheme adopted by the present invention is to evaluate the quality of stereoscopic images with naturalness, structure and binocular asymmetry. The steps are as follows: 1. data preparation; 2. statistical feature extraction of natural scenes; 3. feature extraction of monocular images; 4. feature extraction of asymmetric distortion; 5. image quality prediction. The invention is mainly applied to stereo image processing occasion.

【技术实现步骤摘要】
自然性、结构和双目不对称无参考立体图像质量评价方法
本专利技术属于图像处理领域，尤其是立体图像的质量评价，涉及一种基于自然性、结构和双目不对称性的无参考立体图像质量评价方法。
技术介绍
随着多媒体和网络技术的快速发展，人们对数字图像的需求日益增加。立体图像相比于传统的平面图像，融入了深度信息，更加符合大众的视觉体验，因此正变得越来越受欢迎。然而，图像在诸如采集、传输、处理和存储的各个阶段不可避免地会造成各种失真，很大程度上影响我们的视觉体验。图像质量评价(ImageQualityAssessment,IQA)准则旨在评估和监测图像质量，在图像压缩、增强和传输等图像处理系统中发挥着重要作用。目前，已经有很多性能优秀的平面图像质量评价算法，但是影响立体图像质量的因素来自方方面面，简单套用平面图像评价算法往往不能达到较为理想的性能，因此，立体图像的质量评价问题显得尤为复杂。质量评价可以简单分为主观质量评价和客观质量评价，前者耗时费力不易实施，因此后者得到了广泛的发展。客观质量评价又可以进一步分为全参考(FullReference,FR)、半参考(ReducedReference,RR)和无参考(NoReference,NR)三种类型。现有的算法大多模拟双目视觉特征，比如双目融合、双目竞争和双目抑制等，以及提取一些质量敏感的特征，比如局部二值模式、熵、能量等，鲜有算法考虑自然性，也很少有针对双目不对称失真的研究，因此提出一种基于双目视觉、图像自然性和失真不对称性的立体图像质量评价算法，对于立体图像质量评价工作有鲜明的指导意义。
技术实现思路
为克服现有技术的不足，本专利技术旨在针对立体图像质量评价问题，在立体图像自然性、结构特性和双目不对性的基础上，提出一种立体图像质量评价方法，结果优于其他算法，并且与人眼主观评价分数更为接近，说明提出的方法适用于解决无参考的立体图像评价问题。为此，本专利技术采取的技术方案是，自然性、结构和双目不对称无参考立体图像质量评价方法，步骤如下：1、数据准备：选用LIVE3DIQAPhaseI和LIVE3DIQAPhaseII两个数据库，涵盖对称失真和非对称失真，取每个库80％的数据作为训练集，20％作为测试集；2、自然场景统计特征提取：在左视图IL和右视图IR上，计算它们各自的去均值对比度归一化系数，并用广义高斯分布去拟合该系数的统计分布，将广义高斯分布的参数α和v2表示为特征f1；在IL和IR上反复迭代，以得到在多尺度对比度方差的去均值对比度归一化系数上拟合的广义高斯分布参数，将特征记为f2；3、独眼图特征提取：通过基于SSIM的算法得到视差值d，联合IL和IR以及其2DGabor滤波器的幅值响应合成独眼图Cyc，用广义高斯分布拟合Cyc的去均值对比度归一化系数，将拟合参数记为特征f3；计算Cyc的相位图，在相位图上求得灰度共生矩阵，提取其中的能量和同质性特征作为特征f4；4、不对称失真特征提取：将IL和IR作差得到差值图，在差值图上用广义高斯分布去拟合去均值对比度归一化系数，并计算差值图的梯度相似性，将拟合参数和梯度相似性组合为特征f5；5、图像质量预测：将以上提取的特征融合得到总的特征向量F＝[f1,f2,f3,f4,f5]，利用支持向量回归对图像进行训练和预测。自然场景统计特征提取具体细化如下：采用空域自然场景统计NSS特征，给定一张MxN的图像I，它的去均值对比度归一化MSCN(MeanSubtractedContrastNormalized)系数表示为：其中，I(i,j)表示位置(i,j)处的像素值，表示(i,j)处MSCN，μ(i,j)、σ(i,j)分别表示(i,j)处的均值μ和标准差σ，ω＝{ωh,r|h＝-H,...,H；r＝-R,...,R}表示2D加权滤波器，H和R表示局部块尺寸，取值为7x7的像素块，Ih,r(i,j)表示在以(i,j)为中心的尺寸为RxH滑动窗口内，第h行r列的图像I像素值大小；零均值的广义高斯分布GGD(GeneralGaussianDistribution,GGD)表示如下：β是一个中间变量，表示为：伽马函数Γ(·)定义为：公式(4)中，x表示左右视图的MSCN系数，α和v2反映了图像的自然性，分别控制分布的形状和方差参数，将α和v2记作f1；人类视觉系统适应平均背景值，对数强度函数常用作移除背景，对数对比度函数Ψ(i,j)定义为：Ψ(i,j)＝ln(I(i,j)+ε)-ln(I0)(7)ε＝0.01用于避免无限值，I0满足∑Ψ(i,j)＝0,Ψ(i,j)关于它的局部标准差归一化为：令Ψ(i,j)＝I(i,j)，分别代入公式(2)和公式(3)，则和ρ(i,j)分别表示(i,j)处的均值μ和标准差σ，C1是一个保证分母不等于0的常数，经过公式(25)处理，比原始图像分布更加均匀，并且更加接近于高斯分布的形状，标准差图像ρ(i,j)接近于原始图像，因此，取ρ(i,j)作为原始图像，相应的对数对比度进一步表示为：ξ(i,j)＝ln(ρ2(i,j)+ε)-ln(ρ0)(9)ρ0与I0类似，并且统计特征ξ与类似，因此令ξ(i,j)＝Ψ(i,j)＝I(i,j)，代入公式(2)(3)(8)以获得输出的方差归一化图像和标准差图像，从而又取输出作为下一轮迭代的输入，反复迭代以得到在多尺度对比度方差的MSCN系数上拟合的GGD参数，记特征为f2。独眼图特征提取步骤细化如下：视觉中枢的一个主要特性就是双目视觉，左眼和右眼的单眼刺激首先通过眼间增益控制通路，然后结合形成单一的独眼感知，通过线性模型，合成从输入左视图和右视图提供大脑中感知图像的近似的独眼图像：其中，IL和IR分别是左右视图，表示视差补偿图，d(x,y)表示(x,y)位置的水平视差值，通过基于SSIM的算法得到视差值，WL(x,y)和WR(x,y)是由增益控制模型得到的相关权重：EL和分别是左视图和视差图2DGabor滤波器的幅值响应，独眼图与左视图和右视图比较相似，同样表现出自然性，因此用GGD拟合MSCN系数，将GGD参数记作特征f3；在独眼图上使用2D对数Gabor滤波器进一步提取相关的特征：其中，和θ是归一化的径向频率和滤波器的方向角，和θo是相关的中心频率和滤波器方向，δs和δo是决定滤波器强度的常数；考虑到相位信息比振幅信息更加能够反映图像失真，在独眼图的相位图上提取特征：其中，表示对数Gabor滤波器沿着4个尺度和6个方向响应均值的虚部，η则表示实部。采用灰度共生矩阵(GrayLevelCo-occurrenceMatrix,GLCM)提取图像的结构信息。给定一张图像，分析灰色对的出现可以得到尺寸为LxL的GLCM，L是排列的灰度级，从GLCM图中分析图像属性可以提取很多有用的特征，提取能量和同质性特征，能量描述了整个GLCM的分布和粗糙度。能量值小表示图像具有均匀分布，形式上，定义为：PD,Θ(i,j)代表共生矩阵mD,Θ中实体mD,Θ(i,j)的概率，D和Θ代表联合概率计算中的距离和方向，PD,Θ(i,j)表示为：同质性通过局部灰色关联来度量GLCM的局部变化更具体地，大的同质性值对应于图像的小的局部变化根据定义，同质性可以计算为：设置D＝1，特征从Θ＝{0°,45°,90°,13本文档来自技高网...

【技术保护点】
1.一种自然性、结构和双目不对称无参考立体图像质量评价方法，其特征是，步骤如下：1)数据准备：选用LIVE 3D IQA Phase I和LIVE 3D IQA Phase II两个数据库，涵盖对称失真和非对称失真，取每个库80％的数据作为训练集，20％作为测试集；2)自然场景统计特征提取：在左视图IL和右视图IR上，计算它们各自的去均值对比度归一化系数，并用广义高斯分布去拟合该系数的统计分布，将广义高斯分布的参数α和v

【技术特征摘要】
1.一种自然性、结构和双目不对称无参考立体图像质量评价方法，其特征是，步骤如下：1)数据准备：选用LIVE3DIQAPhaseI和LIVE3DIQAPhaseII两个数据库，涵盖对称失真和非对称失真，取每个库80％的数据作为训练集，20％作为测试集；2)自然场景统计特征提取：在左视图IL和右视图IR上，计算它们各自的去均值对比度归一化系数，并用广义高斯分布去拟合该系数的统计分布，将广义高斯分布的参数α和v2表示为特征f1；在IL和IR上反复迭代，以得到在多尺度对比度方差的去均值对比度归一化系数上拟合的广义高斯分布参数，将特征记为f2；3)独眼图特征提取：通过基于SSIM的算法得到视差值d，联合IL和IR以及其2DGabor滤波器的幅值响应合成独眼图Cyc，用广义高斯分布拟合Cyc的去均值对比度归一化系数，将拟合参数记为特征f3；计算Cyc的相位图，在相位图上求得灰度共生矩阵，提取其中的能量和同质性特征作为特征f4；4)不对称失真特征提取：将IL和IR作差得到差值图，在差值图上用广义高斯分布去拟合去均值对比度归一化系数，并计算差值图的梯度相似性，将拟合参数和梯度相似性组合为特征f5；5)图像质量预测：将以上提取的特征融合得到总的特征向量F＝[f1,f2,f3,f4,f5]，利用支持向量回归对图像进行训练和预测。2.如权利要求1所述的自然性、结构和双目不对称无参考立体图像质量评价方法，其特征是，自然场景统计特征提取具体细化如下：采用空域自然场景统计NSS特征，给定一张MxN的图像I，它的去均值对比度归一化MSCN(MeanSubtractedContrastNormalized)系数表示为：其中，I(i,j)表示位置(i,j)处的像素值，表示(i,j)处MSCN，μ(i,j)、σ(i,j)分别表示(i,j)处的均值μ和标准差σ，ω＝{ωh,r|h＝-H,...,H；r＝-R,...,R}表示2D加权滤波器，H和R表示局部块尺寸，取值为7x7的像素块，Ih,r(i,j)表示在以(i,j)为中心的尺寸为RxH滑动窗口内，第h行r列的图像I像素值大小；零均值的广义高斯分布GGD(GeneralGaussianDistribution,GGD)表示如下：β是一个中间变量，表示为：伽马函数Γ(·)定义为：公式(4)中，x表示左右视图的MSCN系数，α和v2反映了图像的自然性，分别控制分布的形状和方差参数，将α和v2记作f1；人类视觉系统适应平均背景值，对数强度函数常用作移除背景，对数对比度函数Ψ(i,j)定义为：Ψ(i,j)＝ln(I(i,j)+ε)-ln(I0)(7)ε＝0.01用于避免无限值，I0满足∑Ψ(i,j)＝0,Ψ(i,j)关于它的局部标准差归一化为：令Ψ(i,j)＝I(i,j)，分别代入公式(2)和公式(3)，...

【专利技术属性】
技术研发人员：侯春萍，岳广辉，李浩，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12