一种面向视角合成的无参考图像质量评价方法技术

本发明专利技术提出一种面向视角合成的无参考图像质量评价方法，该方法通过分析两类失真的特性，设计特征来量化合成图像中的失真：首先对图像的边缘破坏带来的失真以及纹理的不自然性进行量化，提取相应特征。然后使用机器学习的方法将特征进行整合，从而训练出能够对整个合成过程带来的失真进行评价的质量评价模型。本发明专利技术克服了现有方法的两个缺点：(1)现有方法仅能够评价合成过程中的一类失真，而该方法能够有效评价整个合成过程中的两类失真。(2)现有的方法大部分是全参考方法，即他们必须在提供原始无失真图像的情况下，才能对失真图像进行质量评价，而本文方法是无参考方法，具有更加广泛的应用前景。

【技术实现步骤摘要】
一种面向视角合成的无参考图像质量评价方法
本专利技术涉及虚拟视角合成的客观视觉质量评价方法，尤其是一种面向视角合成的无参考图像质量评价方法。
技术介绍
视角合成是利用纹理图像和深度图像来合成新的视角图像。视角合成技术在多视角视频、自由视角电视等领域有非常广泛的应用[1]。对合成的视角的质量评价能够定量评价视角合成技术的好坏，也能够被用来优化合成技术。此外，对视角合成图像的质量评价直接影响这些应用的成功与否。所以，面向视角合成的质量评价具有重要意义。合成视角中的失真主要分为两类。第一类是在获取，处理和传输纹理图像和深度图像过程中带来的传统失真；第二类是在视角绘制过程中空洞填补过程带来的绘制失真。现有的针对视角合成图像的质量评价方法都是针对其中单独一类失真进行设计的。针对第一类失真，现有的算法有：1.Ryu等人[2]首先利用传统质量评价方法和合成容忍度方法分别对纹理图像和深度图像进行质量评价，分别得到两个质量分数。最后将两个分数进行加权得到整幅合成图像的质量分数；2.Wang等人[3]首先计算合成图像和原始无失真图像的纹理图相似性图像和深度图相似性图像；然后利用纹理信息图对深度相似性图像进行归一化；最后，将归一化后的深度相似性图像和纹理相似性图像结合来产生合成图像的质量分数。针对第二类失真，现有的方法为：Bosc等人[4]首先构建了一个视角合成图像库，并在SSIM算法的基础上提出了一种改进型质量评价方法。该图像库包含7种DIBR算法进行视角合成的图像；在质量评价时仅对原始视角的纹理图像和合成图像中对应的边缘区域利用SSIM评价，最后将SSIM均值作为最终的质量分数；Conze等人[5]首先采用SSIM算法计算合成图像和原始纹理图像之间的失真图，然后根据纹理复杂度、梯度方向和对比度计算三个加权图，最后利用加权图对失真图进行加权处理，从而得到质量分数。张艳等[6]针对视角合成图像中边缘的失真往往更为明显的特点，通过分析合成图像和原始图像的像素差异，并对边缘像素赋予较高权重，进而得到最终质量分数；Stankovic等[7]提出利用形态学小波对原始图像和合成图像进行多级分解，并在多个细节子带上计算均方误差，在此基础上进一步计算多尺度峰值信噪比并将其作为质量分数；Battisti等[8]提出的算法首先对参考图像和合成图像进行分块，运用运动估计算法进行匹配；对匹配后的图像块进行小波变换并计算系数直方图，利用Kolmogorov-Smirnov距离描述合成图像的失真程度；Jung等[9]首先用合成后的左右视角图像和视差图检测主要失真区域；然后对两个视角的失真区域计算SSIM分数，最后对左右视角的SSIM分数进行平均作为最终的质量分数。该方法侧重于合成过程中的左右视角不对称对合成质量的影响。Li等人[10]提出了一种基于局部几何失真和全局清晰度的视角合成图像质量评价。首先，检测出空洞区域，然后将空洞区域的大小和强度结合计算出局部几何失真分数；然后，利用再次模糊的方法计算出图像的全局清晰度分数。最后，将两个分数相结合生成合成图像的质量分数。Gu等人[11]提出了一种基于自回归模型的合成图像质量评价方法。该方法首先计算出合成图像的自回归图像，然后利用合成图像和自回归图像的差异来提取几何失真区域。采用一个阈值，将两幅图像的差值图像变换为二值图像。最后，二值图像和预测出来的自然图像之间的相似性数值被最为合成图像的质量分数。以上的现有的合成图像质量评价方法具有以下缺陷：首先，每个方法都是针对其中一种类型的失真进行设计的，而忽略了视角图像合成过程中带来的另外一种失真。因此，他们不能够有效的评价整个视角合成过程；另外，在以上所有方法中，只有Gu的方法是无参考图像质量评价方法，即该方法无需原始图像作为参考。其他的方法均为全参考方法，即他们必须依赖原始图像才能对合成图像进行质量评价。而现实中，往往无法获得原始图像，这制约了现有的全参考方法的应用。综上，亟需设计出一种能够针对整个合成过程进行评价的无参考质量评价方法。[1]Y.C.Fan,P.K.Huang,andD.W.Shen,“3DTVdepthmapreconstructionbasedonstructuredlightscheme,”IEEEInt.Instrum.Meas.Technol.Conf.,pp.835-838,May2013.[2]S.Ryu,S.Kim,andK.Sohn,“Synthesisqualitypredictionmodelbasedondistortionintolerance,”IEEEInt.Conf.ImageProcess.,pp.585-589,Oct.2014.[3]J.H.Wang,S.Q.Wang,K.ZengandZ.Wang,“Qualityassessmentofmulti-view-plus-depthimages,”IEEEInternationalConferenceonMultimediaandExpo,pp.85-90,Jul.2017.[4]E.Bosc,R.Pépion,P.L.Callet,M.Koppel,P.N.Nya,L.MorinandM.Pressigout,“Towardsanewqualtiymetricfor3-Dsynthesizedviewassessment,”IEEEJ.Select.Top.SignalProcess.,vol.5,no.7,pp.1332-1343,Sep.2011.[5]P.H.Conze,P.RobertandL.Morin,“Objectiveviewsynthesisqualityassessment,”Electron.Imag.Int.SocietyforOpticsandPhotonics,vol.8288,pp.8288-8256,Feb.2012.[6]张艳，安平，尤志翔，张兆杨,基于边缘差异的虚拟视图像质量评价方法,《电子与信息学报》，35(8):1894-1900,2013.[7]D.S.Stankovic,D.KukoljandP.L.Callet,“DIBRsynthesizedimagequalityassessmentbasedonmorphologicalwavelets,”IEEEInt.WorkshoponQualityofMultimediaExperience,pp.1-6,Jan.2015.[8]F.Battisti,E.Bosc,M.CarliandP.L.Callet,“Objectiveimagequalityassessmentof3Dsynthesizedviews,”Sig.Process.:ImageCommun.,vol.30,pp.78-88,Jan.2015.[9]Y.J.Jung,H.G.Kim,andY.M.Ro,“Criticalbinocularasymmetrymeasureforperceptualqualityassessmentofsynthesizedstereo3Dimagesinviewsynthesis”,IEEETransactionsonCircuitsandSyste本文档来自技高网...

【技术保护点】
一种面向视角合成的无参考图像质量评价方法，其特征在于，包括步骤：(1)收集一组视角合成图像，形成视角合成图像库；(2)量化视角合成图像库中每一幅视角合成图像中的失真，量化的步骤包括对每幅视角合成图像执行步骤(2‑1)至(2‑3)：(2‑1)定义视角合成图像为尺度图像1；对视角合成图像分别进行n‑1次高斯低通滤波，并记第i次的滤波结果为尺度图像i+1，i∈[1,2,…,n‑1]；尺度图像1至n形成具有n个尺度的尺度空间；(2‑2)构建DoG模型；DoG模型包括n个图像，记为DoG1,DoG2,…,DoGn；其中，DoGi为尺度图像i+1和尺度图像i的差值，i∈[1,2,…,n‑1]；DoGn为尺度图像n；(12‑3)对DoG模型中的每个图像分别进行特征参数提取，得到每幅图像的7个边缘方向选择性特征参数和2个纹理自然性特征参数；(3)将视角合成图像库中的图像随机分为训练图像和测试图像两部分；采用随机森林法对训练图像的特征参数进行建模，得到质量评价模型；以测试图像的特征参数为质量评价模型的输入，得到测试图像的客观质量分数。

【技术特征摘要】
1.一种面向视角合成的无参考图像质量评价方法，其特征在于，包括步骤：(1)收集一组视角合成图像，形成视角合成图像库；(2)量化视角合成图像库中每一幅视角合成图像中的失真，量化的步骤包括对每幅视角合成图像执行步骤(2-1)至(2-3)：(2-1)定义视角合成图像为尺度图像1；对视角合成图像分别进行n-1次高斯低通滤波，并记第i次的滤波结果为尺度图像i+1，i∈[1,2,…,n-1]；尺度图像1至n形成具有n个尺度的尺度空间；(2-2)构建DoG模型；DoG模型包括n个图像，记为DoG1,DoG2,…,DoGn；其中，DoGi为尺度图像i+1和尺度图像i的差值，i∈[1,2,…,n-1]；DoGn为尺度图像n；(12-3)对DoG模型中的每个图像分别进行特征参数提取，得到每幅图像的7个边缘方向选择性特征参数和2个纹理自然性特征参数；(3)将视角合成图像库中的图像随机分为训练图像和测试图像两部分；采用随机森林法对训练图像的特征参数进行建模，得到质量评价模型；以测试图像的特征参数为质量评价模型的输入，得到测试图像的客观质量分数。2.根据权利要求1所述的一种面向视角合成的无参考图像质量评价方法，其特征在于，所述任意一幅尺度图像i表示为：其中，*表示卷积符号，σi表示尺度图像i的高斯核函数的标准差；Li(x,y)表示尺度图像i中像素点(x,y)处的像素值；I(x,y)表示视角合成图像中像素点(x,y)处的像素值；G()为高斯核函数，G(x,y,σi)的表达式为：3.根据权利要求2所述的一种面向视角合成的无参考图像质量评价方法，其特征在于，所述DoG模型中任意一幅图像表示为：式中，DoGi(x,y)表示图像DoGi中像素点(x,y)处的像素值。4.根据权利要求3所述的一种面向视角合成的无参考图像质量评价方法，其特征在于，所述对DoG模型中的任意一个图像DoGi进行边缘方向选择性特征参数提取的步骤包括：1)使用过完备小波变换将DoGi分解到2个尺度和6个方向上：2)将同一方向不同尺度的小波系数归入一个集合，共得到6个小波系数集合，记为Zit，t＝[1,2,…,6]；3)对每个小波系数集合执行步骤S3-1至S3-4：S3-1：计算Zit的一阶绝对矩：式中，J1为Zit的一阶绝对矩，z为随机变量，θ表示伽马函数，γit表示Zit的形状参数，y2为一中间参数，σ表示小波系数的标准差；令-|zy2|γit＝Yit，得到将代入J1的计算公式，得到：

【专利技术属性】
技术研发人员：周玉，李雷达，卢兆林，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32