一种基于自然场景统计的深度图像质量无参考评价方法技术

本发明专利技术提出一种基于自然场景统计的深度图像质量无参考评价方法，包括步骤：(1)收集一组深度图像，并将收集来的深度图像分为两部分，一部分为训练图像，另一部分为测试图像；(2)对每一幅深度图像进行不同尺度上的特征参数提取，提取的步骤为：通过边缘检测提取尺度图像的边缘区域，在边缘区域内求尺度图像梯度幅值和高斯‑拉普拉斯算子的分布，并分别用韦伯分布和非对称高斯分布建立二者的分布函数模型，将两个模型的参数作为深度图像的特征参数；(3)最后，用训练图像的特征参数进行随机森林模型训练，生成客观质量分数评价模型；将测试图像的特征参数输入客观质量分数评价模型，得到测试图像的客观质量分数。

A method of no reference evaluation for depth image quality based on natural scene statistics

The invention proposes a non reference evaluation method of depth image quality based on natural scene statistics, including steps: (1) collecting a group of deep images, and dividing the collected depth images into two parts, one part of the training image, the other part of the test image, and (2) the characteristics of each depth image on the different scales. The steps of extraction and extraction are as follows: the edge detection is used to extract the edge region of the scale image, the gradient amplitude of the scale image and the distribution of the Gauss Laplasse operator are obtained in the edge region, and the distribution function model of the two persons is established by Webb distribution and asymmetric Gauss distribution, and the parameters of the two models are taken as the depth. The characteristic parameters of the image are obtained. (3) at last, the objective quality score evaluation model is generated by the training of the random forest model with the characteristic parameters of the training image, and the objective quality score evaluation model is input to the characteristic parameters of the test image, and the objective quality score of the test image is obtained.

【技术实现步骤摘要】
一种基于自然场景统计的深度图像质量无参考评价方法
本专利技术涉及图像质量评价领域，尤其是一种基于自然场景统计的深度图像质量无参考评价方法。
技术介绍
现有的质量评价方法分为主观评价方法和客观评价方法。主观评价方法虽然评价结果最为准确，但是费时费力，实际操作中不可行。所以，设计客观质量评价方法具有重要意义。能够用来评价深度图质量评价方法主要有传统图像质量评价方法和早期针对深度图的质量评价方法。下面对这些方法进行逐一的介绍和分析。1、传统图像质量评价方法：现有很多传统算法。全参算法是通过对失真图像和参考图像的对比来评价图像质量。比如利用结构相似度来评价图像质量(SSIM)[1],在不同图像尺度下计算SSIM从而提出多尺度SSIM(MS-SSIM)[2]，特征相似度算法(FSIM)[3]，基于梯度相似性的算法(GSM)[4]，基于梯度幅值相似性偏差的算法(GMSD)[5]等。无参方法则不需要参考图像，包括图像空间域无参评价(BRISQUE)[6]，自然图像质量评价(NIQE)[7]，基于梯度幅值和拉普拉斯特征的无参考评价(BIQA)[8]等。2、早期针对深度图质量评价方法:Le等[9]首先利用彩色图像通过SUSAN滤波器计算出的边缘信息和深度图结合计算出深度图的局部失真，然后将彩色图像通过Gabor滤波器得出各个局部失真的权重，最后将局部失真和各自权重结合，从而得到质量分数。Sen等[10]对纹理图和深度图根据空间相似度、边缘方向相似度、边缘块长度相似度进行匹配，得出不重合部分的面积占全图比例来描述合成图像质量。从现有的算法看，传统图像质量评价方法，无论是全参还是无参算法都未能针对深度图失真的特殊性进行设计，导致评价准确性较差。而目前的针对深度图质量评价的算法，都需要借助无失真的纹理图进行评价，并不易于实现。基于以上分析，亟需设计一种针对深度图的无参考质量评价模型。[1]Z.Wang,A.C.Bovik,H.R.Sheikh,andE.P.Simoncelli,“Imagequalityassessment:Fromerrorvisibilitytostructuralsimilarity,”IEEETrans.ImageProcess.,vol.13,no.4,pp.600–612,Apr.2004.[2]Z.Wang,E.P.Simoncelli,andA.C.Bovik,“Multiscalestructuralsimilarityforimagequalityassessment,”inProc.Conf.Rec.37thIEEEAsilomarConf.Signals,Syst.,Comput.,vol.2.Nov.pp.1398–1402，2003.[3]L.Zhang,D.Zhang,X.Mou,andD.Zhang,“FSIM:Afeaturesimilarityindexforimagequalityassessment,”IEEETrans.ImageProcess.,vol.20,no.8,pp.2378–2386,Aug.2011.[4]A.Liu,W.Lin,andM.Narwaria,“Imagequalityassessmentbasedongradientsimilarity,”IEEETrans.ImageProcess.,vol.21,no.4,pp.1500–1512,Apr.2012.[5]W.Xue,L.Zhang,X.Mou,andA.C.Bovik,“Gradientmagnitudesimilaritydeviation:Ahighlyefficientperceptualimagequalityindex,”IEEETrans.ImageProcess.,vol.23,no.2,pp.684–695,Feb.2014.[6]A.Mittal,A.K.Moorthy,andA.C.Bovik,“No-referenceimagequalityassessmentinthespatialdomain”,IEEETransactionsonImageProcessing,vol.21,no.12,pp.4695-708,2012.[7]A.Mittal,R.Soundararajan,andA.C.Bovik,“Makingacompletelyblindimagequalityanalyzer”,IEEESignalProcessingLetters,vol.20,no.3,pp.209-212,2013.[8]W.Xue,X.Mou,L.Zhang,A.C.Bovik,andX.Feng,“Blindimagequalityassessmentusingjointstatisticsofgradientmagnitudeandlaplacianfeatures,”IEEETrans.ImageProcess.,vol.23,no.11,pp.4850–4862,Nov.2014.[9]T.H.Le,ThanhHa,S.W.Jung,andC.S.Won."Anewdepthimagequalitymetricusingapairofcoloranddepthimages."MultimediaTools&Applications76:1-19.2016.[10]X,Sen,Y.Li,andW.C.Chang.“No-ReferenceDepthAssessmentBasedonEdgeMisalignmentErrorsforT+DImages”.IEEEPress25(3):1479-1494.2016[11]Song,Rui,H.Ko,andC.C.J.Kuo."MCL-3D:adatabaseforstereoscopicimagequalityassessmentusing2D-image-plus-depthsource."JournalofInformationScience&Engineering31.5.2015.
技术实现思路
专利技术目的：目前，自由视角和多视角视频已经受到广泛关注。以上两种格式的视频均需要大量的视角信息提供支持，由于技术成本和网络传输时效性的限制，不可能通过摄像设备拍摄所有需要的视角，所以需要借助虚拟视角合成技术来从某几个已知的视角来合成新的视角图像。现有的虚拟视角合成技术中，最常用的就是基于深度图的绘制方法即DepthImageBasedRendering(DIBR)合成技术。而DIBR合成新视角的质量与原始视角的纹理图和深度图的质量有很大关系，而深度图在合成过程中起到决定物体距离视点远近的作用，因此深度图的质量会直接影响到合成新视角的质量。另外，无论是直接通过硬件或者计算得到的深度图，总会掺杂进各种各样的失真，并且在边缘处的失真会对合成过程造成较大影响。所以，本算法要解决的技术问题就是通过提取和评价原始输入深度图中对失真较敏感较关键的边缘区域来对虚拟视角合成图像进行客观质量评价。技术方案：为实现上述目的，克服现有技术的不足，本专利技术提出以下技术方案：一种基于自然场景统计的深度图像质量无参考评价方法，包括本文档来自技高网...

【技术保护点】
1.一种基于自然场景统计的深度图像质量无参考评价方法，其特征在于，包括步骤：(1)收集一组深度图像，并将收集来的深度图像分为两部分，一部分为训练图像，另一部分为测试图像；(2)对训练图像和测试图像中的每一幅深度图像分别执行步骤：(2‑1)定义原始深度图像为尺度图像0；对原始深度图像分别进行n次高斯低通滤波，并记第i次的滤波结果为尺度图像i+1，i∈[1,2,…,n]；尺度图像0至n形成具有n+1个尺度的尺度空间；(2‑2)对尺度图像0至n分别进行特征参数提取，包括步骤：对尺度图像i进行边缘检测，提取尺度图像i的边缘区域，i∈[0,2,…,n]；在边缘失真区域内求各像素点的梯度幅值和高斯‑拉普拉斯算子；用韦伯分布拟合边缘失真区域内的梯度幅值分布，得到梯度幅值的韦伯分布函数；用非对称高斯分布拟合边缘失真区域内的高斯‑拉普拉斯算子分布，得到高斯‑拉普拉斯算子的非对称高斯分布函数；提取韦伯分布函数的比例参数和形状参数，以及提取非对称高斯分布函数的均值、形状参数、左尺度参数、右尺度参数；将提取出的6个参数作为尺度图像i的特征参数；(3)将训练图像的特征参数作为随机森林模型的输入数据，训练出客观质量分数评价模型；(4)将测试图像的特征参数作为客观质量分数评价模型的输入数据，得到测试图像的客观质量分数。...

【技术特征摘要】
1.一种基于自然场景统计的深度图像质量无参考评价方法，其特征在于，包括步骤：(1)收集一组深度图像，并将收集来的深度图像分为两部分，一部分为训练图像，另一部分为测试图像；(2)对训练图像和测试图像中的每一幅深度图像分别执行步骤：(2-1)定义原始深度图像为尺度图像0；对原始深度图像分别进行n次高斯低通滤波，并记第i次的滤波结果为尺度图像i+1，i∈[1,2,…,n]；尺度图像0至n形成具有n+1个尺度的尺度空间；(2-2)对尺度图像0至n分别进行特征参数提取，包括步骤：对尺度图像i进行边缘检测，提取尺度图像i的边缘区域，i∈[0,2,…,n]；在边缘失真区域内求各像素点的梯度幅值和高斯-拉普拉斯算子；用韦伯分布拟合边缘失真区域内的梯度幅值分布，得到梯度幅值的韦伯分布函数；用非对称高斯分布拟合边缘失真区域内的高斯-拉普拉斯算子分布，得到高斯-拉普拉斯算子的非对称高斯分布函数；提取韦伯分布函数的比例参数和形状参数，以及提取非对称高斯分布函数的均值、形状参数、左尺度参数、右尺度参数；将提取出的6个参数作为尺度图像i的特征参数；(3)将训练图像的特征参数作为随机森林模型的输入数据，训练出客观质量分数评价模型；(4)将测试图像的特征参数作为客观质量分数评价模型的输入数据，得到测试图像的客观质量分数。2.根据权利要求1所述的一种基于自然场景统计的深度图像质量无参考评价方法，其特征在于，所述步骤(2-2)中提取尺度图像i的边缘区域的具体步骤为：1)通过边缘检测滤波器检测出尺度图像i的边缘线段，边...

【专利技术属性】
技术研发人员：李雷达，陈曦，卢兆林，周玉，祝汉城，胡波，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32