一种基于视差图立体结构信息提取的立体图像质量评价方法技术

本发明专利技术公开了一种基于视差图立体结构信息提取的立体图像质量评价方法。本发明专利技术具体实施包括如下步骤：首先利用结构相似度算法分别得到被测图像与参考图像的视差图，然后根据人眼对轮廓信息敏感的特性使用梯度信息来指导图像融合，同时结合已得到的视差图得出被测图像与参考图像的左右视差图融合后的图像，接着从得到的融合图中提取轮廓、纹理和对比度特征，并从视差图中提取深度特征，将以上提取到的特征送入支持向量回归模型，最后利用支持向量回归模型在主观评分值与特征之间建立映射，从而得到最终质量评价分数。基于本发明专利技术所提出方法的图像质量客观评价分数与数据库提供的主观质量分数具有较高的一致性，具有良好的准确性和鲁棒性。

【技术实现步骤摘要】
一种基于视差图立体结构信息提取的立体图像质量评价方法
本专利技术属于图像处理
，尤其涉及一种基于视差图立体结构信息的立体图像质量评价方法。
技术介绍
立体成像是利用人眼的双目视差原理，通过让左右眼独立的接受同一场景的对应摄像机拍摄的画面，形成双目视差并在大脑中生成场景的深度信息，在人脑中还原实际三维场景。而在立体图像的采集、编码、压缩、传输等过程中，容易不同程度上引入各种类型的失真，因此如何精确地评价图像质量已成为图像处理领域的研究热点。立体图像质量评价方法可分为主观质量评价方法和客观质量评价方法。主观质量评价方法是让实验的所有参与者根据一定的打分标准对观看到的立体图像打分的均值。主观质量评价方法的优点是它能真实地反馈立体图像质量好坏，但这种方法在实际应用中存在很多缺陷，如测试条件不稳定、浪费人力物力、实时性差等，而客观质量评价方法可以嵌入立体图像处理系统的各个环节，实时性好，成本更低。客观的图像质量评价方法又可以根据对参考图像的利用程度分为：全参考图像质量评价，利用理想的未失真的参考图像作为对比来评价失真图像的质量分数；部分参考图像质量评价，该方法不需要参考图像，但需要利用参考图像的一些特征来得到失真图像的质量分数；无参考图像质量评价，不需要对比参考图像，仅根据失真图像得到其质量分数。使用最早也较为广泛的全参考图像质量评价指标，如PSNR(peaksignaltonoiseratio)和MSE(meansquarederror)等，计算简单，物理意义直观，但是它们只是对像素点间的误差做数学统计，没有考虑到像素点间的相关性和人类视觉系统(HumanVisualSystem，HVS)的感知特性，因此在很多情况下评价结果与人类的主观感受并不符合。随着人们对人类视觉系统的研究越来越深入，很多学者提出了一些基于HVS的方法来评价图像质量，提取与图像质量密切相关的特征信息，如边缘、纹理等，对图像质量进行度量。然而，HVS是一个极其复杂的系统，仅根据目前对其有限的理解还不足以构建与人类感知结果高度一致的图像质量评价方法。
技术实现思路
本专利技术的目的是针对现有图像质量评价方法的不足，提供一种基于视差图立体结构信息的全参考3D图像质量评价方法。本专利技术采取的技术方案是：首先，采用SSIM算法分别对参考图像与失真图像进行处理，得到对应的视差图。同时，根据人眼对轮廓信息敏感的特性，利用梯度信息来融合左右视图。结合上一步得到的参考图像和失真图像的视差图，可以得到最终的融合图像。接着从融合图中提取轮廓、纹理和对比度特征，同时，从视差图中提取深度特征，将这些提取到的特征送入支持向量回归模型，在主观评分值与特征之间建立映射关系，从而得到最终质量评价分数。本专利技术解决其技术问题所采用的技术方案如下：步骤(1).输入失真图像ID和参考图像IR；步骤(2).分别计算失真图像ID和参考图像IR的结构相似度SSIM(Z.Wang,A.C.Bovik,H.R.Sheikh,andE.P.Simoncelli,“Imagequalityassessment:fromerrorvisibilitytostructuralsimilarity,”IEEETransactionsonImageProcessing,vol.13,no.4,pp.600-612,2004)，以此选择最佳匹配的视差图。SSIM(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]γ(1)其中，C1、C2、C3是很小的正数，防止分母为零。C1＝(k1L)2、C2＝(k2L)2、C3＝(C2/2)2、k1、k2均为远小于1的正数，L为图像的最大灰度级，α、β、γ表示三个函数间权重的系数，均大于零，一般取1。l(x,y)、c(x,y)、s(x,y)分别为左视图与右视图在一个图像块中的亮度函数、对比度函数和结构相似度函数，μx、μy、σx、σy、σxy分别为整幅图像的一个图像块内的像素均值、方差和协方差。其具体计算公式为：步骤(3).对失真图像ID和参考图像IR的左视图中某像素，多次按照步骤(2)计算以其为中心的归一化对称高斯加权窗和右视图中相同纵坐标、不同横坐标的某像素为中心的高斯加权窗的结构相似度，选择结构相似度最高的右视图像素点为该左视图像素点的匹配点，两点间横坐标差异即为该点视差，记为d，以此类推计算左视图中所有像素点的对应视差值，即可由像素点一一映射到视差，进而形成参考图像和失真图像的视差图。步骤(4).将步骤(1)输入的失真图像ID和参考图像IR分别与Sobel一阶微分算子进行卷积，得到边缘检测结果，即梯度幅度图：其中，f(x,y)表示图像上的像素点，代表卷积运算，hx和hy为Sobel算子的卷积模板：步骤(5).将步骤(1)输入的失真图像ID和参考图像IR分别与LoG二阶拉普拉斯高斯算子卷积，得到边缘检测结果，即LoG边缘图：其中，hLoG为LoG算子，可表示如下：步骤(6).将步骤(4)中得到的梯度幅度图和步骤(5)中得到的LoG边缘图结合起来，计算得到用来指导双目图像融合的权重图：其中，ε是很小的正常数，防止分母为零造成不稳定。步骤(7).根据步骤(3)得到的视差图分别对失真图像ID和参考图像IR进行左、右视图的配准，将右视图上的点和其对应的视差进行计算得到其在左视图上的对应点位置，对步骤(6)得到的右视图的权重图进行同样的操作得到其校准后的右视图权重图。步骤(8).分别对步骤(7)得到的左视图权重图和校准后的右视图权重图进行归一化，计算得到双目融合图：CI(x,y)＝WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y)(12)其中CI(x,y)为双目融合图，WL(x,y)和WR((x+d),y)分别为归一化的左视图权重图和校准后的右视图权重图，IL(x,y)和IR((x+d,y))分别为左视图和校准后的右视图。归一化权重图的计算表达式如下：步骤(9).从步骤(8)得到的失真图像ID和参考图像IR的双目融合图中提取梯度幅值信息G(x,y)和方向信息θ(x,y)，使用Sobel算子对双目融合图进行卷积，计算垂直方向卷积结果和水平方向卷积结果的均方根和正切函数，即得每个像素点的梯度幅值和方向。步骤(10).利用局部二值模式来表示步骤(8)得到的失真图像ID和参考图像IR的双目融合图中的纹理信息。将一个3×3的窗口放到被测图像中，以中心的像素点的灰度值作为阈值，然后把周围8个相邻像素点的灰度值与中心的阈值进行比较，如果周围像素点的灰度值大于中心的阈值，那么该像素点位置标记为1，如果周围像素点的灰度值小于中心的阈值，那么标记为0。这样我们就可以得到8个点的值，从该像素的水平方向(即方位角为0°)开始按照逆时针的顺序读取，组成8位的二进制无符号数，定义为该窗口的LBP值。步骤(11).采用步骤(2)中对比度相似性的计算方法分别对融合后的参考图像和失真图像进行对比度相似性度量。步骤(12).对于步骤(3)得到的失真图像ID和参考图像IR的视差图，提取它们的深度信息特征，从而对失真图像进行质量评价。其中Dref代表参考图像的视差图，Ddis代表失真图像的视差图，Fd表示提取的深度信息的特征。步骤(13).分别对步骤(8)得到失真图本文档来自技高网...

【技术保护点】
1.一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于包括如下步骤：步骤(1).输入失真图像ID和参考图像IR；步骤(2).分别计算失真图像ID和参考图像IR的结构相似度SSIM，以此选择最佳匹配的视差图；步骤(3).对失真图像ID和参考图像IR的左视图中某像素，多次按照步骤(2)计算以其为中心的归一化对称高斯加权窗和右视图中相同纵坐标、不同横坐标的某像素为中心的高斯加权窗的结构相似度，选择结构相似度最高的右视图像素点为该左视图像素点的匹配点，两点间横坐标差异即为该点视差，记为d，以此类推计算左视图中所有像素点的对应视差值，即可由像素点一一映射到视差，进而形成参考图像和失真图像的视差图；步骤(4).将步骤(1)输入的失真图像ID和参考图像IR分别与Sobel一阶微分算子进行卷积，得到边缘检测结果，即梯度幅度图：

【技术特征摘要】
1.一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于包括如下步骤：步骤(1).输入失真图像ID和参考图像IR；步骤(2).分别计算失真图像ID和参考图像IR的结构相似度SSIM，以此选择最佳匹配的视差图；步骤(3).对失真图像ID和参考图像IR的左视图中某像素，多次按照步骤(2)计算以其为中心的归一化对称高斯加权窗和右视图中相同纵坐标、不同横坐标的某像素为中心的高斯加权窗的结构相似度，选择结构相似度最高的右视图像素点为该左视图像素点的匹配点，两点间横坐标差异即为该点视差，记为d，以此类推计算左视图中所有像素点的对应视差值，即可由像素点一一映射到视差，进而形成参考图像和失真图像的视差图；步骤(4).将步骤(1)输入的失真图像ID和参考图像IR分别与Sobel一阶微分算子进行卷积，得到边缘检测结果，即梯度幅度图：其中，f(x,y)表示图像上的像素点，代表卷积运算，hx和hy为Sobel算子的卷积模板：步骤(5).将步骤(1)输入的失真图像ID和参考图像IR分别与LoG二阶拉普拉斯高斯算子卷积，得到边缘检测结果，即LoG边缘图：其中，hLoG为LoG算子，表示如下：步骤(6).将步骤(4)中得到的梯度幅度图和步骤(5)中得到的LoG边缘图结合起来，计算得到用来指导双目图像融合的权重图：其中，ε是正常数，防止分母为零造成不稳定；步骤(7).根据步骤(3)得到的视差图分别对失真图像ID和参考图像IR进行左、右视图的配准，将右视图上的点和其对应的视差进行计算得到其在左视图上的对应点位置，对步骤(6)得到的右视图的权重图进行同样的操作得到其校准后的右视图权重图；步骤(8).分别对步骤(7)得到的左视图权重图和校准后的右视图权重图进行归一化，计算得到双目融合图：步骤(9).从步骤(8)得到的失真图像ID和参考图像IR的双目融合图中提取梯度幅值信息G(x,y)和方向信息θ(x,y)，使用Sobel算子对双目融合图进行卷积，计算垂直方向卷积结果和水平方向卷积结果的均方根和正切函数，即得每个像素点的梯度幅值和方向,步骤(10).利用局部二值模式来表示步骤(8)得到的失真图像ID和参考图像IR的双目融合图中的纹理信息，步骤(11).采用步骤(2)中对比度相似性的计算方法分别对融合后的参考图像和失真图像进行对比度相似性度量；步骤(12).对于步骤(3)得到的失真图像ID和参考图像IR的视差图，提取它们的深度信息特征，从而对失真图像进行质量评价，其中Dref代表参考图像的视差图，Ddis代表失真图像的视差图，Fd表示提取的深度信息的特征；步骤(13).分别对步骤(8)得到的失真图像ID和参考图像IR的梯度幅值和方向信息，步骤(9)得到失真图像ID和参...

【专利技术属性】
技术研发人员：丁勇，宋鹏飞，邓瑞喆，孙光明，周一博，孙阳阳，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33