结合流形特征及双目特性的立体图像质量客观评价方法技术

本发明专利技术公开了一种结合流形特征及双目特性的立体图像质量客观评价方法，其从人眼以流形方式感知的基础出发使用正交局部保持投影算法从自然场景平面图像上获取降维以及白化操作后的矩阵进行训练获得最佳映射矩阵；为了提高评价的准确性和稳定性去除对于视觉感知不重要的图像块，在完成选块后利用最佳映射矩阵提取选取出的图像块的流形特征向量，然后通过流形特征相似度来衡量失真图像的结构失真；并考虑图像亮度变化对人眼的影响，基于图像块的均值求失真图像的亮度失真；在获得流形相似度和亮度相似度后，采用双目竞争模型对左、右视点图像各自的质量值进行线性加权得到失真立体图像的质量值，评价结果与人眼的主观感知评价结果具有较高的一致性。

【技术实现步骤摘要】

本专利技术涉及一种立体图像质量评价方法，尤其是涉及一种结合流形特征及双目特性的立体图像质量客观评价方法。
技术介绍
立体图像质量的定量评价是图像处理领域中充满挑战性的问题。立体图像与平面图像不同，立体图像包含两个不同的视点。当人观看一幅立体图像时，人类视觉系统(HVS)并不是将左视点图像和右视点图像分开处理，而是左视点图像和右视点图像之间经过复杂的双眼融合和竞争过程后形成一幅合成的独眼图，这种融合的独眼图不仅取决于个体的刺激因素的差异，而且还取决于两个视点间的几何关系。因此，一幅立体图像的质量不仅与单独的左视点和右视点的质量有关，而且还与双目视觉感知相关。针对立体图像中某一视点的质量评价来说，传统的峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)等基于保真度的图像质量评价方法虽能较好地评价具有相同内容和失真的图像质量，但面对多幅图像和多种失真时，其评价结果与主观感知却相差甚远。感知质量评价方法的目的是通过模拟人眼视觉系统的整体感知机制来获取与视觉感知质量具有较高一致性的评价结果。通过对人眼视觉系统的生理响应进行建模获取客观评价方法，可以得到与主观评价有较高一致性的评价结果。优异的图像质量评价方法应能很好地反映人眼视觉感知特性。现有的基于结构的图像质量评价方法都是从图像的边缘、对比度等结构信息出发获取图像质量的，而从人眼视觉系统特性设计的图像质量评价方法主要是从人眼关注及察觉失真的能力角度出发进行图像质量评价的，它们均为从图像的非线性几何结构以及人眼的感知角度进行质量评价的；但有研究表明针对视觉感知现象，流形是感知的基础，大脑中以流形方式对事物进行感知，而自然场景图像通常包含流形结构，有着流形非线性的本质。因此，结合流形特征可以较好地评价立体图像中的单一视点的图像质量。另一方面，从双目感知角度来说，当左视点和右视点对称失真时，立体图像质量评价较为容易。通常分为两种方法，一种方法是分别对立体图像的两个视点运用平面图像的质量评价方法进行评价，然后平均这两个视点的质量值得到立体图像的质量值；另一种方法是采用立体图像的左视点和右视点以及立体图像的深度/视差信息来进行评价，此时需假定深度/视差信息在HVS判断立体图像的质量中起到一定的作用。然而，第二种方法需要考虑两个问题，首先，由于真实的深度/视差图并不总是可用的，第二种方法一般都是在估计深度图时进行立体图像深度感的质量评价，因此，深度/视差估计算法的精度可能会大大影响评价性能；其次，深度/视差信息可能与三维感知质量不相关，这一点已在Kaptein等的文章中被证实，他在主观实验中使用了在不同深度下的相同物体的模糊图像，发现在三维显示中在一定程度上深度不影响图像感知质量。尽管存在上述的这些问题，上述两种方法在针对对称失真的立体图像质量评价上仍取得了不错的质量评价性能。然而，如果左视点和右视点包含不同程度或失真类型(也称为不对称的失真刺激)，那么上述这两种方法的质量评价性能较差。不对称的失真使立体图像质量评价问题更具挑战性，主要是因为人眼合成的独眼图的质量与左右视点的失真类型以及分布有关。例如有两幅失真立体图像，两幅失真立体图像的左视点图像均为相似的高质量的图像，而两幅失真立体图像的右视点图像均为近似的低质量的图像。对受试者的观察结果进行统计，可以发现，对于右视点含有白噪声的失真立体图像，他们认为合成的虚拟视点图像(独眼图)质量更接近低质量的右视点图像，而对于右视点含有高斯模糊的失真立体图像，他们认为合成的虚拟视点图像(独眼图)质量更接近高质量的左视点图像。因此，有效地模拟HVS的双目非对称失真时的感知机制也是提高立体图像质量评价算法性能的关键之一。合理有效的双目模型可以更加全面地考虑人眼双目感知特性，同时可以提高对对称失真以及非对称失真立体图像的评价效果。
技术实现思路
本专利技术所要解决的技术问题是提供一种结合流形特征及双目特性的立体图像质量客观评价方法，其能够获得与主观感知质量一致性较高的客观评价结果。本专利技术解决上述技术问题所采用的技术方案为：一种结合流形特征及双目特性的立体图像质量客观评价方法，其特征在于包括以下步骤：①选取多幅无失真自然场景平面图像，并提取每幅无失真自然场景平面图像的亮度分量；然后将每幅无失真自然场景平面图像的亮度分量划分成互不重叠的尺寸大小为8×8的图像块；接着从所有无失真自然场景平面图像的亮度分量中的所有图像块中随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为xi，其中，5000≤N≤20000，1≤i≤N；再将每个训练样本中的所有像素点的像素值排列构成一个灰度向量，将xi中的所有像素点的像素值排列构成的灰度向量记为xicol，其中，xicol的维数为64×1，xicol中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi获得的每个像素点的像素值；之后将每个训练样本对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对每个训练样本对应的灰度向量的中心化处理，将xicol经中心化处理后得到的灰度向量记为最后将所有中心化处理后得到的灰度向量组成的矩阵记为X，其中，X的维数为64×N，对应表示第1个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、第2个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、第N个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号；②利用主成分分析对X进行降维以及白化操作，将降维以及白化操作后得到的矩阵记为XW，其中，XW的维数为M×N，M为设定的低维维数，1<M<64；③利用正交局部保持投影算法对XW中的N个列向量进行训练，获得XW的8个正交基的最佳映射矩阵，记为JW，其中，JW的维数为8×M；然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J＝JW×W，其中，J的维数为8×64，W表示白化矩阵，W的维数为M×64；④令Iorg表示宽度为W'且高度为H'的原始的无失真自然场景立体图像，将Iorg的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；令Idis表示Iorg经失真后的失真立体图像，将Idis作为待评价的失真立体图像，将Idis的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；然后将和各自的亮度分量及和各自的亮度分量分别划分成个互不重叠的尺寸大小为8×8的图像块，将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为其中，符号为向下取整符号，1≤j≤N'，再将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有本文档来自技高网...

【技术保护点】
一种结合流形特征及双目特性的立体图像质量客观评价方法，其特征在于包括以下步骤：①选取多幅无失真自然场景平面图像，并提取每幅无失真自然场景平面图像的亮度分量；然后将每幅无失真自然场景平面图像的亮度分量划分成互不重叠的尺寸大小为8×8的图像块；接着从所有无失真自然场景平面图像的亮度分量中的所有图像块中随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为xi，其中，5000≤N≤20000，1≤i≤N；再将每个训练样本中的所有像素点的像素值排列构成一个灰度向量，将xi中的所有像素点的像素值排列构成的灰度向量记为xicol，其中，xicol的维数为64×1，xicol中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi获得的每个像素点的像素值；之后将每个训练样本对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对每个训练样本对应的灰度向量的中心化处理，将xicol经中心化处理后得到的灰度向量记为最后将所有中心化处理后得到的灰度向量组成的矩阵记为X，其中，X的维数为64×N，对应表示第1个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、第2个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、第N个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号；②利用主成分分析对X进行降维以及白化操作，将降维以及白化操作后得到的矩阵记为XW，其中，XW的维数为M×N，M为设定的低维维数，1＜M＜64；③利用正交局部保持投影算法对XW中的N个列向量进行训练，获得XW的8个正交基的最佳映射矩阵，记为JW，其中，JW的维数为8×M；然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J＝JW×W，其中，J的维数为8×64，W表示白化矩阵，W的维数为M×64；④令Iorg表示宽度为W'且高度为H'的原始的无失真自然场景立体图像，将Iorg的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；令Idis表示Iorg经失真后的失真立体图像，将Idis作为待评价的失真立体图像，将Idis的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；然后将和各自的亮度分量及和各自的亮度分量分别划分成个互不重叠的尺寸大小为8×8的图像块，将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为其中，符号为向下取整符号，1≤j≤N'，再将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为其中，和和的维数均为64×1，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值；之后将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为并将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为最后将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xref,L，并将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xref,R，将的亮度分量对应的所有中心化处理后得到的灰度向量组成...

【技术特征摘要】
1.一种结合流形特征及双目特性的立体图像质量客观评价方法，其特征在于包括以下步骤：①选取多幅无失真自然场景平面图像，并提取每幅无失真自然场景平面图像的亮度分量；然后将每幅无失真自然场景平面图像的亮度分量划分成互不重叠的尺寸大小为8×8的图像块；接着从所有无失真自然场景平面图像的亮度分量中的所有图像块中随机选取N个图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为xi，其中，5000≤N≤20000，1≤i≤N；再将每个训练样本中的所有像素点的像素值排列构成一个灰度向量，将xi中的所有像素点的像素值排列构成的灰度向量记为xicol，其中，xicol的维数为64×1，xicol中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xi获得的每个像素点的像素值；之后将每个训练样本对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对每个训练样本对应的灰度向量的中心化处理，将xicol经中心化处理后得到的灰度向量记为最后将所有中心化处理后得到的灰度向量组成的矩阵记为X，其中，X的维数为64×N，对应表示第1个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、第2个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、第N个训练样本中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号；②利用主成分分析对X进行降维以及白化操作，将降维以及白化操作后得到的矩阵记为XW，其中，XW的维数为M×N，M为设定的低维维数，1＜M＜64；③利用正交局部保持投影算法对XW中的N个列向量进行训练，获得XW的8个正交基的最佳映射矩阵，记为JW，其中，JW的维数为8×M；然后根据JW和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J＝JW×W，其中，J的维数为8×64，W表示白化矩阵，W的维数为M×64；④令Iorg表示宽度为W'且高度为H'的原始的无失真自然场景立体图像，将Iorg的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；令Idis表示Iorg经失真后的失真立体图像，将Idis作为待评价的失真立体图像，将Idis的左视点图像和右视点图像对应记为和并提取和各自的亮度分量；然后将和各自的亮度分量及和各自的亮度分量分别划分成个互不重叠的尺寸大小为8×8的图像块，将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为将的亮度分量中的第j个图像块记为其中，符号为向下取整符号，1≤j≤N'，再将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记为其中，和和的维数均为64×1，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的像素值；之后将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为并将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为最后将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xref,L，并将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xref,R，将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xdis,L，将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xdis,R，其中，Xref,L和Xref,R、Xdis,L和Xdis,R的维数均为64×N'，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，对应表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的亮度分量中的第N'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号“[]”为向量表示符号；⑤计算Xref,L中的每个列向量与Xdis,L中对应列向量之间的结构差异，将与之间的结构差异记为并计算Xref,R中的每个列向量与Xdis,R中对应列向量之间的结构差异，将与之间的结构差异记为然后将Xref,L和Xdis,L对应的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为νL；并将Xref,R和Xdis,R对应的N'个结构差异按序排列构成一个维数为1×N'维的向量，记为νR；其中，νL中的第j个元素的值为νR中的第j个元素的值为接着获取无失真左视点图像块集合和失真左视点图像块集合及无失真右视点图像块集合和失真右视点图像块集合，具体过程为：a1、设计一个左视点图像块选取阈值TH1和一个右视点图像块选取阈值TH2；a2、从νL中提取出所有值大于或等于TH1的元素，并从νR中提取出所有值大于或等于TH2的元素；a3、将的亮度分量中与从νL中提取出的元素对应的图像块构成的集合作为无失真左视点图像块集合，记为Yref,L，并将的亮度分量中与从νL中提取出的元素对应的图像块构成的集合作为失真左视点图像块集合，记为Ydis,L，将的亮度分量中与从νR中提取出的元素对应的图像块构成的集合作为无失真右视点图像块集合，记为Yref,R，将的亮度分量中与从νR中提取出的元素对应的图像块构成的集合作为失真右视点图像块集合，记为Ydis,R，⑥计算Yref,L中的每个图像块的流形特征向量，将Yref,L中的第t个图像块的流形特征向量记为并计算Ydis,L中的每个图像块的流形特征向量，将Ydis,L中的第t个图像块的流形特征向量记为计算Yref,R中的每个图像块的流形特征向量，将Y...

【专利技术属性】
技术研发人员：郁梅，王朝云，陈芬，何美伶，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33