基于双目融合的立体图像质量评价方法技术

本发明专利技术属于视频和图像处理领域，为提出一种符合人类视觉系统相关特性且更加有效的立体图像客观质量评价方法。使新的立体图像客观质量评价方法更加准确高效的评价立体图像的质量,同时在一定程度上推动立体成像技术的发展。本发明专利技术采用的技术方案是，基于双目融合的立体图像质量评价方法，包括以下步骤：步骤1：构建符合人类视觉特性的单目感知模型；步骤2：计算由步骤1得到的感知图像Xv的图像失真度QD1)计算左右视图图像子块的结构相似度SSIM2)构建最终的图像失真度QD结合人眼立体视觉双目融合特性和视觉中心显著性特性，对上一步所得的图像子块结构相似度指标进行加权求和计算最终的图像失真度评价分数QD。本发明专利技术主要应用于视频和图像处理。

【技术实现步骤摘要】

本专利技术属于视频和图像处理领域，涉及立体图像质量评价方法改进优化，尤其是涉及人类视觉系统中的掩盖效应、多通道效应和对比度敏感度在立体图像质量客观评价中的应用。
技术介绍
立体图像技术是一种能够提供视觉深度感的新型多媒体技术，与平面图像相比，立体图像主要利用双目视差原理，通过双目分别接收左右两个通道的图像，给观看者带来较好的临场感，但同时也需要更多的存储空间和更大的传输带宽。因此，对立体图像进行高效压缩是降低存储成本、缓解网络带宽压力的关键技术。但通过压缩编码减少立体图像的数据量，势必会引起各种降质。除此之外，在立体图像采集、处理及传输过程中，都难免会引起失真。因此，探索影响立体图像质量的主要因素，建立一个有效可靠的立体图像质量评价模型对立体信息行业的发展尤为重要。立体图像评价系统不仅可以评价接收端立体图像质量的优劣，还可以为立体图像压缩、传输及其他处理方法提供新的理论依据，从而促进立体图像压缩算法和传输方式的优化。立体图像质量评价可分为主观评价和客观评价。由于主观评价方法对实验环境、测试流程、被试者素质等有较高要求，所以完成一次主观评价既耗时又耗力，且结果的精确度易受外界条件影响，结果的可移植性和稳定性难以达到应用要求。客观评价方法较主观评价方法快速、稳定且简单易行。因此，研究合理且高效的客观评价方法意义重大。目前，在立体图像质量的客观评价方面，经典且常用的方法有基于统计的峰值信噪比[1]、结构相似度方法及其衍生出的一系列方法[2]。文献[3]在参考平面图像质量评价的基础上，将工程学评价方法峰值信噪比与结构相似度相结合，使用两种方法分别评价立体图像左右视图的质量，然后通过四种不同的方法计算得到绝对差值信息用于评价立体感，最后分别使用局部结合和全局结合的方法将图像质量与立体感质量整合为统一的立体图像质量指标。最后将所得分数取平均值，作为评价立体图像质量的指标。该文章还验证了单纯的平面图像客观评价方法无法简单地适用立体图像质量评价，在立体图像质量评价过程中需要考虑立体感的因素。文献[4]将立体图像中的一些特性，如深度特性，结构特性和梯度特性等。与其他客观图像质量评价指标相比，该文献提出的方法与主观评价有较高的一致性。文献[5]提出了一种双目感知质量模型，首先基于双目不对称性分割立体图像，然后对不同区域设置不同的感知权重，最后计算立体图像质量，该文献证明了结合双目视觉不对称性可以提高立体图像客观评价准确性。文献[6]认为，人眼视觉系统对立体图像的边缘信息极其敏感，因此其考虑通过边缘信息对经典结构相似度指标加以改进，提出了一种基于边缘的结构相似度评价方法，使用该方法评价立体图像左右视图质量。然后作者通过基于自适应权重匹配算法计算左右视图的视差图，通过判断失真图像视差图与参考图像视差图的差异计算立体图像的立体感指标。最后将左右视图质量与立体感质量进行拟合，得到评价立体图像质量的综合指标。文献[7]参考2D平面图像的评价方法，从质量属性、质量倾向、图像物理特征和计数变量四方面计算立体图像左右视点图像质量，然后计算两者均值作为立体图像整体质量。文献[8]分析了高斯噪声对立体图像的影响，作者发现，对于受到高斯噪声影响的图像，PSNR的评价效果比SSIM评价效果更好，这是因为作为一种统计学方法，PSNR能够准确的判断图像加性噪声失真。因此，作者使用PSNR作为评价指标对立体图像对的绝对差值图进行评价，判断立体图像立体感的降质程度。文献[9]在立体图像主观实验的基础上对立体图像串扰进行分析，确定了影响图像串扰的因素，其中相机基线、串扰等级、图像对比度以及应变效应会增强图像的串扰程度，而立体图像的纹理特征，图像场景细节信息等会降低立体图像串扰。因此作者将立体图像的深度图与结构相似度方法相结合，提出了一种基于立体图像串扰的客观评价方法。作者在文献[10]中对文献[9]的评价方法做出了改进，通过立体图像的视差图对串扰程度做进行评判。在试验中作者发现，使用视差图评价串扰等级要比使用深度图效果更好。文献[11]根据人眼视觉的心理学特性，将立体图像进行分割成不相关区域、双目融合区域以及双目抑制区域，提取各区域中局部相位和局部幅值特征，将两者整合为立体图像评价指标。最后作者结合双眼恰可察觉失真对评价指标进行优化，从而判断立体图像质量。文献[12]提出了一种基于感知图像质量的立体图像质量评价方法。首先参考人眼的视觉显著性特性，将图像分为显著部分和非显著部分，然后对各部分按照失真程度再次进行划分，分为失真部分和非失真部分。接着根据人眼视觉特性对各部分的重要程度进行建模，以此为权重计算各区域的相位相似性。最后将各部分的评价结果进行加权平均，作为评价立体图像质量的指标。文献[13]提出一种立体图像质量评价模型，首先通过最小可察觉失真和图像显著性将被试图像分成四种区域，对不同区域设置不同的权重，计算单张图像结构相似度指标，最后将左右视图结构相似度取平均，作为立体图像质量指标。文献[14]提出了一种基于人类视觉系统的质量评价方法，包括使用Weber-Fechner定律模拟亮度幅度非线性特性，使用可控金字塔模型模拟多通道效应，使用对比度敏感度函数对各频带图像进行感知加权，最后计算各频带结构相似度，作为评价立体图像质量的指标。文献[15]提出了一种基于人眼视觉系统的基本特性的立体图像质量评价方法。该方法首先对立体图像左右视图进行色彩空间变换，提取亮度信息，然后通过感知分解将图像分为多个子块，计算每个子块的对比度增益权重，最后将各部分失真程度进行综合，计算最终的质量评价指标。同时作者提取立体图像视差图，以视差图作为输入按照上述过程评价视差图质量，作为立体图像立体感的评价指标。文献[16]构建了感知图像失真度模型，将左右视图结构相似度、亮度平均值和匹配点个数比与峰值信噪比进行综合，得到最终的立体图像质量分数。文献[17]基于双目立体图像感知特性提出立体图像评价方法，根据局部信息为每个视点定义加权因子，并且在评价过程中考虑人眼视觉系统灵敏度的特性，根据双目显著性差异调整不同区域的质量分数。文献[18]针对传统的统计学方法SNR因没有考虑人类视觉特性导致其不能真正或全面地表征图像质量的缺陷，提出了一种基于人类视觉特性的信噪比方法。通过模拟人类视觉系统中亮度非线性特性、多通道特性、对比度敏感度特性和掩盖效应等特性，对人眼视觉系统进行建模，并重构了经过得到通过了人眼视觉系统模型的参考图像与失真图像，从而改进了传统的统计学方法SNR，使之适用于立体图像质量评价。文献[19]提出了一种彩色图像质量评价方法，对立体图像质量评价提出新思路。上述各种客观评价方法通过不同方式对立体图像质量评价进行研究，得到了较好的评价结果。然而，大部分方法都是[3,6,7]通过分别计算左右视图的质量分数，然后平均加权或是按某种规则进行加权，作为评价立体图像质量的指标。但是人眼在捕捉立体图像时是根据视觉的双目融合特性将左右视点进行融合形成单一的像，因而仍然不能取得较为理想的评价效果。
技术实现思路
为克服现有技术的不足，提出一种符合人类视觉系统相关特性且更加有效的立体图像客观质量评价方法。使新的立体图像客观质量评价方法更加准确高效的评价立体图像的质量,同时在一定程度上推动立体成像技本文档来自技高网...

【技术保护点】
一种基于双目融合的立体图像质量评价方法，其特征是，步骤如下：步骤1：构建符合人类视觉特性的单目感知模型，该模型由亮度掩盖模块、纹理掩盖模块和多通道分解模块组成，原始图像X0经过单目感知模型转变成为感知图像Xv；步骤2：计算由步骤1得到的感知图像Xv的图像失真度QD1)计算左右视图图像子块的结构相似度SSIM首先分别将原始立体图像和失真立体图像的左右视图分别分为8×8的图像子块，然后对每一个图像子块计算相应的结构相似度SSIM(Xi,Yi)，其中Xi、Yi分别代表原始立体图像和失真立体图像的第i个图像子块；2)构建最终的图像失真度QD结合人眼立体视觉双目融合特性和视觉中心显著性特性，对上一步所得的图像子块结构相似度指标进行加权求和计算最终的图像失真度评价分数QD。

【技术特征摘要】
1.一种基于双目融合的立体图像质量评价方法，其特征是，步骤如下：步骤1：构建符合人类视觉特性的单目感知模型，该模型由亮度掩盖模块、纹理掩盖模块和多通道分解模块组成，原始图像X0经过单目感知模型转变成为感知图像Xv；步骤2：计算由步骤1得到的感知图像Xv的图像失真度QD1)计算左右视图图像子块的结构相似度SSIM首先分别将原始立体图像和失真立体图像的左右视图分别分为8×8的图像子块，然后对每一个图像子块计算相应的结构相似度SSIM(Xi,Yi)，其中Xi、Yi分别代表原始立体图像和失真立体图像的第i个图像子块；2)构建最终的图像失真度QD结合人眼立体视觉双目融合特性和视觉中心显著性特性，对上一步所得的图像子块结构相似度指标进行加权求和计算最终的图像失真度评价分数QD。2.如权利要求1所述的基于双目融合的立体图像质量评价方法，其特征是，原始图像X0经过单目感知模型转变成为感知图像Xv，具体步骤是：1)原始图像X0经过亮度掩盖模块成为亮度掩模图像X1首先计算原始图像X0中每个像素点的亮度掩盖门限Tl(x,y)和背景亮度I0(x,y)；然后计算原始图像X0中每个像素点的亮度I(x,...

【专利技术属性】
技术研发人员：李素梅，丁学东，刘富岩，侯春萍，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12