基于多尺度自然场景统计建立的无参考图像质量感知方法技术

本发明专利技术公开了一种基于多尺度分析法建立的新无参考图像质量感知方法。该方法能有效评估基于深度图像绘制技术合成图像的质量。本发明专利技术考虑到基于深度图像绘制技术合成图像的参考图像通常不可获得，利用深度图像绘制技术造成几何失真破坏自然图像自相似特性，并且破坏程度随图像尺寸缩小而趋于减小的先验知识建立了无参考图像多尺度分析质量感知方法。根据利用主流数据库来对方法进行性能测试的结果，本发明专利技术的性能和现有的评估方法相比有较大优势。值得注意的是，由于目前很少有关于深度图像绘制技术合成图像的无参考评估方法的研究，本发明专利技术填补了这方面的空白，为将来无参考图像质量感知算法的提高开辟了一个方向。

【技术实现步骤摘要】
基于多尺度自然场景统计建立的无参考图像质量感知方法
本专利技术属于图像质量感知方法，利用多尺度自然场景统计分析法建立一种新型无参考图像质量感知模型，能有效评价基于深度图像绘制技术合成的图像质量。
技术介绍
如今很多的影像应用中都需要自由视角及其相关技术，基于深度图像绘制技术合成的图像可为用户提供自由视角的体验，因此，它被广泛应用于远程教育、监控、医疗和娱乐等领域。基于深度图像绘制技术合成的图像原理是通过相邻图像合成出虚拟图像，在此过程中，不可避免会引入几何失真。如图1，几何失真和模糊、噪声失真等相比呈现出不同的视觉影响。几何失真属于局部畸变，常常出现在图像前景中最显著的轮廓位置。其它的典型失真属于全局失真，随机的出现在图像的各个地方。因此，相比来说，几何失真对图像的语义结构的破坏程度更大，对图像质量的影响比典型失真更严重。然而，目前缺乏对基于深度图像绘制等技术合成图像引入的几何失真的质量感知方法的研究。现有的图像质量感知算法多依据于参考图像，由于基于深度图像绘制技术合成的图像本身为虚拟图像，通常不能获取其参考图像，因此现有方法难以适用。为此，本专利技术提出了基于多尺度自然场景统计分析的无参考图像质量感知模型。本专利技术基于两个新的针对基于深度图像绘制技术合成的图像质量感知的自然场景统计模型。一是根据深度图像绘制技术造成几何失真破坏自然图像自相似特性，并且破坏程度随着图像尺寸缩小而趋于减小的先验知识。由此规律，提出了基于自相似性的自然场景统计模型。二是自然图像的主结构退化程度在不同的尺寸间保持一致，然而，基于深度图像绘制技术合成的图像将会破坏这一规律。根据这一统计规律，可以对基于深度图像绘制技术合成的图像进行无参考图像质量感知。最终，将两种统计模型进行结合得到多尺度自然场景统计分析法。
技术实现思路
本专利技术利用多尺度自然场景统计分析法建立一种新型无参考图像质量分析模型。本专利技术融合两个针对几何失真的新的自然场景统计模型对深度图像绘制技术合成的图像的质量进行评价。通过IRCCyN/IVC数据库中的96副图片对该方法进行验证，实验结果表明，本专利技术对深度图像绘制技术合成的图像的评价效果明显高于已有的图像质量感知方法。本专利技术是通过以下技术方案实现的，本专利技术包括以下步骤：第一步、通过双边插值技术将Yi图像进行升采样达到与Y1相匹配的尺寸，得到近似参考图像第二步、计算相似度第三步、计算图像每一个像素点各尺度相似度融合结果第四步、为了消除升采样引入的模糊失真，通过设置阈值τ，计算出第五步、计算出基于统计模型一质量感知分数第六步、计算主结构退化向量mY。第七步、计算出基于统计模型二质量感知分数第八步、最后融合得到多尺度自然场景统计分析法评估分数。本专利技术的原理是：统计模型一是根据深度图像绘制技术造成几何失真破坏自然图像自相似特性，并且破坏程度随图像尺寸缩小而趋于减小的先验知识。以图1(a)为参考图像X，(d)为相应的基于深度图像绘制技术合成的图像Y为例。由图2可知，X和Y的距离随着尺寸缩小而减小，其中结构相似度(SSIM[1])的值与图像相似度成正相关，与图像距离成负相关。我们发现Y5和相对应的参考图像X5之间SSIM非常高，意味着两者之间具有非常高的相似度。当图像尺寸缩小到一定程度时，通过升采样技术使图片尺寸匹配估计图像的大小就可以近似的作为相应的参考图像。使得统计模型一在没有参考图像的情况下也能对图像进行评估，参考图像和基于深度图像绘制技术合成图像的距离公式可以近似为：例如其中“^”表示将图像升采样得到相匹配的尺寸。为了解决升采样引入模糊失真的问题，用相似度代替距离通过计算每一个像素的相似度并设置阈值τ来过滤模糊失真得到提取出几何失真区域，效果如图4。最后计算出几何失真像素点占总图像像素点比例作为多尺度质量感知值。统计模型二主要强调结构在图像的质量感知中占有重要地位，因此边缘或轮廓作为结构的组成部分在图像质量感知中起关键作用。自然图像的主结构退化程度在不同的尺寸之间保持一致性，然而，基于深度图像绘制技术合成的图像将会破坏这一规律。根据这一经验我们得到新的统计模型，可以对基于深度图像绘制技术合成的图像进行无参考图像质量感知。通过对300幅自然图像及其对应的基于深度图像绘制技术合成的图像计算主结构退化向量m，每个向量有5个元素，分别对应各尺度与尺度5之间的主结构退化值。将最后结果标在坐标系中，得到如图4所示红色区域。由此可知，300个折线之间非常接近，通过计算每个尺度下主结构退化值的均值，可近似得出图中黑色虚线的统计模型，其五个尺度下的主结构退化向量mp＝{1,0.9919,0.9520,0.8108,0}。随后，我们通过4幅图对统计模型进行测试，(a)为标准的参考图像，(b)为带有严重几何失真的图像，(c)、(d)为高质量深度图像绘制技术合成的图像，并且，每幅图都标有图像质量分数。通过观察可得每幅图在五个尺度下的主结构退化曲线与统计模型的偏离程度与图像质量分数一致，即越接近统计模型，其图像质量分数越高。因此，可以通过此统计模型对基于深度图像绘制技术合成的图像进行有效的无参考质量感知。最终，将两种统计模型进行结合得到多尺度自然场景统计分析法。附图说明图1、典型失真(白噪声和高斯模糊)与几何失真之间的差异的图示。图2、参考图像和基于深度图像绘制技术合成图像在多尺度上的比较。2↓：降采样缩小2倍。4↑：升采样放大4倍。图3、统计模型二示意图图4、(a)、(b)为图1.(a)参考图像的和的结果图，(c)、(d)为图1.(d)基于深度图像绘制技术合成图像的和的结果图。图5、300幅图像大约5千万像素点的值分布图。具体实施方式：下面对本专利技术的实施例作详细说明，本实施例在本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。实施例：第一步，通过双边插值技术将Yi图像进行升采样达到与Y1相匹配的尺寸，得到近似参考图像其中Y1为原尺寸基于深度图像绘制技术合成的图像，Yi为Y1按比例缩小的图像，随i增大依次缩小2倍，由实验得出i＝{1,2,3,4,5}即可，为升采样近似参考图像。第二步，计算相似度方法如下：其中y1j为Y1图像位置j的像素点和为图像位置j的像素点，Δ＝5，防止分母为零造成溢出。第三步，计算图像每一个像素点各尺度相似度融合结果方法如下：其中N为尺度数，N由第一步可知为5，j指图像中像素点的索引，{θ1，θ2，θ3，θ4，θ5}根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333}。第四步，为了消除升采样引入的模糊失真，提取出几何失真区域，通过设置阈值τ，计算出方法如下：其中阈值τ基于大数据样本的自然图像的统计特性得出。随机选取300幅高质量自然场景图像，并且计算它们的上述所选图像均不含有几何失真，即，所有300幅图像的大约5千万像素点的值均高于阈值τ。绘制出所有像素点值的直方图，即图5所示。通过直方图可得出99.85％的像素点的值大于0.1，因此将阈值τ设置为0.1来提取出几何失真区域。通过此公式可提取出几何失真区域，由第三步求得。第五步，计算出基于统计模型一质量感知分数方法如下：其中L为图像像素总量，由第4步求得。第六步，计算主结构退化本文档来自技高网...

【技术保护点】
基于多尺度自然场景统计分析法无参考图像质量感知方法，其特征在于包括以下步骤：第一步、通过双边插值技术将Yi图像进行升采样达到与Y1相匹配的尺寸，得到近似参考图像

【技术特征摘要】
1.基于多尺度自然场景统计分析法无参考图像质量感知方法，其特征在于包括以下步骤：第一步、通过双边插值技术将Yi图像进行升采样达到与Y1相匹配的尺寸，得到近似参考图像第二步、计算相似度第三步、计算图像每一个像素点各尺度相似度融合结果第四步、为了消除升采样引入的模糊失真，通过设置阈值τ，计算出第五步、计算出基于统计方法一质量感知分数第六步、计算主结构退化向量mY；第七步、计算出基于统计方法二质量感知分数第八步、最后融合得到多尺度自然场景统计分析法评估分数；第一步中：通过双边插值技术将Yi图像进行升采样达到与Y1相匹配的尺寸，得到近似参考图像其中Y1为原尺寸基于深度图像绘制技术合成的图像，Yi为Y1按比例缩小的图像，随i增大依次缩小2倍，由实验得出i＝{1,2,3,4,5}，为升采样近似参考图像；第二步中：计算相似度方法如下：其中y1j为Y1图像位置j的像素点和为图像位置j的像素点，Δ为一正数，防止分母为零造成溢出；第三步中：计算图像每一个像素点各尺度相似度融合结果方法如下：其中N为尺度数，N由第一步知为5，j指图像中像素点的索引，{θ1θ2θ3θ4θ5}根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333}；第四步中：为了消除升采样引入的模糊失真，提取出几何失真区域，通过设置阈值τ，计算出方法如下：

【专利技术属性】
技术研发人员：顾锞，乔俊飞，刘茂珅，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11