一种基于视觉显著性和深度神经网络的图像质量评价方法技术

本发明专利技术公开了一种基于视觉显著性和深度神经网络的图像质量评价方法，具体如下：利用视觉显著性中的颜色显著性以及中央区域显著性，建立一种基于视觉显著性的图像显著性检测模型；利用人眼对颜色及图像中央特别关注的特点，生成颜色加权显著图；利用凸包原理，得出显著性物体的区域，生成凸包显著图；将颜色加权显著图和凸包显著图融合，得到最终显著图，并给出效果图；采用LIVE3DIQD_phase 1数据库作为图像预处理库，以及后面的训练库；融合左右眼图像的生成：通过将左视图视为参考，将左图像与右视差补偿图像融合来合成独眼图像；对立体失真图像进行视觉显著图的生成，融合生成的独眼图及其显著图；将卷积与神经网络两者相结合，得出卷积神经网络。

【技术实现步骤摘要】
一种基于视觉显著性和深度神经网络的图像质量评价方法
本专利技术属于图像处理领域，尤其是立体失真图像质量的客观评价，涉及应用显著性图及立体图像合成图的客观图像质量评价方法。
技术介绍
近年来，虚拟现实(VirtualReality,VR)技术的蓬勃发展给消费者带来了更逼真的视觉体验。作为VR技术重要组成部分的立体图像技术对VR技术的进一步发展有着极其重要的作用，而失真制约着立体图像技术的前进步伐。立体图像的失真问题，一直是国内外研究的热点，众多科研人员在研究立体图像的失真上付诸了许多努力，以期能够掌握失真的详细原因，以此来修正失真，得到更好的立体图像效果。对立体失真图像进行质量评价，是研究失真问题最主要的一种方法。图像质量评价(ImageQualityAssessment,IQA)，指的是设立一定的质量评价标准，对图像进行评价，得出图像的质量水平，通过质量水平可以看出图像的好坏。随着数字图像的发展，IQA在图像处理分析、数据压缩、存储和通信传输等领域都日益受到重视，是衡量图像质量的重要指标。现如今，人们通常利用主观质量评价辅助客观质量评价来进行对失真图像的质量评价。主观评价主要依据人眼来进行图像质量的评判，准确度较高，但效率太低。至于客观质量评价，则是通过计算机进行，利用设计的一系列算法，对图像的各个参数进行计算，赋予不同的权重，得出最终的质量分数。客观质量评价的好处在于不需要大量人员参与，一台电脑便可进行。但也有劣势，算法无法考虑到太多的影响因素，会使评测结果不够精确，准确度上不如主观评价。因此，提高客观模型的准确性是人们一直以来的探索目标，使得客观评价方法与主观的一致性更高。图像的视觉显著性研究是研究其它计算机视觉的基础，文本检测、人脸识别等技术都有显著性的影子。最早的视觉显著性研究开始于Koch和Ullman[2]，两人于1985年提出了视觉显著转移的三个特征。到了1998年，Itti[3]第一次实现了视觉显著性模型—IT模型，第一次将视觉显著性由理论变为实际。接着，Harel[4]于2016年提出一种基于图论的显著性算法(GBVS)，通过马尔科夫随机场来计算特征显著图。该篇文章是对IT算法的一次重大改进，其实验效果比IT算法有了明显提高，也为显著性的跨学科研究提供了新的思路。深度学习应用于图像的质量评价，是最近几年才开始兴起。Kang利用深度神经网络建立一个新的2D图像评价模型，集合特征提取与学习过程，是一个开拓性的工作。Gu[5]等人利用稀疏自编码器，设计了一个以自然场景统计为参数输入到神经网络的客观图像质量评价模型。依据参考图像在客观评价中所起作用，可以把客观评价分为三类，一般最常用的是全参考方法，即需要与参考图像的所有pixel(像素点)做比较。全参考方法中基于数学误差分析的方法是从局部模拟人眼视觉特性，进而上升到整个图像整体；而SSIM方法是从整个图像的结构层面来评价其性能，复杂度降低。但SSIM算法在计算时未考虑到人眼感兴趣区域的加权问题，也忽略了HVS(人类视觉系统)的相关特性，因此，与人类感知相一致的客观质量评价方法成为研究的热点。
技术实现思路
本专利技术所要解决的技术问题基于人眼视觉特性中的中央权重特性，设计一种基于中央权重的显著性检测算法，进而通过探究人的双目视觉特性，对立体失真图像的质量进行主观评价，并借助所设计的算法最终提出一种基于视觉显著性和深度学习网络的立体失真图像质量评价方法，对立体图像的失真进行有效评价，分析出失真对人眼的影响水平，对不影响观感的冗余失真不进行处理，对影响观感的失真要进行修正，使其失真水平降低，最终不影响观感。本专利技术为解决上述技术问题采用以下技术方案：一种基于视觉显著性和深度神经网络的图像质量评价方法，具体包含如下步骤；步骤1，利用视觉显著性中的颜色显著性以及中央区域显著性，建立一种基于视觉显著性的图像显著性检测模型；步骤2，利用人眼对颜色及图像中央特别关注的特点，生成颜色加权显著图；步骤3，利用凸包原理，得出显著性物体的区域，生成凸包显著图；步骤4，将颜色加权显著图和凸包显著图融合，得到最终显著图，并给出效果图；步骤5，图像预处理：采用LIVE3DIQD_phase1数据库作为图像预处理库，以及后面的训练库；步骤6，融合左右眼图像的生成：通过将左视图视为参考，将左图像与右视差补偿图像融合来合成独眼图像；步骤7，显著图像的生成：对立体失真图像进行视觉显著图的生成，融合生成的独眼图及其显著图；步骤8，将卷积与神经网络两者相结合，得出卷积神经网络。作为本专利技术一种基于视觉显著性和深度神经网络的图像质量评价方法的进一步优选方案，在步骤2中，生成颜色加权显著图，具体如下：利用超像素作为显著性检测估计元素，依据SLIC方法，获取输入图像的超像素；为得到对比先验图,对于任意超像素i，计算其已经归一化到[0,1]的平均坐标pi和在CIELAB空间下的颜色均值Ci，超像素的显著值的计算如下：其中，令σP为权重。作为本专利技术一种基于视觉显著性和深度神经网络的图像质量评价方法的进一步优选方案，在步骤3中，凸包显著图的生成，具体如下：步骤3.1，将待检测图像由RGB图转换为灰度图像；步骤3.2，进行二值图像的转化，寻找图像的轮廓得到候选的凸点；步骤3.3，调用凸包API生成凸包图像，并进行中心坐标的确定；步骤3.4，接着用凸包的中心坐标(a0，b0)代替传统算法中的图像中心坐标；超像素的显著值计算公式如下：其中ai，bi分别为超像素i归一化到[0,1]后的水平坐标均值和垂直坐标均值，并且令上式σa＝σb。作为本专利技术一种基于视觉显著性和深度神经网络的图像质量评价方法的进一步优选方案，在步骤4中，最终显著图的具体表达式如下：Sin＝Sco(i)*Sce(i)。作为本专利技术一种基于视觉显著性和深度神经网络的图像质量评价方法的进一步优选方案，在步骤8中，卷积神经网络的结构具体包含：(1)输入网络：所设计的立体失真图像评价算法，侧重于显著性，因此依赖于显著图进行训练，生成的显著图及左右眼图像均先进行切块处理，之后三种图像块分别作为输入同时输入到网络中进行计算；(2)卷积层：卷积层是整个深度卷积网络的最重要参数，提取特征就是利用分割后的图像与卷积核进行卷积计算，其中感受视野的大小就是卷积核的大小；(3)池化层：池化层其实就是一个压缩的过程，其池化的输入是卷积层的输出；分为max-pooling和mean-polling；(4)全连接层：输入的三份图像经过多层池化后，可得到一维特征向量，进而在全连接层将其进行线性拼接；(5)激活函数：线性模型的拟合能力并不足，所以需要引入非线性映射对卷积特征图进行处理，也称为激活，常用的激活函数为sigmoid；(6)模型具体设计参数：卷积核大小设置为3*3，使用sigmoid作为激活函数，最大池化窗口大小为本文档来自技高网...

【技术保护点】
1.一种基于视觉显著性和深度神经网络的图像质量评价方法，其特征在于：具体包含如下步骤；/n步骤1，利用视觉显著性中的颜色显著性以及中央区域显著性，建立一种基于视觉显著性的图像显著性检测模型；/n步骤2，利用人眼对颜色及图像中央特别关注的特点，生成颜色加权显著图；/n步骤3，利用凸包原理，得出显著性物体的区域，生成凸包显著图；/n步骤4，将颜色加权显著图和凸包显著图融合，得到最终显著图，并给出效果图；/n步骤5，图像预处理：采用LIVE3DIQD_phase 1数据库作为图像预处理库，以及后面的训练库；/n步骤6，融合左右眼图像的生成：通过将左视图视为参考，将左图像与右视差补偿图像融合来合成独眼图像；/n步骤7，显著图像的生成：对立体失真图像进行视觉显著图的生成，融合生成的独眼图及其显著图；/n步骤8，将卷积与神经网络两者相结合，得出卷积神经网络。/n

【技术特征摘要】
1.一种基于视觉显著性和深度神经网络的图像质量评价方法，其特征在于：具体包含如下步骤；
步骤1，利用视觉显著性中的颜色显著性以及中央区域显著性，建立一种基于视觉显著性的图像显著性检测模型；
步骤2，利用人眼对颜色及图像中央特别关注的特点，生成颜色加权显著图；
步骤3，利用凸包原理，得出显著性物体的区域，生成凸包显著图；
步骤4，将颜色加权显著图和凸包显著图融合，得到最终显著图，并给出效果图；
步骤5，图像预处理：采用LIVE3DIQD_phase1数据库作为图像预处理库，以及后面的训练库；
步骤6，融合左右眼图像的生成：通过将左视图视为参考，将左图像与右视差补偿图像融合来合成独眼图像；
步骤7，显著图像的生成：对立体失真图像进行视觉显著图的生成，融合生成的独眼图及其显著图；
步骤8，将卷积与神经网络两者相结合，得出卷积神经网络。


2.根据权利要求1所述的一种基于视觉显著性和深度神经网络的图像质量评价方法，其特征在于：在步骤2中，生成颜色加权显著图，具体如下：
利用超像素作为显著性检测估计元素，依据SLIC方法，获取输入图像的超像素；
为得到对比先验图,对于任意超像素i，计算其已经归一化到[0,1]的平均坐标pi和在CIELAB空间下的颜色均值Ci，超像素的显著值的计算如下：



其中，令σP为权重。


3.根据权利要求1所述的一种基于视觉显著性和深度神经网络的图像质量评价方法，其特征在于：在步骤3中，凸包显著图的生成，具体如下：
步骤3.1，将待检测图像由RGB图转换为灰度图像；
步骤3.2，进行二值图像的转化，寻找图像的轮廓得到候选的凸点；
步骤3.3，调用凸包API生成凸包图像，并进行中心坐标的确定；
步骤3.4，接着用凸包的中心坐标(a0，b0)代替传统...

【专利技术属性】
技术研发人员：张闯，李子钰，徐盼娟，朱月凯，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32