一种基于神经网络学习融合的全参考图像质量客观评价方法技术

本发明专利技术公开了一种全参考图像质量客观评价方法，包括以下步骤：将BP神经网络用于图像质量评价，通过设计视觉多通道多算法自适应融合的BP神经网络图像质量预测模型，将失真图像基于各种客观评价算法的视觉多通道评价结果输入BP神经网络，以人眼主观测试结果分值作为训练目标，对BP神经网络进行有监督的学习训练，然后预测输出各种客观评价算法的客观评价结果，并将各种算法的客观评价结果进行自适应融合，获得失真图像质量的最终客观评价。本发明专利技术方法全面提高了PSNR、SSIM和SVD评价方法的各项指标水平，超过了最近的视觉特征感知处理与视觉心理推导融合类评价方法，且具有更好的评价稳定性。

【技术实现步骤摘要】
一种基于神经网络学习融合的全参考图像质量客观评价方法
本专利技术属于图像处理
，具体涉及一种基于神经网络学习融合的全参考图像质量客观评价方法。
技术介绍
图像作为一种广泛应用的信号，其在信息获取、传递和处理等各个领域均具有举足轻重的地位。当前，随着云计算能力的提升和人工智能研究的兴起，基于图像终端处理平台的各种应用业务获得了前所未有的发展，然而，图像信号易受污染，因此，图像质量评价的研究意义重大。图像质量评价研究领域中，客观方法以自动连续的高效工作方式而成为了该领域的研究热点，其中，全参考图像质量评价的研究意义尤其重要。传统经典评价算法如均方根误差RMSE、信噪比SNR以及峰值信噪比PSNR等评价结果和人眼主观测试差距较大。仿生学评价算法如Dalay算法，Safranek-Johnson算法，离散余弦变换算法以及Watson小波变换算法等建模复杂，速度慢，且有许多系统性缺陷制约导致建模效率较低。近些年出现的一些工程学评价方法及其改进算法，例如结构相似度SSIM方法，信息保真度IFC方法，奇异值分解SVD方法等，但这些方法的评价标准不相同，使得其评价结果数据没有可比性，例如，SSIM取值范围在{0，1}之间且取值越大说明图像质量越高，而IFC和SVD的取值范围则不受限，SVD越大说明图像质量越低，而IFC越大则说明图像质量越高；另外，实验证明，反映这些方法性能的一些重要评价指标水平尚有待提高，例如斯皮尔曼等级排序相关系数SROCC、均方根误差RMSE和皮尔逊相关系数PLCC等。最近几年，将视觉系统特性融入图像质量评价成为了研究热点，例如，显著失真MAD，特征相似度FSIM，视觉显著VSI等，但这些方法存在两个问题，一个问题是图像特征处理算法缺乏视觉特性的理论依据，这使得其评价性能不稳定；另外一个更突出的问题是人眼的主观视觉多通道特性，对于不同的客观评价算法，具有不同的主、客观映射关系，例如，对于各视觉通道的频率敏感特性，上述方法均采用了统一的对比度敏感函数，降低了各种客观评价方法的性能。内在推导机制(InternalGenerativeMechanism，IGM)则基于大脑的自由能量场理论，通过信息感知最大化算法评价图像质量，但其信息处理算法过于单一，难以揭示视觉大脑的工作机制，并且也缺乏有力的实验结果证实。近些年来，随着神经网络研究的深入，其已经在信号处理、模式识别等多个人工智能领域取得了非凡的成就。其中，反向传播(BackPropagation，BP)神经网络技术尤其在图像处理领域获得了重要的应用，理论上，一个三层以上的BP神经网能够以任意精度逼近一个非线性函数，并且对外界激励具有自适应学习的能力，从而具备了非常强大的分类识别能力，BP的出现，解决了神经网络发展史上的非线性分类难题。BP神经网络和人眼视觉系统在图像处理中具有非常类似之处，例如，BP神经网络对于图像特征的分类识别能力体现了人眼视觉提取图像特征的多通道特性，BP神经网络对于任意非线性函数较强的逼近能力模拟了人眼视觉多通道对于不同图像质量客观评价算法所具有的不同主客观映射关系。因此，本专利技术借助于BP神经网络对不同图像质量客观算法的视觉多通道评价结果进行融合，从而提高了现有图像质量客观评价算法的性能。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于神经网络学习融合的全参考图像质量客观评价方法，其核心是利用BP神经网络模拟人眼视觉系统多通道对于各种图像质量客观评价算法的不确定性，通过BP神经网络的学习训练，预测各种图像质量客观评价算法对于失真图像质量视觉多通道评价结果的融合，BP神经网络的预测输出还统一了各种评价算法数据结果的一致性，进而设计了多种评价方法的自适应融合算法，将各种不同客观算法视觉多通道评价的BP神经网络预测结果进行函数自适应融合，最终获得失真图像质量的客观评价结果。为实现上述专利技术目的，本专利技术提供以下技术方案：一种基于神经网络学习融合的全参考图像质量客观评价方法，包括以下步骤：(1)将失真图像随机划分为训练集和测试集两个数据库；(2)对所有参考图像和所有失真图像分别进行预处理，得到相应的图像灰度矩阵；(3)采用小波变换方法对失真图像和参考图像的图像灰度矩阵进行处理，获得失真图像和参考图像的视觉多通道信息；(4)对失真图像和参考图像的每个视觉通道信息进行感知稀疏化处理；(5)基于参考图像每个视觉通道稀疏化后的信息，利用图像质量客观评价算法对失真图像对应视觉通道稀疏化后的信息进行全参考质量评价，获得失真图像质量的视觉多通道客观评价结果；(6)构建BP神经网络训练模型，利用训练集数据库中失真图像质量的视觉多通道客观评价结果对模型进行学习训练，保存训练结果的权重和阈值参数；(7)根据BP神经网络训练结果的权重和阈值参数，构建响应的BP神经网络预测模型，以测试集数据库中每帧失真图像质量的视觉多通道客观评价结果作为BP神经网络预测模型的测试输入，以BP神经网络预测模型的预测输出作为所选图像质量客观算法对于对应失真图像质量的融合评价结果，并对该结果进行偏置处理；(8)更换不同的图像质量客观评价算法，重复步骤(5)～步骤(7)，获得测试集数据中所有失真图像质量基于不同客观评价算法的融合评价结果；(9)依次将测试集数据库中每帧失真图像质量基于不同客观评价算法的融合评价结果进行自适应融合，获得每帧失真图像质量的最终客观评价。基于BP神经网在图像处理领域中杰出的分类识别能力和对任意非线性函数较强的逼近能力，本专利技术将BP神经网络用于模拟人类视觉系统的不确定特性，即人眼视觉多通道对各种客观评价算法有着有不同的主、客观映射关系，通过将各种客观算法的视觉多通道评价结果输入BP神经网络，以失真图像的人眼主观测试分值作为真值输出，对BP神经网络进行有监督的学习，获得失真图像质量基于各种不同客观算法的融合评价结果。本专利技术借助于BP神经网络强大的分析推导能力和非线性数值逼近能力，模拟了视觉多通道对于不同客观评价算法的不同主客观映射关系，从而对各个客观评价算法的视觉多通道评价结果都能进行较好的融合，提高了各个客观评价算法的性能。BP神经网络的预测输出还统一了各种评价算法数据结果的一致性，进而设计了多种评价方法的自适应融合算法。本专利技术全面提高了PSNR、SSIM和SVD图像质量客观评价方法的各项指标水平，超过了最近的视觉特征感知处理与视觉心理推导融合类评价方法，且具有更好的稳定性。步骤(1)中，根据经验值，训练集与测试集中失真图像的比例为1/3～1。优选地，步骤(2)中，对所有参考图像和所有失真图像分别依次进行灰度化处理和高斯低通滤波，得到相应的图像灰度矩阵。具体地，高斯低通滤波时采用的窗口大小为k×k，k的取值范围为0.01t～0.1t，t取图像矩阵行和列的最小值，即：t＝min{P，Q}，P×Q为失真图像的大小，高斯低通滤波时采用的标准差为1.0～2.0。现有的小波种类很多，作为优选，步骤(3)中，选用Log-Gabor小波对失真图像和参考图像的图像灰度矩阵进行处理，获得失真图像和参考图像的视觉多通道信息。Log-Gabor小波具有视觉亮度感知的非线性和良好的视觉方向滤波特性，为描述方便起见，将Log-Gabor小波的视觉通道记为(S,O)，S代本文档来自技高网...

【技术保护点】
1.一种基于神经网络学习融合的全参考图像质量客观评价方法，其特征在于，包括以下步骤：(1)将失真图像随机划分为训练集和测试集两个数据库；(2)对所有参考图像和所有失真图像分别进行预处理，得到相应的图像灰度矩阵；(3)采用小波变换方法对失真图像和参考图像的图像灰度矩阵进行处理，获得失真图像和参考图像的视觉多通道信息；(4)对失真图像和参考图像的每个视觉通道信息进行感知稀疏化处理；(5)基于参考图像每个视觉通道稀疏化后的信息，利用图像质量客观评价算法对失真图像对应视觉通道稀疏化后的信息进行全参考质量评价，获得失真图像质量的视觉多通道客观评价结果；(6)构建BP神经网络训练模型，利用训练集数据库中失真图像质量的视觉多通道客观评价结果对模型进行学习训练，保存训练结果的权重和阈值参数；(7)根据BP神经网络训练结果的权重和阈值参数，构建响应的BP神经网络预测模型，以测试集数据库中每帧失真图像质量的视觉多通道客观评价结果作为BP神经网络预测模型的测试输入，以BP神经网络预测模型的预测输出作为所选图像质量客观算法对于对应失真图像质量的融合评价结果，并对该结果进行偏置处理；(8)更换不同的图像质量客观评价算法，重复步骤(5)～步骤(7)，获得测试集数据中所有失真图像质量基于不同客观评价算法的融合评价结果；(9)依次将测试集数据库中每帧失真图像质量基于不同客观评价算法的融合评价结果进行自适应融合，获得每帧失真图像质量的最终客观评价。...

【技术特征摘要】
1.一种基于神经网络学习融合的全参考图像质量客观评价方法，其特征在于，包括以下步骤：(1)将失真图像随机划分为训练集和测试集两个数据库；(2)对所有参考图像和所有失真图像分别进行预处理，得到相应的图像灰度矩阵；(3)采用小波变换方法对失真图像和参考图像的图像灰度矩阵进行处理，获得失真图像和参考图像的视觉多通道信息；(4)对失真图像和参考图像的每个视觉通道信息进行感知稀疏化处理；(5)基于参考图像每个视觉通道稀疏化后的信息，利用图像质量客观评价算法对失真图像对应视觉通道稀疏化后的信息进行全参考质量评价，获得失真图像质量的视觉多通道客观评价结果；(6)构建BP神经网络训练模型，利用训练集数据库中失真图像质量的视觉多通道客观评价结果对模型进行学习训练，保存训练结果的权重和阈值参数；(7)根据BP神经网络训练结果的权重和阈值参数，构建响应的BP神经网络预测模型，以测试集数据库中每帧失真图像质量的视觉多通道客观评价结果作为BP神经网络预测模型的测试输入，以BP神经网络预测模型的预测输出作为所选图像质量客观算法对于对应失真图像质量的融合评价结果，并对该结果进行偏置处理；(8)更换不同的图像质量客观评价算法，重复步骤(5)～步骤(7)，获得测试集数据中所有失真图像质量基于不同客观评价算法的融合评价结果；(9)依次将测试集数据库中每帧失真图像质量基于不同客观评价算法的融合评价结果进行自适应融合，获得每帧失真图像质量的最终客观评价。2.如权利要求1所述的基于神经网络学习融合的全参考图像质量客观评价方法，其特征在于，步骤(1)中，训练集与测试集中失真图像的比例为1/3～1。3.如权利要求1所述的基于神经网络学习融合的全参考图像质量客观评价方法，其特征在于，步骤...

【专利技术属性】
技术研发人员：丰明坤，吴茗蔚，王中鹏，施祥，林志洁，向桂山，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江,33