基于深度特征感知推理的全参考图像质量客观评价方法技术

本发明专利技术公开了一种基于深度特征感知推理的全参考图像质量客观评价方法，核心是将人眼视觉系统(HVS)的前端感知特性、后端处理特性和BP神经网络联合起来。基于HVS前端特性提取图像的多通道显著梯度特征，基于HVS后端特性对各视觉通道特征进行二次信息分解处理，并采用互补评价算法分别对不同的分解内容进行评价。通过构建BP神经网络多通道图像质量模型，分别将不同特征信息的多通道评价进行了融合。最后自适应地将梯度特征评价、视觉多通道梯度特征融合评价、视觉多通道梯度特征二次信息互补融合评价融合起来，获得图像质量的深度特征感知推理评价。本发明专利技术方法全面超越了现有各种方法的各项评价指标水平，并且具有更好的稳定性。

【技术实现步骤摘要】
基于深度特征感知推理的全参考图像质量客观评价方法
本专利技术涉及图像处理
，具体涉及一种基于深度特征感知推理的全参考图像质量客观评价方法。
技术介绍
图像作为一种广泛应用的信号，其在信息获取、传递和处理等各个领域均具有举足轻重的地位。当前，随着云计算能力的提升和人工智能研究的兴起，基于图像终端处理平台的各种应用业务获得了前所未有的发展，然而，图像信号易受污染，因此，图像质量评价的研究意义重大。图像质量评价研究领域中，客观方法以自动连续的高效工作方式而成为了该领域的研究热点，其中，全参考图像质量评价的研究意义尤其重要。传统经典评价算法如均方根误差RMSE、信噪比SNR以及峰值信噪比PSNR等评价结果和人眼主观测试差距较大。仿生学评价算法如Dalay算法，Safranek-Johnson算法、离散余弦变换算法以及Watson小波变换算法等建模复杂，速度慢，且有许多系统性缺陷制约导致建模效率较低。近些年出现的一些工程学评价方法及其改进算法，例如结构相似度SSIM方法、信息保真度IFC方法、奇异值分解SVD方法等，但这些方法的评价标准不相同，使得其评价结果数据没有可比性，例如，SSIM取值范围在{0，1}之间且取值越大说明图像质量越高，而IFC和SVD的取值范围则不受限，SVD越大说明图像质量越低，而IFC越大则说明图像质量越高；另外，实验证明，反映这些方法性能的一些重要评价指标水平尚有待提高，例如斯皮尔曼等级排序相关系数SROCC、均方根误差RMSE和皮尔逊相关系数PLCC等。最近几年，将视觉系统特性融入图像质量评价成为了研究热点，例如，显著失真MAD、特征相似度FSIM、视觉显著VSI等，但这些方法存在两个问题，一个问题是图像特征处理算法缺乏视觉特性的理论依据，这使得其评价性能不稳定；另外一个更突出的问题是人眼的主观视觉多通道特性，对于不同的客观评价算法，具有不同的主、客观映射关系，例如，对于各视觉通道的频率敏感特性，上述方法均采用了统一的对比度敏感函数，降低了各种客观评价方法的性能。内在推导机制(InternalGenerativeMechanism，IGM)则基于大脑的自由能量场理论，通过信息感知最大化算法评价图像质量，但其信息处理算法过于单一，难以揭示视觉大脑的工作机制，并且也缺乏有力的实验结果证实。近些年来，随着神经网络研究的深入，其已经在信号处理、模式识别等多个人工智能领域取得了非凡的成就。其中，反向传播(BackPropagation，BP)神经网络技术尤其在图像处理领域获得了重要的应用，理论上，一个三层以上的BP神经网能够以任意精度逼近一个非线性函数，并且对外界激励具有自适应学习的能力，从而具备了非常强大的分类识别能力。
技术实现思路
本专利技术的目的是提供一种基于深度特征感知推理的全参考图像质量客观评价方法，以解决现有评价方法评价不稳定问题和缺乏主观性问题。为实现上述专利技术目的，本专利技术提供以下技术方案：一种基于深度特征感知推理的全参考图像质量客观评价方法，包括：步骤1，对参考图像和失真图像进行预处理得到相应的图像灰度矩阵，将失真图像灰度矩阵分为训练集和测试集；步骤2，基于小波变换提取所有图像灰度矩阵的视觉多通道信息视图；步骤3，提取所有图像灰度矩阵的梯度特征视图；步骤4，提取所有图像灰度矩阵的每个视觉通道的梯度特征视图；步骤5，针对步骤4所得结果，设计视觉多通道梯度特征信息内推分解算法，将所有图像灰度矩阵每个视觉通道的梯度特征信息分解为有序内容视图和无序内容视图两部分；步骤6，设计视觉多通道梯度特征信息有序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价；步骤7，设计视觉多通道梯度特征信息无序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价；步骤8，根据步骤4的结果，计算所有失真图像质量的每个视觉通道梯度特征相似度评价；步骤9，根据步骤3的结果，计算测试集中所有失真图像质量的梯度特征相似度评价；步骤10，构建BP神经网络模型；步骤11，利用训练集中所有失真图像质量的每个视觉多通道梯度特征相似度评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉多通道梯度特征相似度评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征相似度融合评价结果，并对结果做偏置处理；步骤12，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息有序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息有序内容视图融合评价结果，并对结果做偏置处理；步骤13，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息无序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息无序内容视图融合评价结果，并对结果做偏置处理；步骤14，利用自适应融合算法对步骤9、步骤11、步骤12以及步骤13所得结果进行融合，获得测试集中每帧失真图像质量的深度特征感知推理评价结果。本专利技术的核心是将人眼视觉系统(HVS)的前端感知特性、后端信息处理特性和BP神经网络的学习机制联合起来用于全参考图像质量评价。首先基于HVS前端感知特性提取图像的视觉多通道显著梯度特征，然后基于后端信息处理特性对各个视觉通道的显著梯度特征进行二次信息分解处理，获得各个视觉通道梯度特征信息的有序内容视图和无序内容视图，并采用互补评价算法分别对这两部分内容进行评价。其次，借助于BP神经网络的学习推理能力对失真图像质量的视觉多通道梯度特征评价、视觉多通道梯度特征有序内容视图评价和视觉多通道梯度特征无序内容视图评价的融合函数特性分别进行了学习训练，基于BP神经网络的预测输出获得了上述三种视觉多通道评价各自对应的融合结果。最后，通过设计自适应融合算法，将梯度特征相似度评价、视觉多通道梯度特征融合评价、视觉多通道梯度特征有序内容视图融合评价、视觉多通道梯度特征无序内容视图融合评价三层评价信息融合起来，最终获得失真图像质量的深度特征感知推理评价结果。步骤1中，所述预处理包括依次进行灰度化处理和高斯低通滤波，训练集与测试集中失真图像数量的比例为1/3～1。具体地，按照如下公式对参考图像和失真图像进行灰度化处理，将其分别变换为灰度图像Gray：Gray＝0.29900R+0.58700G+0.11400B其中，R、G、B分别为源图像(失真图像或参考图像)在R、G、B三个通道上的强度值。对经过灰度变换得到的灰度图像分别进行高斯低通滤波处理，滤波器的窗口大小为k×k，作为优选，k的取值范围为0.015t～0.42t，t取图像矩阵行和列的最小值，标准差为1.0～3.0。BP神经网络输入层神经元的数量等于小波分解的通道数量，不限BP神经网络隐藏层的数量多少以及每个隐藏层的神经元数量多少，BP神经网络的输出层神经元数量只有一个，该输出代表失真图像质量基于所选客观评价算法的视觉多通道评价的融合结果。BP神经网本文档来自技高网...

【技术保护点】
1.一种基于深度特征感知推理的全参考图像质量客观评价方法，包括：步骤1，对参考图像和失真图像进行预处理得到相应的图像灰度矩阵，将失真图像灰度矩阵分为训练集和测试集；步骤2，基于小波变换提取所有图像灰度矩阵的视觉多通道信息视图；步骤3，提取所有图像灰度矩阵的梯度特征视图；步骤4，提取所有图像灰度矩阵的每个视觉通道的梯度特征视图；步骤5，针对步骤4所得结果，设计视觉多通道梯度特征信息内推分解算法，将所有图像灰度矩阵每个视觉通道的梯度特征信息分解为有序内容视图和无序内容视图两部分；步骤6，设计视觉多通道梯度特征信息有序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价；步骤7，设计视觉多通道梯度特征信息无序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价；步骤8，根据步骤4的结果，计算所有失真图像质量的每个视觉通道梯度特征相似度评价；步骤9，根据步骤3的结果，计算测试集中所有失真图像质量的梯度特征相似度评价；步骤10，构建BP神经网络模型；步骤11，利用训练集中所有失真图像质量的每个视觉多通道梯度特征相似度评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉多通道梯度特征相似度评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征相似度融合评价结果，并对结果做偏置处理；步骤12，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息有序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息有序内容视图融合评价结果，并对结果做偏置处理；步骤13，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息无序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息无序内容视图融合评价结果，并对结果做偏置处理；步骤14，利用自适应融合算法对步骤9、步骤11、步骤12以及步骤13所得结果进行融合，获得测试集中每帧失真图像质量的深度特征感知推理评价结果。...

【技术特征摘要】
1.一种基于深度特征感知推理的全参考图像质量客观评价方法，包括：步骤1，对参考图像和失真图像进行预处理得到相应的图像灰度矩阵，将失真图像灰度矩阵分为训练集和测试集；步骤2，基于小波变换提取所有图像灰度矩阵的视觉多通道信息视图；步骤3，提取所有图像灰度矩阵的梯度特征视图；步骤4，提取所有图像灰度矩阵的每个视觉通道的梯度特征视图；步骤5，针对步骤4所得结果，设计视觉多通道梯度特征信息内推分解算法，将所有图像灰度矩阵每个视觉通道的梯度特征信息分解为有序内容视图和无序内容视图两部分；步骤6，设计视觉多通道梯度特征信息有序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价；步骤7，设计视觉多通道梯度特征信息无序内容视图评价算法，计算所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价；步骤8，根据步骤4的结果，计算所有失真图像质量的每个视觉通道梯度特征相似度评价；步骤9，根据步骤3的结果，计算测试集中所有失真图像质量的梯度特征相似度评价；步骤10，构建BP神经网络模型；步骤11，利用训练集中所有失真图像质量的每个视觉多通道梯度特征相似度评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉多通道梯度特征相似度评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征相似度融合评价结果，并对结果做偏置处理；步骤12，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息有序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息有序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息有序内容视图融合评价结果，并对结果做偏置处理；步骤13，利用训练集中所有失真图像质量的每个视觉通道梯度特征信息无序内容视图评价对BP神经网络模型进行学习训练后，将测试集中每帧失真图像质量的每个视觉通道梯度特征信息无序内容视图评价输入到训练好的BP神经网络模型进行预测，输出失真图像质量的视觉多通道梯度特征信息无序内容视图融合评价结果，并对结果做偏置处理；步骤14，利用自适应融合算法对步骤9、步骤11、步骤12以及步骤13所得结果进行融合，获得测试集中每帧失真图像质量的深度特征感知推理评价结果。2.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤1中，所述预处理包括依次进行灰度化处理和高斯低通滤波，训练集与测试集中失真图像数量的比例为1/3～1。3.如权利要求2所述的一种基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤3中，采用Scharr算子提取所有图像灰度矩阵的梯度特征视图，提取公式如下：其中，gx(i,j)为图像灰度矩阵x(i,j)的梯度特征视图，gx(i)、gx(j)分别为梯度特征视图gx(i,j)水平方向投影和垂直方向投影，gx(i)与gx(j)的计算公式分别如下：式中，*表示卷积运算。4.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤4中，采用Scharr算子提取图像灰度矩阵的视觉通道的梯度特征视图，提取公式如下：其中，gx(s,o)(i,j)为图像灰度矩阵x(i,j)的视觉通道(s,o)的信息视图x(s,o)(i,j)的梯度特征视图，gx(s,o)(i)与gx(s,o)(j)分别为梯度特征视图gx(s,o)(i,j)水平方向投影和垂直方向投影，计算公式分别如下：式中，*表示卷积运算，下标s和o分别代表视觉通道的尺度因子和方向因子。5.如权利要求1所述的基于深度特征感知推理的全参考图像质量客观评价方法，其特征在于，步骤5中，所述视觉多通道梯度特征信息内推分解算法如下：式中，p(·)表示求概率，E{·}表示求互信息，表示视觉通道梯度...

【专利技术属性】
技术研发人员：丰明坤，吴茗蔚，王中鹏，施祥，林志洁，向桂山，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江,33