一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法技术

本发明专利技术公开了一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法，包括对基于视觉多通道的显著梯度特征进行更深一层的信息处理，通过设计视觉多通道梯度‑直方图和视觉多通道梯度‑奇异值互补评价算法来挖掘多重视觉梯度信息进行失真图像质量的深度评价，并对各重评价结果进行了深度融合处理。首先，通过构建BP神经网络视觉多通道图像质量融合评价模型对各重视觉信息的多通道评价结果分别进行了初次融合，然后，设计回归算法对各重视觉特征的初次融合评价从内层到外层逐层地进行了深度融合，最终获得失真图像质量的多重视觉特征深度融合处理评价结果。该方法解决了现有评价方法评价不稳定问题和缺乏主观性问题。

An objective evaluation method of full reference image quality based on visual multi feature depth fusion processing

The present invention discloses an objective method for evaluating the quality of full reference image based on depth fusion of visual multi-features, which includes a deeper level of information processing based on visual multi-channel salient gradient features, a visual multi-channel gradient histogram and a visual multi-channel gradient singular value complementary evaluation algorithm. To mine multi-sensory gradient information for depth evaluation of distorted image quality, and the depth fusion processing of the re-evaluation results. Firstly, a BP neural network visual multi-channel image quality fusion evaluation model is constructed to fuse the multi-channel evaluation results of each attention information for the first time. Then, a regression algorithm is designed to fuse the initial fusion evaluation of each attention feature layer by layer from the inner layer to the outer layer, and finally the distorted image is obtained. The multiple visual features of quality are fused to deal with the evaluation results. This method solves the problem of unstable evaluation and lack of subjectivity in the existing evaluation methods.

【技术实现步骤摘要】
一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法
本专利技术涉及图像处理
，具体涉及一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法。
技术介绍
图像作为一种广泛应用的信号，其在信息获取、传递和处理等各个领域均具有举足轻重的地位。当前，随着云计算能力的提升和人工智能研究的兴起，基于图像终端处理平台的各种应用业务获得了前所未有的发展，然而，图像信号易受污染，因此，图像质量评价的研究意义重大。图像质量评价研究领域中，客观方法以自动连续的高效工作方式而成为了该领域的研究热点，其中，全参考图像质量评价的研究意义尤其重要。传统经典评价算法如均方根误差RMSE、信噪比SNR以及峰值信噪比PSNR等评价结果和人眼主观测试差距较大。仿生学评价算法如Dalay算法，Safranek-Johnson算法，离散余弦变换算法以及Watson小波变换算法等建模复杂，速度慢，且有许多系统性缺陷制约导致建模效率较低。近些年出现的一些工程学评价方法及其改进算法，例如结构相似度SSIM方法，信息保真度IFC方法，奇异值分解SVD方法等，但这些方法的评价标准不相同，使得其评价结果数据没有可比性，例如，SSIM取值范围在{0，1}之间且取值越大说明图像质量越高，而IFC和SVD的取值范围则不受限，SVD越大说明图像质量越低，而IFC越大则说明图像质量越高；另外，实验证明，反映这些方法性能的一些重要评价指标水平尚有待提高，例如斯皮尔曼等级排序相关系数SROCC、均方根误差RMSE和皮尔逊相关系数PLCC等。最近几年，将视觉系统特性融入图像质量评价成为了研究热点，例如，显著失真MAD，特征相似度FSIM，视觉显著VSI等，但这些方法存在两个问题，一个问题是图像特征处理算法缺乏视觉特性的理论依据，这使得其评价性能不稳定；另外一个更突出的问题是人眼的主观视觉多通道特性，对于不同的客观评价算法，具有不同的主、客观映射关系，例如，对于各视觉通道的频率敏感特性，上述方法均采用了统一的对比度敏感函数，降低了各种客观评价方法的性能。内在推导机制(InternalGenerativeMechanism，IGM)则基于大脑的自由能量场理论，通过信息感知最大化算法评价图像质量，但其信息处理算法过于单一，难以揭示视觉大脑的工作机制，并且也缺乏有力的实验结果证实。
技术实现思路
本专利技术的目的是提供一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法，以解决现有评价方法评价不稳定问题和缺乏主观性问题。为实现上述专利技术目的，本专利技术提供以下技术方案：一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法，包括：步骤1，选取一个图像质量数据库，对其中包含的参考图像和失真图像进行预处理得到相应的图像灰度矩阵；步骤2，将失真图像分为训练集和测试集，并计算测试集中所有失真图像灰度矩阵的梯度特征评价结果；步骤3，提取所有参考图像灰度矩阵和失真图像灰度矩阵的视觉多通道梯度特征信息视图，并计算所有失真图像灰度矩阵的视觉通道梯度特征评价；步骤4，设计视觉多通道梯度特征-直方图误差深度信息处理评价算法，并计算所有失真图像质量的视觉多通道梯度-直方图深度信息评价；步骤5，设计视觉多通道梯度特征-奇异值分解误差深度信息处理评价算法，并计算所有失真图像质量的视觉多通道梯度-奇异值深度信息评价；步骤6，构建BP神经网络视觉多通道图像质量融合评价模型；步骤7，利用训练集中所有失真图像灰度矩阵的视觉通道梯度特征评价对构建的BP神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像灰度矩阵的视觉通道梯度特征评价输入到训练好的BP神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度特征融合评价结果，并对该结果进行偏置处理；步骤8，利用训练集中所有失真图像质量的视觉多通道梯度-直方图深度信息评价对构建的BP神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像质量的视觉多通道梯度-直方图深度信息评价输入到训练好的BP神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度-直方图深度信息融合评价结果，并对该结果进行偏置处理；步骤9，利用训练集中所有失真图像质量的视觉多通道梯度-奇异值深度信息评价对构建的BP神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像质量的视觉多通道梯度-奇异值深度信息评价输入到训练好的BP神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度-奇异值深度信息融合评价结果，并对该结果进行偏置处理；步骤10，对步骤2、步骤7、步骤8以及步骤9所得结果进行融合，获得失真图像质量的视觉多重特征深度融合处理评价结果。本专利技术发核心是对基于视觉多通道的显著梯度特征进行更深一层的信息处理，通过设计视觉多通道梯度-直方图和视觉多通道梯度-奇异值互补评价算法来挖掘多重视觉梯度信息进行失真图像质量的深度评价，并对各重评价结果进行了深度融合处理。首先，通过构建BP神经网络视觉多通道图像质量融合评价模型对各重视觉信息的多通道评价结果分别进行了初次融合，然后，设计回归算法对各重视觉特征的初次融合评价从内层到外层逐层地进行了深度融合，最终获得失真图像质量的多重视觉特征深度融合处理评价结果。与现有方法相比，本专利技术取得了明显的优势体现在：1)对于图像不同失真类型的评价，本专利技术方法的RMSE、PLCC和SROCC三项评价指标均具有非常高的水平，超越了现在有方法；2)本专利技术方法的评价性能相对稳定，没有出现由于图像失真类型不同而造成指标水平明显下降的现象，从而克服了IGM和MAD等人类视觉系统方法的不稳定性；3)对于不同失真类型和不同失真程度图像的整体评价，本专利技术方法的RMSE、PLCC和SROCC三项指标水平明显超越了现有方法。附图说明图1是本专利技术提供的基于视觉多重特征深度融合处理的全参考图像质量客观评价方法的流程图；图2是本实施例对原始图像预处理后的图像；图3为本实施例对图2提取的梯度特征视图；图4是本实施例对图2进行基于Log-Gabor小波的视觉多通道信息视图；图5为本实施例对图4提取的视觉多通道梯度特征信息视图；图6为本实施例BP神经网络训练模型。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。本实施中以德克萨斯大学奥斯汀分校图像视频工程所提供的LIVERelease2图像标准数据库为例进行说明。德克萨斯大学奥斯汀分校图像视频工程所提供的LIVERelease2图像标准数据库，存储有一些配对的标准案例(即参考图像和失真图像对)，每个案例中的失真图像均有对应的MOS值(主观评价分值)已知，该MOS值即为人眼的主观测试结果。进行全参考图像质量客观评价时首先从LIVERelease2图像标准数据库选择参考图像和相应的失真图像，然后进行对选择的失真图像进行全参考图像质量客观评价，流程如图1所示，该方法包括：步骤1，按照如下公式对参考图像和失真图像进行灰度变换，将其分别变换为灰度图像Gray：Gray＝0.29本文档来自技高网...

【技术保护点】
1.一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法，其特征在于，包括：步骤1，选取一个图像质量数据库，对其中包含的参考图像和失真图像进行预处理得到相应的图像灰度矩阵；步骤2，将失真图像分为训练集和测试集，并计算测试集中所有失真图像灰度矩阵的梯度特征评价结果；步骤3，提取所有参考图像灰度矩阵和失真图像灰度矩阵的视觉多通道梯度特征信息视图，并计算所有失真图像灰度矩阵的视觉通道梯度特征评价；步骤4，设计视觉多通道梯度特征‑直方图误差深度信息处理评价算法，并计算所有失真图像质量的视觉多通道梯度‑直方图深度信息评价；步骤5，设计视觉多通道梯度特征‑奇异值分解误差深度信息处理评价算法，并计算所有失真图像质量的视觉多通道梯度‑奇异值深度信息评价；步骤6，构建BP神经网络视觉多通道图像质量融合评价模型；步骤7，利用训练集中所有失真图像灰度矩阵的视觉通道梯度特征评价对构建的BP神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像灰度矩阵的视觉通道梯度特征评价输入到训练好的BP神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度特征融合评价结果，并对该结果进行偏置处理；步骤8，利用训练集中所有失真图像质量的视觉多通道梯度‑直方图深度信息评价对构建的BP神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像质量的视觉多通道梯度‑直方图深度信息评价输入到训练好的BP神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度‑直方图深度信息融合评价结果，并对该结果进行偏置处理；步骤9，利用训练集中所有失真图像质量的视觉多通道梯度‑奇异值深度信息评价对构建的BP神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像质量的视觉多通道梯度‑奇异值深度信息评价输入到训练好的BP神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度‑奇异值深度信息融合评价结果，并对该结果进行偏置处理；步骤10，对步骤2、步骤7、步骤8以及步骤9所得结果进行融合，获得失真图像质量的视觉多重特征深度融合处理评价结果。...

【技术特征摘要】
1.一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法，其特征在于，包括：步骤1，选取一个图像质量数据库，对其中包含的参考图像和失真图像进行预处理得到相应的图像灰度矩阵；步骤2，将失真图像分为训练集和测试集，并计算测试集中所有失真图像灰度矩阵的梯度特征评价结果；步骤3，提取所有参考图像灰度矩阵和失真图像灰度矩阵的视觉多通道梯度特征信息视图，并计算所有失真图像灰度矩阵的视觉通道梯度特征评价；步骤4，设计视觉多通道梯度特征-直方图误差深度信息处理评价算法，并计算所有失真图像质量的视觉多通道梯度-直方图深度信息评价；步骤5，设计视觉多通道梯度特征-奇异值分解误差深度信息处理评价算法，并计算所有失真图像质量的视觉多通道梯度-奇异值深度信息评价；步骤6，构建BP神经网络视觉多通道图像质量融合评价模型；步骤7，利用训练集中所有失真图像灰度矩阵的视觉通道梯度特征评价对构建的BP神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像灰度矩阵的视觉通道梯度特征评价输入到训练好的BP神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度特征融合评价结果，并对该结果进行偏置处理；步骤8，利用训练集中所有失真图像质量的视觉多通道梯度-直方图深度信息评价对构建的BP神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像质量的视觉多通道梯度-直方图深度信息评价输入到训练好的BP神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度-直方图深度信息融合评价结果，并对该结果进行偏置处理；步骤9，利用训练集中所有失真图像质量的视觉多通道梯度-奇异值深度信息评价对构建的BP神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像质量的视觉多通道梯度-奇异值深度信息评价输入到训练好的BP神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度-奇异值深度信息融合评价结果，并对该结果进行偏置处理；步骤10，对步骤2、步骤7、步骤8以及步骤9所得结果进行融合，获得失真图像质量的视觉多重特征深度融合处理评价结果。2.如权利要求1所述的基于视觉多重特征深度融合处理的全参考图像质量客观评价方法，其特征在于，步骤1中，所述预处理包括依次进行灰度化处理和高斯低通滤波处理。3.如权利要求1所述的基于视觉多重特征深度融合处理的全参考图像质量客观评价方法，其特征在于，步骤2中，训练集与测试集中失真图像数量的比例为1/3～1。4.如权利要求1所述的基于视觉多重特征深度融合处理的全参考图像质量客观评价方法，其特征在于，步骤2中，采用以下公式计算失真图像灰度矩阵的梯度特征评价GSM(s,o)：GSM(s,o)＝mean[GSM(i,j)]式中，mean[·]代表求平均值，GSM(i,j)代表梯度特征评价视图，GSM(i,j)的计算公式如下：GSM(i,j)＝L(i,j)α1·G(i,j)α2式中，L(i,j)和G(i,j)分别代表灰度评价视图和梯度评价视图，α1，α2代表L(i,j)和G(i,j)的权重系数，L(i,j)和G(i,j)的定义分别如下：式中，x(i,j)和y(i,j)分别代表参考图像灰度矩阵和失真图像灰度矩阵，gx(i,j)和gy(i,j)分别代表x(i,j)和y(i,j)的梯度特征视图，C1和C2为保证算法稳定性的常数因子；gx(i,j)和gy(i,j)的算法如下：式中，gx(i)与gx(j)分别表示gx(i,j)水平方向投影和垂直方向投影，gy(i)与gy(j)分别表示gy(i,j)水平方向投影和垂直方向投影，gx(i)、gx(j)、gy(i)、gy(j)的计算公式分别如下：式中，*表示卷积运算。5.如权利要求1所述的基于视觉多重特征深度融合处理的全参考图像质量客观评价方法，其特征在于，步骤3中，所述失真图像灰度矩阵的视觉多通道信息视图的梯度特征评价VG(s,o)采用以下公式获得：式中，mean[·]代表求平均值，VG(s,o)(i,j)代表视觉通道(s,o)的梯度特征评价视图，VG(s,o)(i,j)的计算公式如下：式中，RG(s,o)(i,j)、DG(s,o)(i,j)分别为x(i,j)、y(i,j)的视觉通道(s,o)的梯度特征视图，C3为保证算法稳定性的常数因子，对算法的评价结果性能无影响；RG(s,o)(i,j)、...

【专利技术属性】
技术研发人员：丰明坤，王中鹏，葛丁飞，吴茗蔚，林志洁，施祥，孙丽慧，向桂山，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江,33