一种与视觉感知相关的图像质量评价方法技术

本发明专利技术公开了一种与视觉感知相关的图像质量评价方法；具体步骤为：建立IQA模型，首先对IQA数据库中所有参考图像和失真图像进行颜色空间转变，然后提取图像多种特征，经相似性计算和池化策略后，为每幅失真图像生成14‑D特征向量，再结合主观得分MOS值，利用RF回归工具训练质量评价模型；回归预测，将待评价的失真图像及其对应参考图像分别经过特征提取，再计算特征相似性，经池化策略后，将生成的14‑D特征向量输入到训练好的RF回归模型中，模型的输出值即为对该失真图像质量的精确预测；本发明专利技术实现与人眼主观感知判断的高度相关性，并在模型运算复杂度和预测精度上实现了很好的平衡的效果。

An Image Quality Assessment Method Related to Visual Perception

【技术实现步骤摘要】
一种与视觉感知相关的图像质量评价方法
本专利技术属于计算机图像质量分析方法
，具体涉及一种与视觉感知相关的图像质量评价方法。
技术介绍
随着移动网络的快速发展，图像作为信息传送的载体，使图像的应用场合越来越多，人们对图像的高质量要求也越来越高，由于数字图像在获取、存储、传输和处理等各个环节都会引入不同失真，从而造成图像质量退化问题，并且越来越多的领域对图像质量评价(ImageQualityAssessment)的应用变得更加广泛，对其评价精度的要求也逐步提高。如专利号为201810319898.7，公开号为CN108550146A，公开日为2018年9月18日，专利技术名称为：一种基于ROI的图像质量评价方法，与人眼主观感知并没有达到很好的一致性。传统的基于计算引导的FR-IQA方法，即通过提取符合HVS的特征，使用各种数学公式进行加权计算来衡量参考图像与其失真版本之间的差异性或相似性，从而评估失真图像质量；但是，传统的统计学方法大多对数据有一定的要求或假定，并且用有限的数学公式来描述复杂的现实情形是非常困难的。近年来，随着各领域对机器学习的研究进一步深入，基于机器学习的IQA研究也变得越来越广泛，这一类方法对数据没有任何的假定，产生的结果用交叉验证的方法进行判断也很容易被人理解；另外，研究表明，基于机器学习的IQA方法在图像质量预测精度以及鲁棒性等方面均显示出绝对优势，并且一个性能优越的基于机器学习的IQA算法主要表现在两个方面：一是通过模拟HVS对视觉场景的视觉感知来提取图像特征，包括空域特征和变换域特征；二是通过模拟大脑机制建立质量回归模型。目前，随着IQA在各个行业中的应用不断拓展，对其预测精度的要求也越来越高，在保证计算复杂度的前提下，IQA模型与HVS视觉感知的相关性越高，其预测的准确性就越高；因此，开发基于视觉感知高度相关的IQA模型不仅是当务之急，同时有着非常广阔的应用前景。
技术实现思路
本专利技术的目的在于提供一种与视觉感知相关的图像质量评价方法，解决了现有的图像质量评价方法，与人眼主观感知并没有达到很好的一致性的问题。本专利技术所采用的技术方案是，一种与视觉感知相关的图像质量评价方法，具体按照以下步骤实施；步骤1、将IQA数据库中所有参考图像和失真图像由RGB颜色空间转换到YIQ颜色空间中，将图像亮度通道Y与I和Q两个色度通道进行分离，得到亮度通道Y的亮度特征，以及I和Q色度通道的两个色度特征；步骤2、分别在亮度通道Y中提取参考图像和失真图像的梯度特征，并计算两个梯度特征的相似性，得到梯度相似性特征；分别在亮度通道Y中提取参考图像和失真图像的对比敏感度特征，并计算两个对比敏感度特征的相似性，得到对比敏感度相似性特征；计算参考图像和失真图像在I和Q两个色度通道的色度相似性特征；步骤3、采用高斯差分DOG模型在亮度通道Y中分别对参考图像和失真图像进行5个等级的频带分解，得到5个频带相似性特征；步骤4、通过池化策略，提取梯度相似性特征的平均值、标准偏差及熵，提取对比敏感度相似性特征的平均值、标准偏差及熵，以及色度相似性特征的平均值、标准偏差及熵，再与5个频带相似性特征进行多特征融合，从而为每幅失真图像生成一个表征其失真程度的14-D特征向量；步骤5、将IQA数据库中所有失真图像生成的14-D特征向量及其对应的主观平均得分MOS值一同输入到随机森林RF中训练回归模型；步骤6、将待评价的失真图像及其对应的参考图像分别经过步骤1到步骤4，得到代表失真图像质量的14-D特征向量，输入到已经训练好的RF回归模型中，输出结果即为模型预测的待评价图像的质量分数。本专利技术的特点还在于：步骤1中，图像的颜色空间转变过程表示为：(式(1)中矩阵的第1行系数决定亮度Y，对归一化的RGB值均为1时，即R＝G＝B＝1，即有Y＝1，因此矩阵第一行系数之和为1；经式(1)后，即可实现图像亮度通道Y和两个色度通道I和Q的分离，得到亮度通道Y的亮度特征，以及I和Q色度通道的两个色度特征。步骤2中，具体的按照以下步骤实施：步骤2.1，在亮度通道Y中分别提取参考图像和失真图像的梯度特征，并计算梯度相似性，得到梯度相似性特征，具体按如下操作：首先选择大小为N×N的四方向高通滤波模板对参考图像和失真图像的Y通道图像做卷积运算，四方向取值分别为0°、90°、45°、135°，卷积方法如下：式(2)中：MK表示卷积模板，K＝1，2，3，4分别表示四个方向，(i,j)表示卷积模板中的像素点，(X,Y)表示Y通道图像中的像素点，GM表示使用MK的模板对图像做卷积而得到的梯度分量，GM中的M＝x，y，u，v分别表示K＝1，2，3，4四个方向；经卷积操作后，分别计算参考图像和失真图像的梯度幅度值，计算过程如下：式(3)中：G1(X,Y)为融合0°-90°两个方向的梯度分量值，G2(X,Y)为融合45°-135°两个方向的梯度分量值，GMap(X,Y)表示一幅图像提取的包含四个方向的梯度幅度值；然后，计算参考图像和失真图像所提取的包含四个方向的梯度幅度值之间的相似性，得到梯度相似性特征，具体方法如下：式(4)中，GMap1(X,Y)和GMap2(X,Y)分别表示参考图像和失真图像提取的包含四个方向的梯度幅度值，C1为常数；Y＝(Y1+Y2)/2(5)通过公式(5)将参考图像与失真图像的亮度通道Y进行融合，再经过式(2)和(3)，计算融合亮度通道后的图像梯度特征，记为GY，然后，通过公式(6)和(7)分别计算GY与参考图像的梯度特征GMap1以及失真图像的梯度特征GMap2之间的相似性，分别用GRY和GDY表示，式(6)和(7)中，C2为常数；最后，参考图像与失真图像计算的最终的梯度相似性特征为：G＝Gsim+[GDL-GRL](8)；步骤2.2，在亮度通道Y中分别提取参考图像和失真图像的对比敏感度特征，并计算相似性，得到对比敏感度相似性特征，具体实现过程如下：首先将参考图像与失真图像从空域经离散余弦变换转变为DCT系数，然后将csfL1、csfL2，csfM1、csfM2和csfH1、csfH2分别定义为参考图像和失真图像在低频LF、中频MF和高频HF区域的分量，对于一幅参考图像，其对比度能量值计算如式(9)所示：式(9)中，K＝L1,M1,H1分别对应RK为LF、MF和HF这三个区域，p(u,v)表示在(u,v)点处DCT系数的归一化值，同理，对失真图像用同样方法计算这三个指标，计算结果记为:csfL2、csfM2以及csfH2；然后，通过式(10)～(12)分别计算参考图像与失真图像在LF、MF和HF区域的对比度相似性值分别计算如下：式(10)、(11)和(12)中，C3、C4和C5均为常数；最后，参考图像与失真图像的对比敏感度相似性特征计算为：F＝csfLMap(X)*csfMMap(X)*csfHMap(X)(13)；步骤2.3，将参考图像和失真图像的I通道分别用I1、I2表示，参考图像和失真图像的Q通道分别用Q1、Q2表示，然后采用式(14)计算两幅图像之间的色度相似性特征：式(14)中，C6＝C7，均为常数。步骤2.1中，优选C1＝386；优选C2＝55。步骤2.2中，优选C3＝2000、C4＝1.7、C5＝0.0063。步骤2.本文档来自技高网...

【技术保护点】
1.一种与视觉感知相关的图像质量评价方法，其特征在于，具体按照以下步骤实施：步骤1、将IQA数据库中所有参考图像和失真图像由RGB颜色空间转换到YIQ颜色空间中，将图像亮度通道Y与两个色度通道I和Q进行分离，得到亮度通道Y的亮度特征，以及I和Q色度通道的两个色度特征；步骤2、分别在亮度通道Y中提取参考图像和失真图像的梯度特征，并计算两个梯度特征的相似性，得到梯度相似性特征；分别在亮度通道Y中提取参考图像和失真图像的对比敏感度特征，并计算两个对比敏感度特征的相似性，得到对比敏感度相似性特征；计算参考图像和失真图像在I和Q两个色度通道的色度相似性特征；步骤3、采用高斯差分DOG模型在亮度通道Y中分别对参考图像和失真图像进行5个等级的频带分解，得到5个频带相似性特征；步骤4、通过池化策略，提取梯度相似性特征的平均值、标准偏差及熵，提取对比敏感度相似性特征的平均值、标准偏差及熵，以及色度相似性特征的平均值、标准偏差及熵，再与5个频带相似性特征进行多特征融合，从而为每幅失真图像生成一个表征其失真程度的14‑D特征向量；步骤5、将IQA数据库中所有失真图像生成的14‑D特征向量及其对应的主观平均得分MOS值一同输入到随机森林RF中训练回归模型；步骤6、将待评价的失真图像及其对应的参考图像分别经过步骤1到步骤4，得到代表失真图像质量的14‑D特征向量，输入到训练好的RF回归模型中，输出结果即为模型预测的待评价图像的质量分数。...

【技术特征摘要】
1.一种与视觉感知相关的图像质量评价方法，其特征在于，具体按照以下步骤实施：步骤1、将IQA数据库中所有参考图像和失真图像由RGB颜色空间转换到YIQ颜色空间中，将图像亮度通道Y与两个色度通道I和Q进行分离，得到亮度通道Y的亮度特征，以及I和Q色度通道的两个色度特征；步骤2、分别在亮度通道Y中提取参考图像和失真图像的梯度特征，并计算两个梯度特征的相似性，得到梯度相似性特征；分别在亮度通道Y中提取参考图像和失真图像的对比敏感度特征，并计算两个对比敏感度特征的相似性，得到对比敏感度相似性特征；计算参考图像和失真图像在I和Q两个色度通道的色度相似性特征；步骤3、采用高斯差分DOG模型在亮度通道Y中分别对参考图像和失真图像进行5个等级的频带分解，得到5个频带相似性特征；步骤4、通过池化策略，提取梯度相似性特征的平均值、标准偏差及熵，提取对比敏感度相似性特征的平均值、标准偏差及熵，以及色度相似性特征的平均值、标准偏差及熵，再与5个频带相似性特征进行多特征融合，从而为每幅失真图像生成一个表征其失真程度的14-D特征向量；步骤5、将IQA数据库中所有失真图像生成的14-D特征向量及其对应的主观平均得分MOS值一同输入到随机森林RF中训练回归模型；步骤6、将待评价的失真图像及其对应的参考图像分别经过步骤1到步骤4，得到代表失真图像质量的14-D特征向量，输入到训练好的RF回归模型中，输出结果即为模型预测的待评价图像的质量分数。2.如权利要求1所述的一种与视觉感知相关的图像质量评价方法，其特征在于，所述步骤1中，图像的颜色空间转变过程表示为：式(1)中矩阵的第1行系数决定亮度Y，对归一化的RGB值均为1时，即R＝G＝B＝1，即有Y＝1，因此矩阵第一行系数之和为1；经式(1)后，即可实现图像亮度通道Y和两个色度通道I和Q的分离，得到亮度通道Y的亮度特征，以及I和Q色度通道的两个色度特征。3.如权利要求1所述的一种与视觉感知相关的图像质量评价方法，其特征在于，所述步骤2中，具体步骤实施为：步骤2.1，在亮度通道Y中分别提取参考图像和失真图像的梯度特征，并计算两个梯度特征的梯度相似性，得到梯度相似性特征，具体按如下操作：首先选择大小为N×N的四方向高通滤波模板对参考图像和失真图像的Y通道图像做卷积运算，四方向取值分别为0°、90°、45°、135°，卷积方法如下：式(2)中：MK表示卷积模板，K＝1，2，3，4分别表示四个方向，(i,j)表示卷积模板中的像素点，(X,Y)表示Y通道图像中的像素点，GM表示使用MK的模板对图像做卷积而得到的梯度分量，GM中的M＝x，y，u，v′分别表示K＝1，2，3，4四个方向；经卷积操作后，分别计算参考图像和失真图像的梯度幅度值，计算过程如下：式(3)中：G1(X,Y)为融合0°-90°两个方向的梯度分量值，G2(X,Y)为融合45°-135°两个方向的梯度分量值，GMap(X,Y)表示一幅图像提取的包含四个方向的梯度幅度值；然后，计算参考图像和失真图像所提取的包含四个方向的梯度幅度值之间的相似性，得到梯度幅度值相似性特征，具体方法如下：式(4)中，GMap1(X,Y)和GMap2(X,Y)分别表示参考图像和失真图像提取的包含四个方向的梯度幅度值，C1为常数；Y＝(Y1+Y2)/2(5)通过公式(5)将参考图像与失真图像的亮度通道Y进行融合，再经过式(2)和(3)，计算融合亮度通道后的图像梯度特征，记为GY，然后，通过公式(6)和(7)分别计算GY与参考图像的梯度特征GMap1以及失真图像的梯度特征GMap2之间的相似性，分别用GRY和GDY表示，式(6)...

【专利技术属性】
技术研发人员：郑元林，于淼淼，廖开阳，唐梽森，赵金娟，邓轩，刘腾，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西,61