一种基于深度和局部相似度的图像质量评价方法技术

本发明专利技术涉及一种基于深度和局部相似度的图像质量评价方法，包括下列步骤：将失真图像和原始图像输入到两个独立的VGG

【技术实现步骤摘要】
for image quality assessment,”Neurocomputing,vol.257,pp.104
–
114,2017.

技术实现思路

[0013]本专利技术的目的是提供一种可以对彩色图像的质量，基于深度和局部相似度的均值及其标准差的图像质量评价(Mean and Deviation of Deep and Local Similarity for Image Quality Assessment,MaD
‑
DLS)方法。本专利技术的实质性特点使是：(1)使用由卷积滤波器产生的深度特征图,有助于根据视觉显著性来池化原始图像特征图和失真图像特征图之间的深度和局部相似性。(2)与之前的方法相比，MaD
‑
DLS既考虑了HVS的注意力对图像质量评价的影响，又考虑了图像中失真分布对图像质量评价的影响。技术方案如下：
[0014]一种基于深度和局部相似度的图像质量评价方法，包括下列步骤：
[0015]第一步：将失真图像和原始图像输入到两个独立的VGG
‑
F网络中，得到失真图像和原始图像的深度特征图；其中，所采用的VGG
‑
F网络为在ImageNet数据集上进行预训练之后的VGG
‑
F网络，深度特征图是VGG
‑
F网络每层卷积层的输出。
[0016]第二步：将第一步得到的失真图像和原始图像的深度特征图用Prewitt算子进行卷积运算，得到边缘图；
[0017]第三步：将第二步得到的失真图像的各卷积层输出的边缘图和原始图像的相对应的卷积层输出的边缘图进行局部比较，得到二者的相似度，计算各自的深度和局部相似度DLS图；
[0018]第四步：通过均值及其标准差MaD池化，将深度和局部相似度DLS图的深度分数和局部相似度分数池化为深度特征级分数，用Q
DF
表示。
[0019]第五步：将VGG
‑
F网络中某一卷积层中多个深度特征级分数Q
DF
合并为一个层级别分数，用Q
layer
表示，并将这些层级别分数合并得到整体质量分数，用Q表示。
[0020]进一步地，第四步通过均值及其标准差MaD池化，将深度和局部相似度DLS图的深度分数和局部相似度分数池化为深度特征级分数，方法如下：
[0021]第一步：计算DLS图的加权平均值，用Q
M
表示：
[0022][0023]其中DLS(x,y)为深度和局部相似度图，VS(x,y)为根据原始图像得到的视觉显著图；
[0024]第二步：计算DLS图的标准差，用Q
D
表示，
[0025]第三步：通过自适应几何均值将Q
M
和Q
D
合并为深度特征级分数Q
DF
：
[0026]Q
DF
＝(Q
M
)
ω
·
(Q
D
)1‑
ω
[0027]其中ω＝(Q
D
)
β
，取β＝2。
[0028]进一步地，第五步通过将深度特征分数合并为层级别分数，层级别分数再合并得到整体的分数，其方法如下：
[0029]第一步：由VGG
‑
F网络中某一卷积层获得的深度和局部相似度图计算出相应的深度特征级别分数，再将其合并为一个层级别分数，用表示：
[0030][0031]其中为第i层的质量分数，F
(i)
为第i层中的深度和局部相似度DLS图的数量；
[0032]第二步：将层级别分数的平均值作为失真图像的整体质量得分，用Q表示：
[0033][0034]其中L为卷积层的个数。
[0035]本专利技术所提出的新型的彩色图像质量评价方法是基于深度和局部相似度的均值及其标准差。与DeepSim有所不同，本方法使用的是由卷积滤波器产生的深度特征图，这包含了输入到CNN的图像位置信息。本专利技术所提出的基于深度和局部相似度的均值及其标准差(MaD
‑
DLS)的图像质量评价方法使用由卷积滤波器产生的深度特征图,与DeepSim有所不同，其中包含输入到CNN的图像位置信息。因此，与DeepSim相比，本专利技术提出的方法有助于根据视觉显著性来池化原始图像特征图和失真图像特征图之间的深度和局部相似性。除此之外，与之前的方法相比，MaD
‑
DLS既考虑了HVS的注意力对图像质量评价的影响，又考虑了图像中失真分布对图像质量评价的影响。在四个数据库计算的斯皮尔曼秩相关系数(SROCC)的加权平均值，本专利技术所提出的新型彩色图像质量评价方法具有最佳效果。如图3所示为：我们可以观察到，MaD
‑
DLS的预测分数沿拟合逻辑函数的曲线紧密分布。这意味着MaD
‑
DLS的预测分数与主观分数高度相关。为了全面评估算法的性能，我们针对四个数据库计算了斯皮尔曼秩相关系数(SROCC)的加权平均值。权重由数据库中的样本数确定。如图4所示，MaD
‑
DLS排名第一。
附图说明：
[0036]图1本专利技术所提方法MaD
‑
DLS框图
[0037]图2计算Q
DF
的框图
[0038]图3部分实验结果图(TID2013数据库上图像质量评价算法的主观得分与客观得分的散点图)
[0039](a)通过SSIM的客观得分
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(b)通过SR
‑
SIM的客观得分
[0040](c)通过基于视觉显着性的指数的客观得分
ꢀꢀ
(d)通过MaD
‑
DLS的客观得分
[0041]图4各种算法的SROCC加权平均值
具体实施方式
[0042]本专利技术是一种可以对彩色图像的质量，基于深度和局部相似度的均值及其标准差的图像质量评价(Mean and Deviation of Deep and Local Similarity for Image Quality Assessment,MaD
‑
DLS)方法。本专利技术提出的新型彩色的图像质量评价框架，包括通过卷积得到失真图像和原始图像相应的深度特征图、将特征图通过Prewitt算子进行卷积运算得到边缘图、将失真图像的边缘图和原始图像的边缘图进行局部比较计算DLS图、通过均值及其标准差池化将DLS图的深度分数和局部相似度分数池化为深度特征级分数、将某
一卷积层中多个深度特征级分数合并为一个层级别分数再将各卷积层得出的层级别分数合并得到整体质量分数等步骤。
[0043]本专利技术的基于深度和局部相似度的新型彩色图像质量评价方法，包括下列步骤：
[0044]第一步：将失真图像和原始图像输入到两个独立的VGG
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度和局部相似度的图像质量评价方法，包括下列步骤：第一步：将失真图像和原始图像输入到两个独立的VGG
‑
F网络中，得到失真图像和原始图像的深度特征图；其中，所采用的VGG
‑
F网络为在ImageNet数据集上进行预训练之后的VGG
‑
F网络，深度特征图是VGG
‑
F网络每层卷积层的输出。第二步：将第一步得到的失真图像和原始图像的深度特征图用Prewitt算子进行卷积运算，得到边缘图；第三步：将第二步得到的失真图像的各卷积层输出的边缘图和原始图像的相对应的卷积层输出的边缘图进行局部比较，得到二者的相似度，计算各自的深度和局部相似度DLS图；第四步：通过均值及其标准差MaD池化，将深度和局部相似度DLS图的深度分数和局部相似度分数池化为深度特征级分数，用Q
DF
表示。第五步：将VGG
‑
F网络中某一卷积层中多个深度特征级分数Q
DF
合并为一个层级别分数，用Q
layer
表示，并将这些层级别分数合并得到整体质量分数，用Q表示。2.根据权利要求1所述的质量评价的方法，其特征在于：第四步通过均值及其标准差MaD池化，将深度和局部相似度DLS图的深度分数和局部相似度...

【专利技术属性】
技术研发人员：杨嘉琛，兰贵鹏，
申请(专利权)人：天津大学，
类型：发明
国别省市：