基于边缘检测和深度残差网络的图像质量评估方法技术

本发明专利技术公开了一种基于边缘检测和深度残差网络的图像质量评估方法，具体按照以下步骤实施：步骤1、输入原始的失真图像，采用Canny边缘检测算法进行边缘检测，并分割为大小一致的图像块，对这些图像块进行筛选；步骤2、对筛选后的图像块进行归一化处理，输入到残差网络，输出原始失真图像的图像块分数和权重；步骤3、对输出原始失真图像的图像块分数进行加权处理，得到图像分数的预测值。本发明专利技术解决了现有技术中存在的传统深度学习中训练数据量不足的问题，同时利用深度残差网络对于图像浅层和深层的特征有一个较好的提取。深层的特征有一个较好的提取。深层的特征有一个较好的提取。

【技术实现步骤摘要】
基于边缘检测和深度残差网络的图像质量评估方法


[0001]本专利技术属于图像质量评估
，具体涉及一种基于边缘检测和深度残差网络的图像质量评估方法。

技术介绍

[0002]图像是人类感知和机器模式识别的重要信息源，其质量对所获取信息的充分性和准确性起着决定性的作用。然而，图像在获取、压缩、处理、传输、显示等过程中难免会出现一定程度的失真。如何衡量图像的质量、评定图像是否满足某种特定应用要求，就需要建立图像质量评价机制。因此，图像质量评价问题的研究也在近些年来受到广泛的重视。

技术实现思路

[0003]本专利技术的目的是提供一种基于边缘检测和深度残差网络的图像质量评估方法，解决了现有技术中存在的传统深度学习中训练数据量不足的问题，同时利用深度残差网络对于图像浅层和深层的特征有一个较好的提取。
[0004]本专利技术所采用的技术方案是，基于边缘检测和深度残差网络的图像质量评估方法，具体按照以下步骤实施：
[0005]步骤1、输入原始的失真图像，采用Canny边缘检测算法进行边缘检测，并分割为大小一致的图像块，对这些图像块进行筛选；
[0006]步骤2、对筛选后的图像块进行归一化处理，输入到残差网络，输出原始失真图像的图像块分数和权重；
[0007]步骤3、对输出原始失真图像的图像块分数进行加权处理，得到图像分数的预测值。
[0008]本专利技术的特点还在于，
[0009]步骤1具体如下：
[0010]步骤1.1、首先对输入原始的失真图像进行裁剪，得到大小一致的像素为32
×
32的图像块，并对这些图像块进行标号，输出带序号的图像块；
[0011]步骤1.2、采用边缘检测算法中的Canny边缘检测算法，对输入的原始失真图像进行降噪处理，然后计算梯度值和梯度方向，保留边缘像素点，再使用不同的上下阈值检测边缘，得到输出为包含边缘点的二值边缘图像；
[0012]步骤1.3、经过步骤1.2后得到包含边缘点的二值边缘图像，将此二值边缘图像剪裁为不重叠的32
×
32的图像块；
[0013]步骤1.4、通过步骤1.3得到不重叠的图像块，具体方法如下：
[0014]首先计算每个图像块的初始权重，如公式(1)：
[0015]ω＝s
k
/s
ꢀꢀꢀ
(1)
[0016]其中，s
k
表示步骤1.3得到的图像块中的第k个图像块中包含的边缘点，s表示二值边缘图像的边缘点总和；
[0017]然后，对得到的图像块的初始权重进行排序，得到M个排序后的图像块，然后选择前N个权重值对应的图像块作为下一个阶段的输入。
[0018]步骤2具体如下：
[0019]步骤2.1、将步骤1.4得到的图像块序号与步骤1.1得到的原始失真图像的图像块序号进行对比，选取序号一致的原始失真图像的图像块，然后，对这些图像块进行对比度归一化处理，计算公式如(2)～(4)所示：
[0020][0021][0022][0023]其中(i,j)表示像素在序号一致的原始失真图像的图像块中位置，I(i,j)表示第i行、第j列处像素的强度值，μ(i,j)表示位置为(i,j)的像素点在归一化的邻域计算范围内的均值，σ(i,j)表示位置为(i,j)的像素点在归一化的邻域计算范围内的方差，P和Q表示需要归一化的像素的邻域计算范围，表示经过处理后的对比归一化像素值，最终得到的归一化像素值组成新的更加清晰的图像块；
[0024]采用50层深度残差ResNet50的网络结构进行特征的提取和预测图像块分数，所述50层深度残差ResNet50的网络结构包括四个卷积层、一个池化层、一个全连接层组成，假设残差块的输入为x，卷积层进行卷积操作，relu是激活函数，x输入经过两层卷积层后的输出结果是F(x)，在残差网络引入跳跃连接后，输出为F(x)+x；
[0025]步骤2.2、将步骤2.1得到的新的图像块作为深度残差网络的输入，经过卷积层对所输入的图像块进行特征提取，通过池化层进行特征降维，减小计算量与参数个数，最后通过全连接层将特征进行整合，输出原始失真的图像块的质量分数和原始权重，再对原始权重进行处理，计算公式为(5)所示：
[0026][0027]其中，ε为常数，保证权重大于0，α
q
为原始失真的图像块的原始权重，表示在剔除负权重后，最终得到的原始失真图像的图像块权重。
[0028]步骤2.1中P＝Q＝3。
[0029]步骤3具体如下：
[0030]步骤3.1、通过步骤2.2得到原始失真图像的图像块的质量分数和权重，进行加权处理，如公式(6)所示：
[0031][0032]其中，y
d
表示第d个原始失真图像的图像块预测分数值，N表示经过步骤2.1后得到的图像块个数，表示经过处理后最终得到的原始失真图像的图像块权重，表示加权后的原始失真图像的预测分数值；
[0033]步骤3.2、通过得到原始失真图像的质量预测分数大小，对输入的原始图像质量进行评价，如果分数越大表示图像质量越好，图像更清晰，分数越低表示图像失真越严重，图像更加模糊。
[0034]本专利技术的有益效果是，本专利所提出的基于边缘检测的方法，与人眼的显著性结合特性结合，提高预测原始失真图像的分数的准确性。同时利用深度残差网络可以较好的解决图像质量评估问题中泛化误差大的问题，提高预测精度。
附图说明
[0035]图1是本专利技术总体流程图；
[0036]图2是本专利技术中残差模块的原理图。
具体实施方式
[0037]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0038]本专利技术基于边缘检测和深度残差网络的图像质量评估方法，流程图如图1所示，具体按照以下步骤实施：
[0039]步骤1、输入原始的失真图像，采用Canny边缘检测算法进行边缘检测，并分割为大小一致的图像块，对这些图像块进行筛选；
[0040]步骤1具体如下：
[0041]步骤1.1、首先对输入原始的失真图像进行裁剪，得到大小一致的像素为32
×
32的图像块，并对这些图像块进行标号，输出带序号的图像块；
[0042]步骤1.2、边缘检测是图像处理中一种重要的图像特征，边缘检测的目的就是找到图像中亮度变化剧烈的像素点构成的集合，表现出来往往是轮廓。在现实世界中，往往由于深度的不连续，表面方向的不连续，物体材料的不连续和场景中光照的不连续，会表现在图像中形成一个边缘。这里我们采用边缘检测算法中较为出色的Canny边缘检测算法，对输入的原始失真图像进行降噪处理，然后计算梯度值和梯度方向，保留边缘像素点，再使用不同的上下阈值检测边缘，得到输出为包含边缘点的二值边缘图像；
[0043]步骤1.3、经过步骤1.2后得到包含边缘点的二值边缘图像，将此二值边缘图像剪裁为不重叠的32
×
32的图像块；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于边缘检测和深度残差网络的图像质量评估方法，其特征在于，具体按照以下步骤实施：步骤1、输入原始的失真图像，采用Canny边缘检测算法进行边缘检测，并分割为大小一致的图像块，对这些图像块进行筛选；步骤2、对筛选后的图像块进行归一化处理，输入到残差网络，输出原始失真图像的图像块分数和权重；步骤3、对输出原始失真图像的图像块分数进行加权处理，得到图像分数的预测值。2.根据权利要求1所述的基于边缘检测和深度残差网络的图像质量评估方法，其特征在于，所述步骤1具体如下：步骤1.1、首先对输入原始的失真图像进行裁剪，得到大小一致的像素为32
×
32的图像块，并对这些图像块进行标号，输出带序号的图像块；步骤1.2、采用边缘检测算法中的Canny边缘检测算法，对输入的原始失真图像进行降噪处理，然后计算梯度值和梯度方向，保留边缘像素点，再使用不同的上下阈值检测边缘，得到输出为包含边缘点的二值边缘图像；步骤1.3、经过步骤1.2后得到包含边缘点的二值边缘图像，将此二值边缘图像剪裁为不重叠的32
×
32的图像块；步骤1.4、通过步骤1.3得到不重叠的图像块，具体方法如下：首先计算每个图像块的初始权重，如公式(1)：ω＝s
k
/s
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，s
k
表示步骤1.3得到的图像块中的第k个图像块中包含的边缘点，s表示二值边缘图像的边缘点总和；然后，对得到的图像块的初始权重进行排序，得到M个排序后的图像块，然后选择前N个权重值对应的图像块作为下一个阶段的输入。3.根据权利要求2所述的基于边缘检测和深度残差网络的图像质量评估方法，其特征在于，所述步骤2具体如下：步骤2.1、将步骤1.4得到的图像块序号与步骤1.1得到的原始失真图像的图像块序号进行对比，选取序号一致的原始失真图像的图像块，然后，对这些图像块进行对比度归一化处理，计算公式如(2)～(4)所示：处理，计算公式如(2)～(4)所示：处理，计算公式如(2)～(4)所示：其中(i,j)表示像素在序...

【专利技术属性】
技术研发人员：谢国，车康，穆凌霞，李艳恺，梁莉莉，辛菁，钱富才，雷沁瑜，张杰，韩宁，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：