一种语义与结构蒸馏的无参考图像质量评价方法技术

本发明专利技术的目的是提供一种语义与结构蒸馏的无参考图像质量评价方法，该方法包括：构建图像训练集，将图像训练集分为参考图像集和退化图像集；用参考图像集训练用于图像语义信息提取的教师网络1；用参考图像集训练用于图像差异信息提取的教师网络2；利用教师网络1，2和差异信息蒸馏损失训练学生网络；利用教师网络1，2和语义信息蒸馏损失训练学生网络；将待评价的图像输入训练好的学生网络进行图像质量评价

【技术实现步骤摘要】
一种语义与结构蒸馏的无参考图像质量评价方法


[0001]本专利技术涉及图片检测
，具体涉及一种语义与结构蒸馏的无参考图像质量评价方法
。

技术介绍

[0002]近年来，随着数字技术的飞速发展，以及智能手机
、
平板电脑等智能终端的广泛普及，图像信息的获取逐渐变得越来越方便，而人们也对获取的图像信息质量要求越来越高
。
然而，图像信息在到达终端用户前需要经过传输
、
压缩
、
存储等一系列的处理步骤，这些步骤都有可能引入不同的失真，从而降低图像的质量
。
因此，需要一个质量评价工具实时准确地对图像质量进行评估，以保证图像信息的高质量
。
[0003]图像质量评价主要分为主观评价方法和客观评价方法
。
前者是让图像观察员根据一定的标准和方法，依照自己的主观感知来评价图像的质量；而后者则是依据人类视觉系统构建一个数学模型模拟人类观察者进行质量预测
。
由于人类是视觉信息最终的接收者，因此主观评价方法是最为准确可靠的方法
。
但是在实际应用中，这种方法需要消耗大量的人力和资金，并且无法做到实时评价
。
相反客观评价方法能够对大批量的图像数据进行实时评价，因此客观图像质量评价方法有着重要的研究价值
。
[0004]客观评价方法可以分为全参考质量评价方法
(FR
‑
IQA)、
半参考质量评价方法
(RR
‑
IQA)
和无参考质量评价方法
(NR
‑
IQA)。
全参考方法基于失真图像原始高质量图像的完全可访问性，将高质量图作为参考依据来比较失真图像和原始高质量图像间的偏差程度，并根据偏差程度对失真图像进行评分
。
半参考方法则是仅利用参考图像的部分信息作为参考来评价失真图像的质量
。
但是在大多数情况下，参考图像无法获取，因此人们开发了不需要参考图像就能够对失真图像进行评价的方法，即无参考质量评价方法
。
无参考质量评价方法提取失真图像自身能够反映失真情况特征，并根据这些特征计算失真图像的分数
。
由于无参考质量评价方法不需要参考图像就能够对图像进行评分，因此该方法在实际中应用得最为广泛
。
[0005]虽然基于深度学习的
NR
‑
IQA
方法在大多数场景下都得到了广泛的应用，但是由于其缺乏参考信息，导致无参考方法的评价性能要比全参考和半参考的方法差
。
为了解决这个问题，不少人将图像恢复网络引入到
NR
‑
IQA
领域，该算法先利用了诸如
GAN
网络等恢复算法将失真图像恢复为原始参考图像或者是视觉敏感图，然后再利用恢复的图像对失真图像进行评分
。
这种方法为
NR
‑
IQA
引入了伪参考信息，从而极大的提升了
NR
‑
IQA
算法的性能，解决了
NR
‑
IQA
方法的瓶颈
。
但是这种方法存在两个局限性，一个是恢复网络生成的恢复参考图像中通常包含了大量的假信息，比如伪影以及生成一些原始图像不存在的事物，这些假信息都会影响模型对失真图像进行评分的性能
。
另一个局限性是当失真图像遭到严重破坏时，基于恢复网络的
NR
‑
IQA
方法往往失去修复失真图像的能力
。
[0006]综上所述，基于深度学习的
NR
‑
IQA
方法具有重要的研究和实用意义，但是普通的深度学习方法都存在着缺乏参考信息的问题，而采用
GAN
网络等图像恢复网络虽然在一定
程度上解决这个问题，但是会在恢复图像上引入一些影响评价的信息
。
因此，如何设计一个方法为
NR
‑
IQA
方法引入不会影响性能的参考信息是非常重要的
。

技术实现思路

[0007]本专利技术的目的是提供一种语义与结构蒸馏的无参考图像质量评价方法，该方法能够解决缺乏参考信息的缺点，提高了图像质量评价的性能
。
[0008]一种语义与结构蒸馏的无参考图像质量评价方法，包括：
[0009]构建图像训练集，将图像训练集分为参考图像集和退化图像集；
[0010]用参考图像集训练用于图像语义信息提取的教师网络1；
[0011]用参考图像集训练用于图像差异信息提取的教师网络2；
[0012]利用教师网络1，2和差异信息蒸馏损失训练学生网络；
[0013]利用教师网络1，2和语义信息蒸馏损失训练学生网络；
[0014]将待评价的图像输入训练好的学生网络进行图像质量评价
。
[0015]用参考图像集训练用于图像语义信息提取的教师网络1包括：
[0016]教师网络1使用
ResNet
‑
50
第一个卷积层和前两个残差块作为特征提取模块，用于提取输入图像的特征；
[0017]将参考图
I
ref
输入教师网络1；
[0018]教师网络输出表示第
i
个残差块从参考图中提取的参考图像语义特征
。
[0019]用参考图像集训练用于图像差异信息提取的教师网络2包括：
[0020]将像素差异图
I
diff
输入教师网络2；
[0021]像素差异图通过参考图像与退化图像相减获得，计算公式如下：
[0022]I
diff
＝
|I
ref
‑
I
dis
|
[0023]其中
I
ref
为参考图像，
I
dis
为退化图像，
I
diff
为差异图；
[0024]教师网络2输出表示第
i
个残差块从差异图中提取的特征；
[0025]语义级差异信息特征则通过参考图像语义信息提取分支提取的参考图像语义特征与退化图像语义信息提取分支提取的失真图语义特征相减获得
。
[0026]利用教师网络1，2和差异信息蒸馏损失函数训练学生网络包括：
[0027]将参考图像逐一输入到教师神经网络中，计算教师神经网络对于图片的特征注意力映射：键特征和值特征
(V
＝
λ
(f
T
))
；
[0028]将退化图像逐一输入到学生神经网络，计算学生神经网络对于图片的特征注意力映射：查询特征
(Q<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种语义与结构蒸馏的无参考图像质量评价方法，其特征在于，包括：构建图像训练集，将图像训练集分为参考图像集和退化图像集；用参考图像集训练用于图像语义信息提取的教师网络1；用参考图像集训练用于图像差异信息提取的教师网络2；利用教师网络1，2和差异信息蒸馏损失训练学生网络；利用教师网络1，2和语义信息蒸馏损失训练学生网络；将待评价的图像输入训练好的学生网络进行图像质量评价
。2.
根据权利要求1所述的一种语义与结构蒸馏的无参考图像质量评价方法，其特征在于，所述用参考图像集训练用于图像语义信息提取的教师网络1包括：教师网络1使用
ResNet
‑
50
第一个卷积层和前两个残差块作为特征提取模块，用于提取输入图像的特征；将参考图
I
ref
输入教师网络1；教师网络输出教师网络输出表示第
i
个残差块从参考图中提取的参考图像语义特征
。3.
根据权利要求1所述的一种语义与结构蒸馏的无参考图像质量评价方法，其特征在于，所述用参考图像集训练用于图像差异信息提取的教师网络2包括：将像素差异图
I
diff
输入教师网络2；像素差异图通过参考图像与退化图像相减获得，计算公式如下：
I
diff
＝
|I
ref
‑
I
dis
|
其中
I
ref
为参考图像，
I
dis
为退化图像，
I
diff
为差异图；教师网络2输出输出表示第
i
个残差块从差异图中提取的特征；语义级差异信息特征则通过参考图像语义信息提取分支提取的参考图像语义特征与退化图像语义信息提取分支提取的失真图语义特征相减获得
。4.
根据权利要求1所述的一种语义与结构蒸馏的无参考图像质量评价方法，其特征在于，所述利用教师网络1，2和差异信息蒸馏损失函数训练学生网络包括：将参考图像逐一输入到教师神经网络中，计算教师神经网络对于图片的特征注意力映射：键特征和值特征
(V
＝
λ
(f
T
))
；将退化图像逐一输入到学生神经网络，计算学生神经网络对于图片的特征注意力映射：查询特征
(Q
＝
θ
(f
S
))
；
θ
、
φ
和
λ
分别为3个1×1卷积，它将原始特征图通道数量压缩为
C'
，筛除冗余通道特征；计算语义差异蒸馏损失：计算像素差异蒸馏损失：
其中
N
表示训练样本的数量，和分别为语义差异特征图和像素差异特征图，为退化图像差异信息提取分支提取的失真图特征，
F
cnl_sd
和
F
cnl_diff
分别为对语义差异特征和像素差异特征进行查询的通道查询模块；根据损失函数更新学生网络中的参数，直到学生网络中的参数收敛
。5.
根据权利要求1所述的一种语义与结构蒸馏的无参考图像质量评价方法，其特征在于，所述利用教师网络1，2和语义信息蒸馏损失训练学生网络包括：将参考图像特征和退化图像特征在通道上进行拼接，通过3个不同尺寸的最大池化层从不同的尺度同时进行失真过滤，只保留参考图像和退化图像中共有的语义轮廓信息；用

【专利技术属性】
技术研发人员：邓杰航，陈浩民，顾国生，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：