基于高频提取和知识蒸馏的图像质量评估方法技术

本发明专利技术公开了一种基于高频提取和知识蒸馏的图像质量评估方法，根据训练好的学生降质特征提取模块提取的降质图像特征、教师降质特征提取模块提取的原始质量图像特征、训练好的学生高频特征提取模块提取的学生高频特征、教师高频特征提取模块提取的教师高频特征、复原特征提取网络提取的复原特征以及质量预测模块输出的第一、第二和第三质量分数，计算图像质量评估模型的总损失函数；以总损失函数最小为目标优化所提出的图像质量评估模型，当损失下降并保持稳定时认为训练结束，得到训练好的图像质量评估模型；将复原图像输入训练好的图像质量评估模型，输出复原图像的质量分数。本发明专利技术有利于提高对感知图片质量的预测。发明专利技术有利于提高对感知图片质量的预测。发明专利技术有利于提高对感知图片质量的预测。

【技术实现步骤摘要】
基于高频提取和知识蒸馏的图像质量评估方法


[0001]本专利技术涉及一种基于高频提取和知识蒸馏的图像质量评估方法，属于图像质量评估


技术介绍

[0002]图像质量评估(IQA)的一个重要场景是评估图像恢复(IR)算法生成的复原图像。目前最先进的图像质量评估方法是采用一个全参考的方法，将复原图像与相应的原始质量图像作比较。然而，在盲图像恢复任务与真实场景中，原始质量图像往往是不可用的。
[0003]通常采用无参考的图像质量评估方法(NR
‑
IQA)对实际场景中的图像进行质量评估，无参考的图像质量评价解决方案通常是直接将复原的图像回归到质量分数，然而，缺乏参考信息使得图像质量评估问题更加具有挑战性，并导致性能的急剧下降。
[0004]因此，如何在没有原始质量图像作为参考图像的情况下提升评估复原图像的水平成为了本领域内亟待解决的问题。

技术实现思路

[0005]目的：为了克服现有技术中存在的不足，本专利技术提供一种基于高频提取和知识蒸馏的图像质量评估方法，利用八度卷积从参考图像中提取有效的高本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高频提取和知识蒸馏的图像质量评估方法，其特征在于：包括如下步骤：根据训练好的学生降质特征提取模块提取的降质图像特征、教师降质特征提取模块提取的原始质量图像特征、训练好的学生高频特征提取模块提取的学生高频特征、教师高频特征提取模块提取的教师高频特征、复原特征提取网络提取的复原特征以及质量预测模块输出的第一、第二和第三质量分数，计算图像质量评估模型的总损失函数；以总损失函数最小为目标优化所提出的图像质量评估模型，当损失下降并保持稳定时认为训练结束，得到训练好的图像质量评估模型；将复原图像输入训练好的图像质量评估模型，输出复原图像的质量分数。2.根据权利要求1所述的基于高频提取和知识蒸馏的图像质量评估方法，其特征在于：所述训练好的学生降质特征提取模块获取方法如下：将降质图像与对应的原始质量图像分别输入学生降质特征提取模块与教师降质特征提取模块，提取降质图像特征与原始质量图像特征；将与降质图像对应的复原图像输入复原特征提取网络，提取复原特征；将原始质量图像输入教师高频特征提取模块再经过三个八度卷积层，提取教师高频特征；将提取到的降质图像特征与复原特征做差得到第一差值特征，将第一差值特征与教师高频特征一起输入质量预测模块，进行质量分数预测，得到第一质量分数；将提取到的原始质量图像特征与复原特征做差得到第二差值特征，将第二差值特征与教师高频特征一起输入质量预测模块，进行质量分数预测，得到第二质量分数；通过引用知识蒸馏的机制，使用第一质量分数、第二质量分数与CKD Loss来对学生降质特征提取模块、教师降质特征提取模块进行训练，获得训练好的学生降质特征提取模块。3.根据权利要求2所述的基于高频提取和知识蒸馏的图像质量评估方法，其特征在于：所述将原始质量图像输入教师高频特征提取模块再经过三个八度卷积层，提取教师高频特征，包括：将原始质量图像输入教师高频特征提取模块得到特征，提取到的特征根据尺度空间理论划分为高频特征和低频特征两部分，两部分进一步送入八度卷积层进行特征提取，得到第一阶段的高频特征与低频特征；第一阶段的高频与低频特征进一步送入第二个八度卷积层，得到第二阶段的高频特征与低频特征；第二阶段的高频与低频特征进一步送入第三个八度卷积层，得到第三阶段的高频特征与低频特征；舍弃第一到三阶段的低频特征部分，将第一到三阶段的高频特征作为教师高频特征。4.根据权利要求2所述的基于高频提取和知识蒸馏的图像质量评估方法，其特征在于：所述将提取到的降质图像特征与复原特征做差得到第一差值特征，将第一差值特征与教师高频特征一起输入质量预测模块，进行质量分数预测，得到第一质量分数，包括：将提取到的降质图像特征与复原特征做差得到第一差值特征将第一差值特征与教师高频特征一起输入质量预测模块，进行质量分数预测；第一差值特征首先经过质量预测模块的一层卷积层后，与第一阶段的教师高频特
征进行拼接；拼接后的结果经过第二层卷积层后，与第二阶段的教师高频特征进行拼接；拼接后的结果经过第三层卷积层后，与第三阶段的教师高频特征进行拼接，拼接后的结果经过第四层卷积层与全连接层，得到第一质量分数。5.根据权利要求2所述的基于高频提取和知识蒸馏的图像质量评估方法，其特征在于：所述将提取到的原始质量图像特征与复原特征做差得到第二差值特征，将第二差值特征与教师高频特征一起输入质量预测模块，进行质量分数预测，得到第二质量分数，包括：将提取到的原始质量图像特征与复原特征做差得到第二差值特征第二差值特征与教师高频特征一起输入质量预测模块，进行质量分数预测；第二差值特征首先经过质量预测模块的一层卷积层后，与第一阶段的教师高频特征进行拼接；拼接后的结果经过第二层卷积层后，与第二阶段的教师高频特征进行拼接；拼接后的结果经过第三层卷积层后，与第三阶段的教师高频特征进行拼接，拼接后的结果经过第四层卷积层与全连接层，得到第二质量分数。6.根据权利要求2所述的基于高频提取和知识蒸馏的图像质量评估方法，其特征在于：所述通过引用知识蒸馏的机制，使用第一质量分数、第二质量分数与CKD Loss来对学生降质特征提取模块、教师降质特征提取模块进行训练，获得训练好的学生降质特征提取模块，包括：引入知识蒸馏的机制，通...

【专利技术属性】
技术研发人员：于莉，厉俊阳，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：