基于蒸馏学习和增量学习半监督无参考图像质量评估方法技术

基于蒸馏学习和增量学习半监督无参考图像质量评估方法，属于计算机视觉技术领域

【技术实现步骤摘要】
基于蒸馏学习和增量学习半监督无参考图像质量评估方法


[0001]本专利技术属于计算机视觉
，特别是涉及一种基于蒸馏学习和增量学习半监督无参考图像质量评估方法
。

技术介绍

[0002]目前，多媒体业务所涉及的图像和视频均为数字化产品
。
在图像的获取
、
压缩
、
传输以及解压缩过程中，由于存储和传输等物理条件的限制，以及处理算法的影响，不可避免地会引入各种失真类型，从而导致图像质量的下降
。
但在实际应用中，人们通常希望图像质量越高越好
。
例如，在医疗领域，更高质量的图像将意味着更高的疾病诊断率和治疗效果；而在航空航天领域，更高的图像质量将意味着更有价值的探索和发现
。
因此，建立有效的评估图像质量的方法成为了数字图像处理领域中的一个研究热点
。
根据参考图像是否完整和可用，客观图像质量评估可分为三类：完全参考
(FR
‑
IQA)、
半参考
(RR
‑
IQA)
和无参考
(NR
‑
IQA)。
全参考图像质量评估可以参考原始未失真图像，并基于失真图像和原始图像之间的差异获得失真图像的图像质量分数
。
半参考图像质量评估使用原始图像的部分信息作为参考来预测图像质量
。
然而，在实际应用中，参考图像很难获得，使得上述两种方法不适用
。
因此没有参考信息的无参考图像质量评估是目前研究最多的但同时也是最难设计的客观图像质量评估方法
。
[0003]由于任务设置的原因，图像质量评估
(IQA)
模型需要大量的人力来进行数据注释
。
然而，由于观察者之间的主观评价体系不同，以及每次实验中环境的设置不同，所以当出现数据不足的问题时，在实践中很难直接弥补数据的不足
。
为了解决这个问题，一些研究人员认为
NR
‑
IQA
任务是一个无监督的问题
。
有的研究者通过选择从局部图像结构的二进制模式中提取名为局部模式统计指数的统计特征来评估图像质量
。
有的研究者通过测量失真图像与原始自然图像的结构
、
自然度和感知质量变化来量化图像质量退化
。
但由于无参考图像质量评估
(NR
‑
IQA)
是为了模拟主观的人类系统，因此无监督方法的性能远不能令人满意
。
[0004]随着深度学习的发展，许多研究人员对预先训练的模型进行微调，以解决数据不足的问题
。
例如，基于
CNN
的
NR
‑
IQA
方法直接使用或微调预先训练的
CNN
分类模型作为特征提取器，进一步预测图像质量分数
。
类似地，还有使用
Transformer
作为特征提取的骨干
。
然而，这种流水线不仅对上游任务和
NR
‑
IQA
任务之间的相关性有很高的要求，而且无法在根本上解决数据不足的问题
。

技术实现思路

[0005]本专利技术的目的在于提出一种基于蒸馏学习和增量学习半监督无参考图像质量评估方法，将图像质量评估中数据不足问题分解为半监督学习和灾难性遗忘问题
。
提出一个统一的半监督和增量学习框架解决上述问题
。
为了模拟这个问题，使用两个数据集
。
数据集
D
A
包含所有已标记的数据，而数据集
D
B
包含所有未标记的数据
。
本专利技术要解决的任务是将数据集
D
A
的知识转移到数据集
D
B
，即
D
A
‑
>D
B
。
首先在数据集
D
A
上训练教师模型，然后利用教师模
型为数据集
D
B
设置伪标签，这些伪标签用于将数据集
D
A
的流形覆盖到数据集
D
B
上，以确保模型在数据集
D
B
和在
D
A
上的表现一样好
。
最后，在每个再训练子任务期间利用基于回放的增量学习算法，通过重新访问先前子任务中的代表性示例来保持分析能力，以防止灾难性遗忘
。
[0006]本专利技术包括以下步骤：
[0007]1)
使用有标签的数据集
D
A
初始化模型；
[0008]2)
初始模型复制成教师模型和学生模型；
[0009]3)
对无标签数据集
D
B
进行分块
[0010]4)
对教师模型使用基于核岭回归
(KRR)
的知识蒸馏算法为无标签数据集生成伪标签；
[0011]5)
基于教师模型对
D
A
和进行简单样本挑选，选取教师模型预测最准的
K
个样本作为代表性样例
ε
A
和
[0012]6)
将
ε
A
和混合，对学生模型进行训练；
[0013]7)
重复步骤
4)
～
6)
直到学生模型完成
D
B
的训练；
[0014]8)
给定任意图像，将其输入模型，模型输出其预测的质量分数
。
[0015]本专利技术的特点及效果：
[0016]本专利技术提出的基于蒸馏学习和增量学习的半监督无参考图像质量评估方法，解决
NR
‑
IQA
中数据不足的问题
。
将数据不足这个问题拆分成半监督学习问题和灾难性遗忘问题
。
为了解决半监督学习问题，提出一种新的基于核岭回归
(KRR)
的知识蒸馏算法，该算法用于为未标记的数据分配伪标签
。
这使本专利技术能够将流形从数据集
D
A
转移到数据集
D
B
，以确保所提出的模型在数据集
D
B
上的性能
。
为了解决灾难性遗忘问题，本专利技术提出一种新的基于回放的增量学习算法，该算法用于防止性能下降
。
通过重新访问先前半监督学习的代表性示例，保持模型的分析能力
。
附图说明
[0017]图1为本专利技术的框架图
。
[0018]图2为本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于蒸馏学习和增量学习半监督无参考图像质量评估方法，其特征在于包括以下步骤：
1)
使用有标签的数据集
D
A
初始化模型；
2)
初始模型复制成教师模型和学生模型；
3)
对无标签数据集
D
B
进行分块
4)
对教师模型使用基于核岭回归
(KRR)
的知识蒸馏算法为无标签数据集生成伪标签；
5)
基于教师模型对
D
A
和进行简单样本挑选，选取教师模型预测最准的
K
个样本作为代表性样例
ε
A
和
6)
将
ε
A
和混合，对学生模型进行训练；
7)
重复步骤
4)
～
6)
直到学生模型完成
D
B
的训练；
8)
给定任意图像，将其输入模型，模型输出其预测的质量分数
。2.
如权利要求1所述基于蒸馏学习和增量学习半监督无参考图像质量评估方法，其特征在于在步骤
4)
中，所述使用基于核岭回归
(KRR)
的知识蒸馏算法为无标签数据集生成伪标签，具体步骤如下：
41)KRR
的损失函数定义为：其中，
f
i
和
f
z
表示
D
A
中第
i
个和
z
个样本的特征，
a
i
和
a
z
是相应...

【专利技术属性】
技术研发人员：纪荣嵘，张岩，高体民，
申请(专利权)人：厦门大学，
类型：发明
国别省市：