基于双采样纹理感知蒸馏学习的不均衡图像超分方法技术

基于双采样纹理感知蒸馏学习的不均衡图像超分方法，涉及图像处理领域。包括：1)双采样策略：设计双采样策略来显式增加对少量的困难样本的采样概率，其包括反转采样和随机采样两种采样概率相反的方式训练超分模型，利用这两种采样方式来重新平衡训练数据的分布；2)纹理感知蒸馏学习：通过反转采样数据训练得到教师超分模型，通过蒸馏学习将教师模型中有效的参数级和图像级信息迁移到随机采样的学生超分模型中，从而提升不均衡图像的超分性能。可用于智能视频监控、遥感卫星、医学图像、视频应用及其它许多领域的实际需要等。及其它许多领域的实际需要等。及其它许多领域的实际需要等。

【技术实现步骤摘要】
基于双采样纹理感知蒸馏学习的不均衡图像超分方法


[0001]本专利技术涉及图像处理领域，尤其是涉及用于智能视频监控、遥感卫星、医学图像、视频应用及其它许多领域的实际需要等的一种基于双采样纹理感知蒸馏学习的不均衡图像超分方法。

技术介绍

[0002]图像超分辨率重建因为其应用前景以及实际应用价值，近年来受到广泛的关注，并涌现出许多优秀的算法。然而，这些超分模型对训练数据进行等概率采样，忽略训练数据集中的不平衡数据分布。近来，有相关研究提出区域感知的超分方法来处理不同的图像区域，旨在自适应地在更困难的样本点上分配更多的计算资源。具体实现过程为将图像分解为子图像，然后通过强化学习为每个子图像估计适当的处理路径；或者采用分类方法来确定对不同图像区域的处理，然后通过不同大小的模型重建子图像；还有通过自适应加权损失来训练深度网络，从而专注于具有高不确定性的纹理和边缘像素。而本专利技术主要从数据采样角度重新思考图像超分中的分布平衡方法。
[0003]数据重平衡最常见的方法有重采样和重加权。重采样方法可以分为两种类型：对少数类数据进行过采样以及对多数类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双采样纹理感知蒸馏学习的不均衡图像超分方法，其特征在于包括以下步骤：(1)数据集：采用DIV2K数据集训练深度超分模型；(2)数据处理：数据随机裁剪至指定大小；(3)双采样策略：包括随机采样和反转采样；所述随机采样是对于所有的输入样本根据随机采样的准则进行数据采样，所述反转采样是根据数据的概率分布进行反转选择，从而达到反转采样的效果；为了实现反转采样需对训练数据进行分类，将训练图像以滑动窗口裁剪的方式获得子图，然后输入到预训练好的超分模型预测所有子图的重构难易难度，再根据长尾数据分布公式得到每个类别的样本数量；(4)纹理感知蒸馏学习：将预训练的反转采样超分模型中的参数级和图像级有效信息迁移到随机采样的学生模型中，包括连续自蒸馏和选择性知识蒸馏；所述连续自蒸馏用于将教师模型中的有效的参数级信息迁移到学生模型，从而增强模型对于困难样本的特征提取能力；所述选择性知识蒸馏用于从教师模型的超分结果中择优选择误差较小的像素区域来监督学生模型的训练；(5)损失函数：对于模型的整个训练过程中，使用常用的平均绝对误差L1和蒸馏损失L
SKD
对超分模型进行约束；(6)算法训练步骤：分为两个阶段进行训练；第一阶段，训练反转采样超分模型，根据反转采样分类数据集采用L1损失训练反转采样超分模型，作为下一阶段初始教师模型参数；第二阶段，加载当前的教师模型参数，利用随机采样数据更新学生模型参数，根据纹理感知蒸馏学习更新学生模型和教师模型参数；重复第二阶段训练直至收敛或者达到最大训练轮次；将预训练的反转采样超分模型中的参数级和图像级的有效信息迁移到随机采样的学生模型中，使最终的模型平衡训练数据的长尾效应。2.如权利要求1所述基于双采样纹理感知蒸馏学习的不均衡图像超分方法，其特征在于在步骤(1)中，所述DIV2K数据集包含800张训练数据和100张验证数据其中，H表示高分辨率数据，L表示对应的双三次下采样低分辨率数据。3.如权利要求1所述基于双采样纹理感知蒸馏学习的不均衡图像超分方法，其特征在于在步骤(2)中，所述数据随机裁剪至指定大小，其中高分辨率数据大小为128*128(2倍、4倍)或129*129(3倍)，低分辨率数据大小为对应倍数的高分辨率数据的下采样尺寸，采用随机翻转进行数据增强。4.如权利要求1所述基于双采样纹理感知蒸馏学习的不均衡图像超分方法，其特征在于在步骤(3)中，所述双采样策略用于弥补数据特定的不均衡分布问题，通过设计双采样策略显式增加对困难样本的采样，所述双采样策略包括反转采样和随机采样，用于平衡训练数据的分布：困难样本指边缘和纹理区域；(3.1)反转采样：旨在为样本量较少的尾部数据分配更高的采样概率，首先根据样本重建难易程度对其进行分类，然后从各个类别中进行采样；(3.1.1)数据分类：图像超分是一个回归任务，数据分类过程如下：
a.将DIV2K训练数据集以滑动窗口的方式裁剪成多个子图像；b.将所有低分辨率子图输入到预训练好的EDSR_Baseline模型中，并与对应的高分辨率参照图像计算均方误差MSE，将每张子图的MSE值的大小作为其重建难易程度评估指标，即为DIV2K训练集所有子图的MSE值分布，得出训练数据呈现长尾分布；c.根据不同的重建难度(MSE)将子图进行分类，确定不同的MSE阈值；按长尾分类任务中数据...

【专利技术属性】
技术研发人员：曲延云，林锦，罗小同，艾泽坤，
申请(专利权)人：厦门大学，
类型：发明
国别省市：