基于课程知识蒸馏的耐噪声木薯叶病害分类方法及系统技术方案

本发明专利技术公开了一种基于课程知识蒸馏的耐噪声木薯叶病害分类方法及系统，属于知识蒸馏应用技术领域

【技术实现步骤摘要】
基于课程知识蒸馏的耐噪声木薯叶病害分类方法及系统


[0001]本专利技术涉及知识蒸馏应用
，特别是一种基于课程知识蒸馏的耐噪声木薯叶病害分类方法
。

技术介绍

[0002]深度学习模型的训练需要大规模
、
高质量标注数据集的支持，缺乏足够标记数据的模型很容易产生过拟合现象
。
在农业领域，不同病害之间的特征相似，因此病害图像的标注需要标注人员拥有深厚的农学素养和经验
。
专家标注构建数据集的成本高
、
耗时长，而且无法保证标注同质性，难以满足模型训练的需求；这种情况必然导致标签制作的成本过高，难以匹配实际农业生产现状
。
为了满足大规模样本标注的实际需求，“众包”标注成为一种主流方式，即通过借助众多人员进行样本标注来获得相应标签；然而，这种标注方式获得的样本标签往往会包含相当比例的错误标签，即标签噪声
。
另外，使用半监督学习算法或无监督学习算法进行机器标注的方法也易受低质量样本和再训练的影响，生成的伪标签仍然不准确
。
以上原因产生的标注噪音均影响模型的鲁棒性和泛化性，进而降低其性能
。
[0003]为了缓解标注噪声问题的影响，许多研究提出调整损失函数
、
添加正则项或特殊的训练策略等方法，以消除标注噪声对模型的负面作用，但这些方法依赖于准确的样本估计
。
知识蒸馏方法利用已经训练好的高性能大模型来指导轻量级模型的训练，教师模型作为辅助模型向学生模型传递“暗知识”，并将其转化为易于理解的形式，以帮助学生更好地掌握知识，从而提高学生模型的泛化性
。“暗知识”也被称为隐性知识，是指教师在学习某一领域后拥有的非语言性的经验
、
思维过程和解决问题的策略
。
知识蒸馏方法将复杂的模型转化为简单的模型，可以减少模型过拟合的风险
。
但是，知识蒸馏方法一般采用传统的神经网络训练策略，易被标注噪声影响，进而影响到学生网络模型分类精度
。

技术实现思路

[0004]本专利技术的专利技术目的是，针对上述问题，提供一种基于课程知识蒸馏的耐噪声木薯叶病害分类方法，结合知识蒸馏框架和课程学习策略缓解数据集中的标注噪音问题影响，提升模型精度和泛化性
。
[0005]为达到上述目的，本专利技术所采用的技术方案是：
[0006]基于课程知识蒸馏的耐噪声木薯叶病害分类方法，包括以下内容：
[0007]步骤
S1、
基于知识蒸馏和课程学习使用数据集
D
训练得到训练好的学生模型
S
；包括以下具体处理流程：
[0008]步骤
S11、
组建木薯叶病害数据作为带噪数据集
D
；
[0009]步骤
S12、
构建训练调度器，使用教师模型
T
作为难度测量器，在其中输入数据集
D
，得到样本难度分数，然后，使用正则器确定每轮训练时选择的样本比例及权重，选取样本形成训练子集
D
m
；
[0010]其中，训练调度器具体处理流程如下：
[0011](1)
在开始阶段，将原始数据集
D
输入教师模型
T
得到样本难度分数
l
，选取难度低于分数的样本形成第一个训练子集
D1；
[0012](2)
在第
m
个阶段，将数据集
D
输入难度测量器
T
得到样本难度分数
l
，选取难度低于分数
λ2的样本形成第
m
个训练子集
D
m
；其中，
D1∪D2∪
…
∪D
m
‑1＝
D
m
；根据当前批次计算并更新学习速度
λ
；
[0013](3)
反复进行上述步骤
(1)
及
(2)
，直到训练结束或模型趋于收敛
。
[0014]步骤
S13、
构建自适应权重模块，自适应调整教师模型
T
对学生模型
S
的知识转移比重
ω
，采用训练子集
D
m
训练得到本轮训练的学生模型
S
；
[0015]其中，知识转移比重
ω
的取值使用每轮训练阶段的验证集精度作为模型差距的度量；在第
e
轮训练中，学生模型的验证集精度为
A
s
，教师模型的验证集精度为
A
T
，加权权重
ω
的计算公式如下：
[0016][0017]式中，
γ
为控制知识蒸馏比重逐渐自动衰减系数，取值
[0
，
1)。
[0018]步骤
S14、
反复执行步骤
S12
‑
步骤
S13
操作，直到目标迭代次数训练结束或模型趋于收敛，输出训练好的学生模型
S
；
[0019]步骤
S2、
采用训练好的学生模型
S
对待分类木薯叶病害图像数据集进行分类；该数据集包括5个类别图像，分别为木薯细菌性枯萎病
、
木薯褐条病
、
木薯绿斑驳病和木薯花叶病的四种病害图像与健康木薯图像
。
[0020]由于采用上述技术方案，本专利技术具有以下有益效果：
[0021]1.
本专利技术利用教师模型获取干净样本的特征知识，然后通过课程知识蒸馏，利用教师模型作为判别正负样本难度的测量器，通过训练调度器将样本按先易后难的顺序输入模型，引入训练调度器和难度测量器可有效地较低标注噪音对模型的影响，有监督地提升学生网络的泛化能力，从而构建出一个耐噪声的木薯叶病害分类方法及模型
。
[0022]2.
本专利技术通过引入自适应权重模块，教师模型对学生模型的知识转移比例会随着学生模型性能的提升而自动调整，进一步提高了模型的有效性，有效的提高学生模型自学能力，提高了类别的分类精确率
。
附图说明
[0023]图1是本专利技术的分类方法流程图
。
[0024]图2是本专利技术的课程知识蒸馏框架图
。
[0025]图3是本专利技术的自配重模块权重的变化曲线图
。
[0026]图4是本专利技术的选择样本权重随着难度变化的曲线图
。
[0027]图5是本专利技术的样本难度变化曲线图
。
[0028]图6是本专利技术的可视化分析效果图
。
[0029]图7是本专利技术的分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于课程知识蒸馏的耐噪声木薯叶病害系统方法，其特征在于，包括以下内容：步骤
S1、
基于知识蒸馏和课程学习使用数据集
D
训练得到训练好的学生模型
S
；包括以下具体处理流程：步骤
S11、
组建木薯叶病害数据作为带噪数据集
D
；步骤
S12、
构建训练调度器，使用教师模型
T
作为难度测量器，在其中输入数据集
D
，得到样本难度分数，然后，使用正则器确定每轮训练时选择的样本比例及权重，选取样本形成训练子集
D
m
；步骤
S13、
构建自适应权重模块，自适应调整教师模型
T
对学生模型
S
的知识转移比重
ω
，采用训练子集
D
m
训练得到本轮训练的学生模型
S
；步骤
S14、
反复执行步骤
S12
‑
步骤
S13
操作，直到目标迭代次数训练结束或模型趋于收敛，输出训练好的学生模型
S
；步骤
S2、
采用训练好的学生模型
S
对待分类木薯叶病害图像数据集进行分类；该图像数据集包括5个类别图像，分别为木薯细菌性枯萎病
、
木薯褐条病
、
木薯绿斑驳病和木薯花叶病的四种病害图像与健康木薯图像
。2.
根据权利要求1所述的一种基于课程知识蒸馏的耐噪声木薯叶病害分类方法，其特征在于：所述步骤
S1
中，训练调度器具体处理流程如下：
(1)
在开始阶段，将原始数据集
D
输入教师模型
T
得到样本难度分数
l
，选取难度低于分数的样本形成第一个训练子集
D1；
(2)
在第
m
个阶段，将数据集
D
输入难度测量器
T
得到样本难度分数
l
，选取难度低于分数
λ2的样本形成第
m
个训练子集
D
m
；其中，
D1∪D2∪
…
∪D
m
‑1＝
D
m
；根据当前批次计算并更新学习速度
λ
；
(3)
反复进行上述步骤
(1)
及
(2)
，直到训练结束或模型趋于收敛
。3.
根据权利要求2所述的一种基于课程知识蒸馏的耐噪声木薯叶病害分类方法，其特征在于：所述步骤
S1
中，难度分数
l
通过样本交叉熵损失计算，具体计算公式如下，式中，
y
表示样本的真实标签，表示权重；通过正则器确定每轮训练时选择的样本比例及权重
v
*
，权重
v
*
具体计算公式如下，式中，
k
为控制样本权重强度的超参数
(k>0)
，
λ
表示学习速度
。4.
根据权利要求1所述的一种基于课程知识蒸馏的耐噪声木薯叶病害分类方法，其特征在于：所述步骤
S1
中，知识转移比重
ω
的取值使用每轮训练阶段的验证集精度作为模型差距的度量；在第
e
轮训练中，学生模型的验证集精度为
A
S
，教师模型的验证集精度为
A
T
，加权权重
ω
的计算公式如下：
式中，
γ
为控制知识蒸馏比重逐渐自动...

【专利技术属性】
技术研发人员：宋玲，曹勉，陈燕，陈宁江，张锦雄，韦紫君，赖宇斌，
申请(专利权)人：广西大学，
类型：发明
国别省市：