检测模型的训练方法、装置、设备和存储介质制造方法及图纸

本申请提供检测模型的训练方法、装置、设备和存储介质。该方法包括：依次将多个检测模型中的一个检测模型设置为教师模型，其余模型设置为学生模型；根据样本数据和样本数据对应的先验知识，确定各学生模型学习教师模型在瓶颈层方面互相学习的第一目标损失值、在检测目标的相关性方面互相学习的第二目标损失值以及在检测目标的回归与分类方面互相学习的第三目标损失值；基于所述第一目标损失值、第二目标损失值、第三目标损失值、各检测模型学习所述先验知识的回归损失值和分类损失值，对各检测模型进行训练，得到对应的目标检测模型。该方法能够缩短检测模型的训练时长，提高检测模型的训练效率，且能够提高所有检测模型的检测性能。测性能。测性能。

Training method, device, equipment and storage medium of detection model

【技术实现步骤摘要】
检测模型的训练方法、装置、设备和存储介质


[0001]本申请实施例涉及计算机
，尤其涉及检测模型的训练方法、装置、设备和存储介质。

技术介绍

[0002]随着深度学习不断的发展，深度学习在各个领域得到了广泛的应用，例如应用于视觉领域中的目标检测。为了获得更好的检测效果，通常对检测模型的主干网络和瓶颈层进行优化，使用更加复杂的主干网络和瓶颈层，导致检测模型在实际落地中出现推理速度慢，对硬件设备要求高。
[0003]基于此，提出了量化、剪枝和蒸馏等模型压缩的方法，其中，蒸馏效果最好，但蒸馏方法在训练学生模型时仍然比较耗时且学生模型的检测性能局限于教师模型的学习能力和蒸馏知识。

技术实现思路

[0004]本申请提供了检测模型的训练方法、装置、设备和存储介质。
[0005]第一方面，本申请实施例提供了检测模型的训练方法，包括：将多个检测模型中的一个检测模型设置为教师模型，其余模型设置为学生模型；将样本数据输入至所述教师模型和各学生模型，得到所述教师模型以及各学生模型的瓶颈层输出的特征值；根据所述样本数据对应的先验知本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.检测模型的训练方法，其特征在于，包括：将多个检测模型中的一个检测模型设置为教师模型，其余模型设置为学生模型；将样本数据输入至所述教师模型和各学生模型，得到所述教师模型以及各学生模型的瓶颈层输出的特征值；根据所述样本数据对应的先验知识、所述教师模型以及各学生模型的瓶颈层输出的特征值，确定各学生模型学习所述教师模型在瓶颈层方面的损失值、各学生模型学习所述教师模型在检测目标的相关性方面的损失值以及各学生模型学习所述教师模型在检测目标的回归与分类方面的损失值；将多个检测模型中的下一检测模型设置为教师模型，其余模型设置为学生模型，继续执行所述将样本数据输入同时输入至所述教师模型和各学生模型，得到所述教师模型以及各学生模型的瓶颈层输出的特征值的步骤，直至将多个检测模型中的最后检测模型设置为教师模型，其余模型设置为学生模型，从而得到各学生模型学习各教师模型在瓶颈层方面的第一损失值集、各学生模型学习各教师模型在检测目标的相关性方面的第二损失值集以及各学生模型学习各教师模型在检测目标的回归与分类方面的第三损失值集；分别对所述第一损失值集、所述第二损失值集以及所述第三损失值集进行处理，得到各学生模型在瓶颈层方面互相学习的第一目标损失值、各学生模型在检测目标的相关性方面互相学习的第二目标损失值以及各学生模型在检测目标的回归与分类方面互相学习的第三目标损失值；基于所述第一目标损失值、第二目标损失值、第三目标损失值、各检测模型学习所述先验知识的回归损失值和分类损失值，对各检测模型进行训练，得到对应的目标检测模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述样本数据对应的先验知识、所述教师模型以及各学生模型的瓶颈层输出的特征值，确定各学生模型学习所述教师模型在瓶颈层方面的损失值，包括：使用所述先验知识对所述教师模型的瓶颈层输出的特征值进行处理，得到处理后的特征值；将所述处理后的特征值映射到各学生模型，得到各学生模型的映射特征值；基于所述处理后的特征值，确定所述教师模型的背景特征值数量和前景特征值数量；基于各学生模型的瓶颈层输出的特征值、所述映射特征值、所述背景特征值数量以及所述前景特征值数量，确定各学生模型学习所述教师模型在瓶颈层方面的损失值。3.根据权利要求2所述的方法，其特征在于，在所述使用所述先验知识对所述教师模型的瓶颈层输出的特征值进行处理，得到处理后的特征值之后，还包括：对所述处理后的特征值进行自注意力操作，以及对各学生模型的瓶颈层输出的特征值进行自注意力操作。4.根据权利要求1所述的方法，其特征在于，所述根据所述样本数据对应的先验知识、所述教师模型以及各学生模型的瓶颈层输出的特征值，确定各学生模型学习所述教师模型在检测目标的相关性方面的损失值，包括：对所述教师模型以及各学生模型的瓶颈层输出的特征值进行检测头操作，得到所述教师模型的教师候选框以及各学生模型的学生候选框；使用所述先验知识对所述教师候选框进行处理，得到中间教师候选框；
针对每个学生模型，基于所述中间教师候选框和所述学生候选框的置信度，对所述中间教师候选框进行处理，得到融合教师候选框；其中，所述融合教师候选框的置信度大于或等于所述中间教师候选框；确定所述融合教师候选框之间的第一相关性以及各学生模型的学生候选框之间的第二相关性；基于所述第一相关性和各所述第二相关性，确定各学生模型学习所述教师模型在检测目标的相关性方面的损失值。5.根据权利要求4所述的方法，其特征在于，所述基于所述中间教师候选框和所述学生候选框的置信度，对所述中间教师候选框进行处理，得到融合教师候选框，包括：比较所述中间教师候选框和所述学生候选框的置信度；如果所述中间教师候选框的置信度大于或等于...

【专利技术属性】
技术研发人员：李林超，王威，周凯，张腾飞，
申请(专利权)人：浙江啄云智能科技有限公司，
类型：发明
国别省市：