本发明专利技术涉及目标检测技术领域，公开了一种基于双提示的小模型目标检测蒸馏方法，外部提示蒸馏操作通过教师特征来初始化教师外部提示，通过多头自注意力机制进行交互来避免信息重复；以动量更新的方式对教师外部提示进行更新；对学生特征初始化后，与教师外部提示进行多头交叉注意力交互，然后以残差的方式加回到学生特征中；内部提示蒸馏操作初始化学生内部提示，与学生特征相乘，然后对学生特征进行更新；将更新后的学生特征再经过ConvLoRA操作，得到主干网络阶段最终的学生特征；通过特征蒸馏操作对学生模型的参数进行更新；本发明专利技术能够在小模型蒸馏上取得更优异的性能。
【技术实现步骤摘要】
本专利技术涉及目标检测，具体涉及一种基于双提示的小模型目标检测蒸馏方法。
技术介绍
1、目标检测作为计算机视觉领域的经典任务，其核心目标是识别图像或视频中的物体，确定它们的类别，并通过最小包围框的形式精确标定物体的位置。这项技术在自动驾驶、监控系统、机器人视觉、医学图像分析、航空航天等多个领域有着广泛的应用。然而，将这些大型且计算密集型的模型应用于现实世界时，面临着一系列挑战，包括模型的体积、推理速度以及资源的有限性。这些挑战限制了这些强大模型在实际场景中的部署和应用。
2、知识蒸馏技术是解决上述问题的一个重要方法。知识蒸馏，即以一个训练好的大模型作为教师模型，一个待训练的小模型作为学生模型，在训练过程中，教师模型的检测结果对学生模型的检测结果进行监督，使“知识”从大模型蒸馏到小模型，从而提升小模型的性能。然而，现有的知识蒸馏方法大都停留在了教师模型和学生模型大小相似的场景，少数方法研究了教师模型很大的情况，但是，如何将知识蒸馏到更小、更快的轻量级模型中，很少被讨论，而现有蒸馏方法对轻量级模型的性能提升，也十分有限。
...
【技术保护点】
1.一种基于双提示的小模型目标检测蒸馏方法，其特征在于，通过知识蒸馏过程，将教师模型中的知识传递至学生模型，在测试过程中，将图像输入至完成知识蒸馏过程的学生模型，检测出图像中的物体以及物体的类别；教师模型和学生模型均包括主干网络和颈部网络，知识蒸馏过程包括主干网络阶段和颈部网络阶段；目标检测蒸馏方法具体包括以下步骤：
2.根据权利要求1所述的基于双提示的小模型目标检测蒸馏方法，其特征在于，步骤S11中，所述通过教师模型的主干网络输出的教师特征FT，来初始化教师外部提示，通过多头自注意力机制进行交互来避免信息重复，具体包括：
3.根据权利要求1所述的基于双提示的小模...
【技术特征摘要】
1.一种基于双提示的小模型目标检测蒸馏方法，其特征在于，通过知识蒸馏过程，将教师模型中的知识传递至学生模型，在测试过程中，将图像输入至完成知识蒸馏过程的学生模型，检测出图像中的物体以及物体的类别；教师模型和学生模型均包括主干网络和颈部网络，知识蒸馏过程包括主干网络阶段和颈部网络阶段；目标检测蒸馏方法具体包括以下步骤：
2.根据权利要求1所述的基于双提示的小模型目标检测蒸馏方法，其特征在于，步骤s11中，所述通过教师模型的主干网络输出的教师特征ft，来初始化教师外部提示，通过多头自注意力机制进行交互来避免信息重复，具体包括：
3.根据权利要求1所述的基于双提示的小模型...
【专利技术属性】
技术研发人员：赵峰，祁禹坤，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。