基于逐级知识蒸馏的目标检测模型压缩方法技术

本发明专利技术公开了基于逐级知识蒸馏的目标检测模型压缩方法，包括以下步骤：制作目标检测数据集；选用Drone‑YOLO作为教师模型，并利用目标检测数据集对教师模型进行训练；选用YOLOv8作为学生模型，学生模型具有YOLOv8x、YOLOv8l、YOLOv8m、YOLOv8s和YOLOv8n五个模型结构，将学生模型的五个模型结构分别修改至与教师模型具有相同的输出，然后定义损失函数L，通过损失函数L对修改后的五个学生模型结构依次进行逐级蒸馏，实现知识的逐级传递；根据应用场景，选择学生模型中最优的一个模型结构进行部署，确保在目标应用场景中实现高效的目标检测功能。通过逐步蒸馏策略使得当前模型能从上一个模型中继承和优化性能，减少因模型压缩而导致的性能损失。

【技术实现步骤摘要】

本专利技术属于深度学习和计算机视觉，涉及基于逐级知识蒸馏的目标检测模型压缩方法。

技术介绍

1、在目标检测领域，yolo(you only look once)系列模型因其实时处理能力和高效性而广受欢迎；其中yolov8系列拥有x,l,m,s,n五种模型，其计算复杂度和精度依次从高到低。目前yolov8模型在处理正常视角拍摄的图像数据已足够优秀，然而，无人机拍摄视角多为俯视视角，且成像质量容易受到拍摄时的无人机光照、大气环境、运动姿态的影响，目标大小也以小目标居多，因此，直接使用yolov8系列模型训练无人机拍摄的业务数据集的效果受限，往往需要先在一个大型模型上训练调优到理想水平，再通过模型压缩技术将其特征提取和融合能力迁移到最终在硬件上使用的模型。

2、当前模型压缩技术主要包括网络剪枝、量化、低秩分解和知识蒸馏。在执行模型压缩时，尤其是采用知识蒸馏的方法，由于学生模型可能无法完全捕捉到教师模型中的全部信息，特别是在高度压缩的情况下，经常会出现性能损失；传统的单步蒸馏过程通常只涉及从一个大型教师模型到一个小型学生模型的迁移，一次性大幅度压缩可能本文档来自技高网...

【技术保护点】

1.基于逐级知识蒸馏的目标检测模型压缩方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于逐级知识蒸馏的目标检测模型压缩方法，其特征在于，在所述S1中，拍摄获取图像，并通过图像标注工具对图像中的行人和车辆进行标注，得到硬标签，并将标注后的行人和车辆作为目标检测主体生成目标检测数据集。

3.根据权利要求1所述的基于逐级知识蒸馏的目标检测模型压缩方法，其特征在于，在所述S3中，所述教师模型的Head网络具有四个检测头，所述教师模型的四个检测头分别输出大小由上到下为B*(nc+16*4)*(160*160)、B*(nc+16*4)*(80*80)、B*(nc+...

【技术特征摘要】

1.基于逐级知识蒸馏的目标检测模型压缩方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于逐级知识蒸馏的目标检测模型压缩方法，其特征在于，在所述s1中，拍摄获取图像，并通过图像标注工具对图像中的行人和车辆进行标注，得到硬标签，并将标注后的行人和车辆作为目标检测主体生成目标检测数据集。

3.根据权利要求1所述的基于逐级知识蒸馏的目标检测模型压缩方法，其特征在于，在所述s3中，所述教师模型的head网络具有四个检测头，所述教师模型的四个检测头分别输出大小由上到下为b*(nc+16*4)*(160*160)、b*(nc+16*4)*(80*80)、b*(nc+16*4)*(40*40)和b*(nc+16*4)*(20*20)的特征图；

<...

【专利技术属性】
技术研发人员：陈玲玉，孔德峰，钟邦奇，李鹏，候瑞军，
申请(专利权)人：西安道达天际信息技术有限公司，
类型：发明
国别省市：