【技术实现步骤摘要】
本专利技术属于深度学习及模型压缩，尤其涉及一种基于多轮次知识蒸馏的图像分类方法。
技术介绍
1、近年来人工智能相关话题在世界范围内引起了广泛讨论，人工智能产品如chatgpt、new bing、midjourney给代码编写、信息搜集、图像创作等工作带来了极大的便利，很大程度上影响了计算机、翻译、绘画等行业领域的工作方式。深度学习作为人工智能领域的一项关键技术，在目标检测、行人重识别、文本理解等许多任务上取得了巨大成功，但同时也来带来了对模型规模和计算资源不断增长的需求。为了在嵌入式系统、移动设备等资源受限的环境中使用深度学习模型，模型压缩技术应运而生。知识蒸馏作为一种有效的模型压缩策略，在模型精简、推理速度提升以及在特定任务上的泛化能力方面均发挥了关键作用。
2、知识蒸馏指的是利用深度学习将一个大而复杂模型的知识转移到小而紧凑模型的过程，其中大模型通常被称为教师网络而小模型被称为学生网络。具体而言，知识蒸馏要求学生网络在学习目标任务的正确输出的同时，也要拟合教师网络的输出，从而在训练期间传递教师网络的知识，使得学生网络达到...
【技术保护点】
1.一种基于多轮次知识蒸馏的图像分类方法，其特征在于，采用多轮次知识蒸馏获得的学生网络S2对待测图像进行分类，其中，学生网络S2的获取方法为：
2.如权利要求1所述的一种基于多轮次知识蒸馏的图像分类方法，其特征在于，交叉熵损失函数Lcls1和KL散度损失函数LKL1的构建方法具体为：
3.如权利要求1所述的一种基于多轮次知识蒸馏的图像分类方法，其特征在于，交叉熵损失函数Lcls2和KL散度损失函数LKL2的构建方法具体为：
4.如权利要求1所述的一种基于多轮次知识蒸馏的图像分类方法，其特征在于，交叉熵损失函数Lcls3和KL散度损失...
【技术特征摘要】
1.一种基于多轮次知识蒸馏的图像分类方法，其特征在于，采用多轮次知识蒸馏获得的学生网络s2对待测图像进行分类，其中，学生网络s2的获取方法为：
2.如权利要求1所述的一种基于多轮次知识蒸馏的图像分类方法，其特征在于，交叉熵损失函数lcls1和kl散度损失函数lkl1的构建方法具体为：
3.如权利要求1所述的一种基于多轮次知识蒸馏的图像分类方法，其特征在于，交叉熵损失函数lcls2和kl散度损失函数lkl2的...
【专利技术属性】
技术研发人员：范哲意，陈国钊，王永恒，朱艺璇，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。