【技术实现步骤摘要】
本申请涉及机器学习，尤其涉及模型压缩，具体涉及一种知识蒸馏方法、装置、设备、存储介质及程序产品。
技术介绍
1、人工智能技术的广泛应用，导致深度学习模型日益复杂，对计算资源和存储空间的需求不断增长。然而，车辆等移动设备受限于硬件条件，难以部署和维护大模型，并且自动驾驶、智能监控等需要高实时性。因此，模型压缩技术应运而生，该技术通过减少模型的参数数量和计算量，使得模型在保持一定性能的同时，能够大幅度降低对计算资源和存储空间的需求。
2、相关技术cn116740019a提出不同下采样阶段的中间层特征信息进行一对一学习，但存在信息丢失及过拟合问题，导致算法精度提升有限。
3、相关技术cn114565045a提出采用前景注意力掩膜和背景注意力掩膜分别进行知识迁移，但未区分前景和背景比例，导致算法精度提升有限。
4、因此，需要探索有效地方式在减少计算复杂度和资源消耗的同时，保障学生模型的性能。
技术实现思路
1、本申请提供一种知识蒸馏方法、装置、设备、存储介质及程...
【技术保护点】
1.一种知识蒸馏方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述特征信息包括空间特征信息和通道特征信息；所述基于所述教师模型输出、所述特征信息，以及所述教师模型的损失函数，确定初始学生模型的损失函数，包括：
3.根据权利要求2所述的方法，其特征在于，确定所述空间特征信息对应的第一损失函数，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述教师模型的中间层特征和所述初始学生模型的中间层特征，确定所述空间特征信息的自适应权重，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述空...
【技术特征摘要】
1.一种知识蒸馏方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述特征信息包括空间特征信息和通道特征信息；所述基于所述教师模型输出、所述特征信息，以及所述教师模型的损失函数，确定初始学生模型的损失函数，包括：
3.根据权利要求2所述的方法，其特征在于，确定所述空间特征信息对应的第一损失函数，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于所述教师模型的中间层特征和所述初始学生模型的中间层特征，确定所述空间特征信息的自适应权重，包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述空间特征信息的自适应权重，确定所述空间特征信息对应的第一损失函数，包括：
6.根据权利要求2-5中任一项所述的方法，其特征在于，确定所述通道特征信息对应的第二损失函数，包括：
7.根据权利要求6所述的方法，其特征在于...
【专利技术属性】
技术研发人员：邓兴隆，余云川，
申请(专利权)人：重庆长安科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。