【技术实现步骤摘要】
本专利技术涉及图像识别，特别涉及一种基于教师微调的量化感知蒸馏方法、一种计算机可读存储介质、一种计算机设备以及一种基于教师微调的量化感知蒸馏装置。
技术介绍
1、在过去的十年里，深度学习经历了飞速的发展，并在各种下游任务中展现出了卓越的性能；无论是图像分类、语音识别还是自然语言处理，深度学习都为我们提供了强大的工具，使得机器能够更好地理解和处理复杂的任务；然而，随着计算资源的限制和边缘设备的普及，深度学习的轻量化成为了迫切需要解决的问题；深度模型轻量化是指在保持模型性能的同时，降低模型的计算复杂度和存储需求，使得深度模型可以在资源受限的边缘计算设备上也能够高效运行；为了实现这一目标，研究者们提出了各种方法，其中包括剪枝、量化和知识蒸馏等；剪枝是一种通过去除模型中的冗余信息来减小模型大小和计算复杂度的方法；它通过对网络进行剪枝操作，去掉一些对输出影响较小的神经元或者连接，从而减少模型的计算量和存储需求；量化是一种将模型中的高精度参数转化为低精度参数的方法，通过对模型进行量化，可以大大减少模型的存储需求，同时保持模型性能的稳定；知识蒸馏是一...
【技术保护点】
1.一种基于教师微调的量化感知蒸馏方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于教师微调的量化感知蒸馏方法，其特征在于，根据以下公式对所述教师模型进行梯度更新：
3.如权利要求2所述的基于教师微调的量化感知蒸馏方法，其特征在于，根据以下公式得到余弦相识度：
4.如权利要求3所述的基于教师微调的量化感知蒸馏方法，其特征在于，根据以下公式得到最终的损失函数：
5.一种计算机可读存储介质，其特征在于，其上存储有基于教师微调的量化感知蒸馏程序，该基于教师微调的量化感知蒸馏程序被处理器执行时实现如权利要求1-4中任一...
【技术特征摘要】
1.一种基于教师微调的量化感知蒸馏方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于教师微调的量化感知蒸馏方法，其特征在于，根据以下公式对所述教师模型进行梯度更新：
3.如权利要求2所述的基于教师微调的量化感知蒸馏方法，其特征在于，根据以下公式得到余弦相识度：
4.如权利要求3所述的基于教师微调的量化感知蒸馏方法，其特征在于，根据以下公式得到最终的损失函数：
5.一种计算机可读存储介质，其特征在于，其上存储有基于教师微调的量化感知蒸馏程序，该基于教师微调的量化感知蒸馏程序被处理器执行时实现如权利要求1-4中任一项所述的基于教师微调的量化感知蒸馏方法。<...
【专利技术属性】
技术研发人员：涂晓彤，刘奕阳，康元勋，丁兴号，黄悦，袁飞，朱逸，
申请(专利权)人：厦门大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。