一种面向具身智能设备的视觉模型压缩方法技术

本发明专利技术公开了一种面向具身智能设备的视觉模型压缩方法，包括选择教师模型和一个学生模型，利用教师模型和学生模型对数据集进行前向传播，获取其中间层特征表示及其对于各个类别的原始得分；将教师模型输出的概率分布和学生模型输出的概率分布作比较，计算两者之间的散度，作为响应损失；将教师模型与学生模型的中间层特征表示作比较，作为对比损失；将学生模型输出的概率分布与真实标签作比较，计算两者之间的交叉熵，作为硬损失；将响应损失、对比损失和硬损失按权相加，形成总损失函数，并对学生模型进行训练；通过随机梯度下降调整学生模型的参数，最小化总损失函数，实现模型压缩。该方法提供高效的视觉感知能力。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域，尤其涉及一种基于知识蒸馏技术的视觉模型压缩方法。

技术介绍

1、具身智能设备需要实时完成视觉感知任务，但其资源（如存储空间和计算能力）受限，传统的大型深度学习模型难以直接部署。因此，开发轻量化的模型压缩方法，既能满足具身智能设备的计算资源限制，又能保持高性能，成为当前技术发展的重要方向。

2、模型能够有效地从大型教师模型学习小型学生模型，它受到了社会越来越多的关注。知识蒸馏是典型的模型压缩技术，利用一个较大的模型（教师模型）的知识来训练一个较小的模型（学生模型），在保持模型性能的同时减小其规模，以适应边缘环境。知识蒸馏在计算机视觉领域得到了广泛的应用，尤其是在模型压缩和加速方面，其核心思想是通过将大型预训练模型（教师模型）中的知识传递给较小的模型（学生模型），从而提升学生模型的性能。

3、知识蒸馏作为一种模型压缩技术，最早于2015年提出。最初的研究通过引入软化的输出概率分布，使得学生模型能够更好地模仿教师模型的行为，从而在模型压缩中展现出明显的效果和应用前景。这一方法标志着知识蒸馏概念的诞生，并开启了本文档来自技高网...

【技术保护点】

1.一种面向具身智能设备的视觉模型压缩方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种面向具身智能设备的视觉模型压缩方法，其特征在于：在步骤(5)中，通过函数计算概率分布时，使用温度参数来使概率分布平滑；教师模型输出的概率分布和学生模型输出的概率分布的具体计算公式分别为：

3.根据权利要求1所述的一种面向具身智能设备的视觉模型压缩方法，其特征在于：在步骤(6)中，响应损失的具体计算公式为：；其中，是分类任务的类别数，是教师模型输出的概率分布，是学生模型输出的概率分布。

4.根据权利要求1所述的一种面向具身智能设备的视觉模型压缩方法，其特征...

【技术特征摘要】

1.一种面向具身智能设备的视觉模型压缩方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种面向具身智能设备的视觉模型压缩方法，其特征在于：在步骤(5)中，通过函数计算概率分布时，使用温度参数来使概率分布平滑；教师模型输出的概率分布和学生模型输出的概率分布的具体计算公式分别为：

3.根据权利要求1所述的一种面向具身智能设备的视觉模型压缩方法，其特征在于：在步骤(6)中，响应损失的具体计算公式为：；其中，是分类任务的类别数，是教师模型输出的概率分布，是学生模型输出的概率分布。

4.根据权利要求1所述的一种面向具身智能...

【专利技术属性】
技术研发人员：徐小龙，杜小龙，徐佳，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：