蒸馏学习方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种蒸馏学习方法、装置、计算机设备和存储介质。所述方法包括：将目标图像分别输入教师网络和学生网络，得到教师网络输出的教师特征图和学生网络输出的学生特征图；将教师特征图和学生特征图进行通道匹配，根据匹配结果获取教师特征图和学生特征图之间的目标损失值；根据目标损失值调整学生网络中的参数，得到目标学生网络。采用本方法能够提高学生网络对教师网络的蒸馏学习效果，减小学生网络与教师网络的性能差异。

【技术实现步骤摘要】
蒸馏学习方法、装置、计算机设备和存储介质
本申请涉及机器学习
，特别是涉及一种蒸馏学习方法、装置、计算机设备和存储介质。
技术介绍
随着机器学习技术的发展，出现了蒸馏学习技术，蒸馏学习采用的是迁移学习，利用预先训练好的复杂网络模型(教师网络，Teachermodel)的输出作为监督信号去训练另外一个简单的网络模型(学生网络，Studentmodel)，以获得结构精简且计算复杂度低，同时具有教师网络的知识的学生网络。传统技术中，大多从像素点级的蒸馏、关系对蒸馏以及基于判别器的全局蒸馏这3个方面进行展开，但其蒸馏学习效果较差，得到的学生网络与教师网络的性能相差很大。
技术实现思路
基于此，有必要针对上述技术问题，提供一种蒸馏学习方法、装置、计算机设备和存储介质。一种蒸馏学习方法，所述方法包括：将目标图像分别输入教师网络和学生网络，得到所述教师网络输出的教师特征图和所述学生网络输出的学生特征图；将所述教师特征图和所述学生特征图进行通道匹配，根据匹配结果获取所述教师特征图和所述学生特征图之间的目本文档来自技高网...

【技术保护点】
1.一种蒸馏学习方法，其特征在于，所述方法包括：/n将目标图像分别输入教师网络和学生网络，得到所述教师网络输出的教师特征图和所述学生网络输出的学生特征图；/n将所述教师特征图和所述学生特征图进行通道匹配，根据匹配结果获取所述教师特征图和所述学生特征图之间的目标损失值；/n根据所述目标损失值调整所述学生网络中的参数，得到目标学生网络。/n

【技术特征摘要】
1.一种蒸馏学习方法，其特征在于，所述方法包括：
将目标图像分别输入教师网络和学生网络，得到所述教师网络输出的教师特征图和所述学生网络输出的学生特征图；
将所述教师特征图和所述学生特征图进行通道匹配，根据匹配结果获取所述教师特征图和所述学生特征图之间的目标损失值；
根据所述目标损失值调整所述学生网络中的参数，得到目标学生网络。


2.根据权利要求1所述的方法，其特征在于，所述将所述教师特征图和所述学生特征图进行通道匹配，包括：
将所述教师特征图和所述学生特征图的通道按照通道类型分别进行编号，得到教师通道编号和学生通道编号；其中，相同通道类型的所述教师通道编号和所述学生通道编号相同；
遍历所述教师通道编号和所述学生通道编号进行对应所述教师特征图的通道和所述学生特征图的通道的编号匹配。


3.根据权利要求2所述的方法，其特征在于，所述遍历所述教师通道编号和所述学生通道编号进行对应所述教师特征图的通道和所述学生特征图的通道的编号匹配，包括：
按照所述教师通道编号由小到大的顺序，将每一所述教师特征图的通道再以所述学生通道编号由小到大的顺序，依次与每一所述学生特征图的通道进行编号匹配。


4.根据权利要求1所述的方法，其特征在于，在所述根据匹配结果获取所述教师特征图和所述学生特征图之间的目标损失值之前，包括：
根据所述教师特征图进行softmax计算，得到第一概率分布；
根据所述学生特征图进行softmax计算，得到第二概率分布；
相应地，所述根据匹配结果计算所述教师特征图和所述学生特征图之间的目标损失值，包括：
根据所述匹配结果、所述第一概率分布以及所述第二概率分布计算所述目标损失值。


5.根据权利要求4所述的方法，其特征在于，所述根据所述匹配结果、所述第一概率分布以及所述第二概率分布计算所述目标损失值，包括：
获取通道匹配的教师特征图的第一概率分布...

【专利技术属性】
技术研发人员：束长勇，
申请(专利权)人：上海眼控科技股份有限公司，
类型：发明
国别省市：上海;31