一种基于频域监督的深度学习知识蒸馏方法及系统技术方案

技术编号:33628666 阅读:21 留言:0更新日期:2022-06-02 01:28
本发明专利技术公开了一种基于频域监督的深度学习知识蒸馏方法及系统,该方法及系统通过训练教师网络,再根据训练好的教师网络设计学生网络,然后,采用相同的待训练样本数据集,通过在频域上让教师网络对学生网络进行监督,可以确保学生网络可以精细化模仿教师网络的边缘特征,从而可以弥补学生网络对于教师网络特征边缘变化比较明显的区域的学习不够理想的缺陷,进而可以达到提升学生网络的性能的目的。同时,本发明专利技术实施例提供的技术方案可以应用于各类网络的知识蒸馏,可以实现复杂网络的压缩,有利于实现将轻量化网络部署到移动终端等需求。求。求。

【技术实现步骤摘要】
一种基于频域监督的深度学习知识蒸馏方法及系统


[0001]本专利技术涉及深度学习和计算机视觉
,特别是涉及一种基于频域监督的深度学习知识蒸馏方法及系统。

技术介绍

[0002]随着民航事业的发展,基于计算机视觉的目标检测、行人属性分类等项目越发受到民航、安防等视频监控场景落地的关注。现有的航班地面保障状态的识别,大多是基于图像的目标检测方法。但是,根据单张图像比较难对地面保障状态进行识别,无法准确判断目标当前所处的状态。虽然使用航班监控系统采集的视频数据有助于提升航班地面保障的状态的识别效果,但需要处理大量的视频数据,因此,必然需要提高模型的推理速度。
[0003]可见,若要实现实时的智能管理、为机场提供安全保障和提高运转效率,需要兼顾准确识别、运行速度快、便于部署在移动端等各项要求。由于知识蒸馏是对模型压缩有效的一种解决方案,可以提高模型压缩和模型准确性,因此,可以将知识蒸馏应用到航班地面保障状态的识别中。
[0004]目前,已有的知识蒸馏方案仅采用特征图空间域对学生网络进行监督。但是,特征图空间域的监督通常是使用均方差本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于频域监督的深度学习知识蒸馏方法,其特征在于,包括:获取第一待训练样本数据集和待训练教师网络,并将所述第一待训练样本数据集输入所述待训练教师网络中进行训练直至收敛,获得已训练好的第一教师网络;基于所述第一教师网络,设计学生网络;获取第二待训练样本数据集,并将所述第二待训练样本数据集同时输入所述第一教师网络和所述学生网络中进行傅里叶变换和高斯权重分配处理后,获得所述第一教师网络对应的第一频域特征图和所述学生网络对应的第二频域特征图;基于所述第一频域特征图和所述第二频域特征图,计算频域监督损失;判断所述频域监督损失是否收敛;若所述频域监督损失未收敛,则获取新的待训练样本数据集,将所述新的待训练样本数据集替换为所述第二待训练样本数据集,返回执行将所述第二待训练样本数据集同时输入所述第一教师网络和所述学生网络中进行傅里叶变换和高斯权重分配处理后,获得所述第一教师网络对应的第一频域特征图和所述学生网络对应的第二频域特征图;或者,若所述频域监督损失已收敛,则确定完成知识蒸馏。2.如权利要求1所述的方法,其特征在于,基于所述第一教师网络,设计学生网络,包括:将所述学生网络的结构框架设计为与所述第一教师网络的结构框架相同,以及将所述学生网络的特征图通道或层数设计少于所述第一教师网络的特征图通道或层数。3.如权利要求1所述的方法,其特征在于,将所述第二待训练样本数据集同时输入所述第一教师网络和所述学生网络中进行傅里叶变换和高斯权重分配处理后,获得所述第一教师网络对应的第一频域特征图和所述学生网络对应的第二频域特征图,包括:将所述第二待训练样本数据集同时输入所述第一教师网络和所述学生网络中,获得所述第一教师网络对应的第一特征图和所述学生网络对应的第二特征图;对所述第一特征图和所述第二特征图进行傅里叶变换,获得所述第一特征图对应的第三特征图和所述第二特征图对应的第四特征图;按照预设排列方式将所述第三特征图和所述第四特征图中的高频信号和低频信号进行排序并设置权重,获得所述第一频域特征图和所述第二频域特征图。4.如权利要求3所述的方法,其特征在于,对所述第一特征图和所述第二特征图进行傅里叶变换,获得所述第一特征图对应的第三特征图和所述第二特征图对应的第四特征图,包括:采用二维离散傅里叶变换对所述第一特征图和所述第二特征图进行傅里叶变换,获得所述第三特征图和所述第四特征图。5.如权利要求4所述的方法,其特征在于,所述二维离散傅里叶变换遵循以下公式:其中,F(u,v)表示所述第三特征图或所述第四特征图的频域信号,f(x,y)表示所述第一特征图或所述第二特征图上坐标(x,y)处的值,M、N分别表示所述第一特征图或所述第二特征图的行数和列数,j、π为常数。6.如权利要求3所述的方法,其特征在于,按照预设排列方式将所述第三特征图和所述
第四特征图中的高频信号和低频信号进行排序并设置权重,获得所...

【专利技术属性】
技术研发人员:万好韩旭关华
申请(专利权)人:广东机场白云信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1