一种基于跨分辨率知识蒸馏的神经网络加速方法技术

本发明专利技术公开了一种基于跨分辨率知识蒸馏的神经网络加速方法，包括：获取高、低分辨率训练样本；构建高、低分辨率学生网络；通过高分辨率样本数据预训练教师网络；固定教师网络参数，并从高分辨率图像提取教师网络输出；利用学生网络提取低分辨率图像特征，并通过跨分辨率蒸馏损失约束高分辨率教师网络和低分辨率学生网络输出特征保持一致；测试阶段，利用学生网络从低分辨率输入图像提取鲁棒特征。本发明专利技术利用跨分辨率蒸馏损失实现高低分辨率领域之间的知识传播，通过从低分辨率图像提取特征加速网络，减少计算复杂度，利用高分辨率图像先验知识提高深度特则的判别能力和泛化能力，在大幅度减少深度网络计算复杂度的同时保持优秀的识别性能。

A neural network acceleration method based on cross resolution knowledge distillation

【技术实现步骤摘要】
一种基于跨分辨率知识蒸馏的神经网络加速方法
本专利技术涉及深度学习领域，特别涉及一种基于跨分辨率知识蒸馏的神经网络加速方法。
技术介绍
随着大数据的普及和深度学习技术的进步，深度网络取得了长足的进步，并且在人脸识别、行人再识别、物体分类等多个研究任务都取得了重大突破。但是，当前技术在应用场景中面临计算复杂度高、运算速度慢的难题，导致很多深度网络无法满足实时性和资源受限场景的应用需求。针对神经网络计算复杂度高的问题，Hinton等人提出了知识蒸馏的框架：通过很深的网络学习判别鲁棒的特征，把该网络作为教师网络。对于同样的输入，构建一个小而浅的学生网络，并约束学生网络输出与教师网络输出保持一致，通过教师网络知识指导学习网络学习判别鲁棒特征，同时降低神经网络的计算复杂度。虽然知识蒸馏的方法能在降低神经网络复杂度的同时保持较高的网络性能，但是该方法在应用中并不方便。对于不同的计算复杂度需求，需要重新设计新的网络结构进行知识蒸馏学习，不利于实际应用。此外，网络的计算复杂度主要涉及两方面，一方面是网络的结构，另一方面是输入图像的分辨率。当前知本文档来自技高网...

【技术保护点】
1.一种基于跨分辨率知识蒸馏的神经网络加速方法，其特征在于，包括步骤：/n(1)获取同一图像的高分辨率图像和低分辨率图像，将上述高分辨率图像和低分辨率图像分别作为高分辨率训练样本、低分辨率训练样本；/n(2)构建跨分辨率知识蒸馏基本框架，该框架包括高分辨率教师网络和低分辨率学生网络；/n(3)通过高分辨率样本数据预训练高分辨率教师网络，得到教师网络参数；/n(4)固定教师网络参数，并从高分辨率图像提取教师网络输出；利用学生网络提取低分辨率图像特征，并通过跨分辨率蒸馏损失约束高分辨率教师网络和低分辨率学生网络输出特征保持一致；/n(5)测试阶段，利用学生网络从低分辨率输入图像提取鲁棒特征。/n

【技术特征摘要】
1.一种基于跨分辨率知识蒸馏的神经网络加速方法，其特征在于，包括步骤：
(1)获取同一图像的高分辨率图像和低分辨率图像，将上述高分辨率图像和低分辨率图像分别作为高分辨率训练样本、低分辨率训练样本；
(2)构建跨分辨率知识蒸馏基本框架，该框架包括高分辨率教师网络和低分辨率学生网络；
(3)通过高分辨率样本数据预训练高分辨率教师网络，得到教师网络参数；
(4)固定教师网络参数，并从高分辨率图像提取教师网络输出；利用学生网络提取低分辨率图像特征，并通过跨分辨率蒸馏损失约束高分辨率教师网络和低分辨率学生网络输出特征保持一致；
(5)测试阶段，利用学生网络从低分辨率输入图像提取鲁棒特征。


2.根据权利要求1所述的基于跨分辨率知识蒸馏的神经网络加速方法，其特征在于，所述步骤(1)中，对高分辨率训练样本和低分辨率训练样本均进行归一化预处理，预处理的公式为(x-均值)/标准差，其中x为训练数据，数值在[0,1]区间。


3.根据权利要求1所述的基于跨分辨率知识蒸馏的神经网络加速方法，其特征在于，所述步骤(2)中，高分辨率教师网络和低分辨率学生网络均使用ResNet50作为基准网络提取深度特征。


4.根据权利要求1所述的基于跨分辨率知识蒸馏的神经网络加速方法，其特征在于，所述步骤(3)中，通过高分辨率样本数据对高分辨率教师网络进行预训练，以获取高分辨率领域先验知识，方法是：
将教师网络参数表示为Wt，高分辨率教师网络的特征提取过程可以表示为：
zt＝f(xh；Wt)
xh表示高分辨率训练样本，获得教师网络输出特征以后，通过Softmax损失学习判别特征，其公式为：
Lt＝L...

【专利技术属性】
技术研发人员：冯展祥，赖剑煌，谢晓华，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44