一种基于生成对抗掩膜的深度网络层次分析与压缩方法技术

本发明专利技术公开了一种基于生成对抗掩膜的深度网络层次分析与压缩方法，包括以下步骤：步骤一、初始化深度网络层次分析与压缩模型；步骤二、训练深度网络层次分析与压缩模型；步骤三、利用测试集对训练好的深度网络层次分析与压缩模型进行测试，保存学生网络参数；步骤四、对待分析的深度神经网络进行层次分析，并压缩网络结构。本发明专利技术结构简单、设计合理，将掩膜层加入到待分析的深度神经网络构成学生网络，原深度神经网络作为教师网络，经生成对抗训练后，使得学生网络具备教师网络一致的功能，并利用各个掩膜层参数获得深度神经网络各层的贡献度，从而实现深度网络的层次分析与压缩。从而实现深度网络的层次分析与压缩。从而实现深度网络的层次分析与压缩。

【技术实现步骤摘要】
一种基于生成对抗掩膜的深度网络层次分析与压缩方法


[0001]本专利技术属于深度神经网络可解释性
，具体涉及一种基于生成对抗掩膜的深度网络层次分析与压缩方法。

技术介绍

[0002]近年来，随着GPU设备计算能力的大幅度提高，以深度学习为代表的人工智能得以迅速发展。深度学习的核心技术是深度神经网络(DNN)，是一种具有多个卷积层和大量权重参数的网络模型，也因此它对事物具有很强的学习能力以及特征表示能力，深度学习网络已被广泛用于许多人工智能和机器学习应用，例如图像分类、目标检测、自动驾驶车辆等。
[0003]尽管越来越深的卷积神经网络模型对事物具有很强的学习能力，但同时在硬件上消耗的资源也更大，为解决神经网络在终端设备上的部署问题，模型压缩技术应运而生。模型压缩主要是指输入一个大的网络模型，通过特定方法在网络模型的尺寸、参数量和计算量上进行压缩，输出一个更加精简且高效的网络。知识蒸馏技术是当前模型压缩领域中的研究热点之一，它将教师网络中学习到的知识传授给学生网络，用来提高学生网络的性能。虽然知识蒸馏能够一定程度上提高学生网络的性能，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗掩膜的深度网络层次分析与压缩方法，其特征在于：包括以下步骤：步骤一、初始化深度网络层次分析与压缩模型；步骤101、将待分析的深度神经网络作为教师网络f
t
，复制该教师网络并在每个卷积层之后加入掩膜层构建学生网络f
s
；步骤102、将训练好的待分析网络权重参数加载到教师网络f
t
和学生网络f
s
，初始化掩膜层参数m，初始化判别网络D；步骤103、对于待分析的深度神经网络所用的分类识别任务数据集，将其随机划分为训练集和测试集；步骤二、训练深度网络层次分析与压缩模型：步骤201、将训练数据集样本x输入到教师网络f
t
得到教师网络特征f
t
(x,W
t
)，将样本x输入到学生网络f
s
得到学生网络特征f
s
(x,W
s
,m)，其中W
t
表示教师网络参数，W
s
表示学生网络参数，m表示掩膜层的参数；步骤202、将教师网络特征f
t
(x,W
t
)输入到判别网络D得到预测结果将学生网络特征f
s
(x,W
s
,m)输入到判别网络D得到预测结果判别网络D用于鉴别由掩膜层约束的学生网络输出特征的真伪，使得学生网络生成的特征与教师网络输出的特征尽量相似；步骤203、固定教师网络参数W
t
、学生网络参数W
s
，通过梯度反向传播以更新判别网络D的参数W
D
，更新优化判别网络D的损失函数L
D
如下:步骤204、固定教师网络参数W
t
、判别网络参数W
D
和掩膜层参数m，通过梯度反向传播以更新学生网络f
s
的参数W
s
，更新优化学生网络f...

【专利技术属性】
技术研发人员：耿杰，张宇航，来加威，蒋雯，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：