面向多角度SAR目标识别网络的轻量化设计方法技术

本发明专利技术公开了面向多角度SAR目标识别网络的轻量化设计方法，属于计算机视觉和遥感的交叉领域。现有的神经网络压缩方法通常是逐步压缩思路且有识别精度损失的，而本发明专利技术结合SAR目标多角度特征保持的要求，使用结构化剪枝生成轻量化SAR目标识别CNN网络结构，使用知识蒸馏恢复CNN网络模型的多角度特征提取能力，使用权重共享进一步压缩网络模型存储空间需求，最终得到了无损的轻量化多角度SAR目标识别网络模型。在识别精度无损的前提下，压缩率能达到60倍以上，同时计算量能减少2倍以上。

Lightweight design method for multi angle SAR target recognition network

【技术实现步骤摘要】
面向多角度SAR目标识别网络的轻量化设计方法
本专利技术涉及一种面向多角度SAR目标识别网络的轻量化设计方法，属于计算机视觉和遥感的交叉领域。
技术介绍
合成孔径雷达(SAR)是一种主动式成像雷达，由其产生的数据具有全天时、全天候，高分辨率、高穿透性的特点。这些优秀的特性使其被广泛运用在地质探测、海洋监测、农林监测、军事侦察等领域。由于成像机理的差异，SAR图像与普通的光学图像很大差别，并且SAR图像中包含大量特殊的乘性噪声，这都对图像的解译工作造成了巨大干扰。SAR图像的解译方法主要分为人工判读解译和计算机模式识别解译。人工判断需要消耗极高的成本且工作效率低下，使用计算机的SAR图像目标自动识别是更优，符合未来趋势的方法。近年来，深度学习被广泛运用到SAR图像目标自动识别中，特别是一些难度较大的自动识别任务中，如多角度SAR目标识别。SAR目标由于独特的散射特性，在不同角度下成像特征差异很大，为多角度特征的提取提出了更多的困难。作为深度学习的重要分支，卷积神经网络(CNN)已被证明在多角度SAR目标自动识别上相较其他方法有一定性能优势。然而，CNN的成功依赖于巨大的参数量和计算量需求。现实应用中大量嵌入式和边缘计算设备没有足够的存储和计算能力提供给CNN使用，对现有CNN模型进行压缩，设计轻量化的CNN模型是SAR图像自动目标识别(ATR)在应用中的刚需。同时，轻量化的CNN模型应该具有最小的精度损失，最好是无损的。本专利技术提出了一种实用、符合逻辑的无损多角度SAR目标识别轻量化网络设计方法。r>
技术实现思路
本专利技术提供了一种面向多角度SAR目标识别网络的轻量化设计方法。不同于一些有损的基于神经网络压缩的多角度SAR目标识别网络设计方法，本专利技术的具体创新点在于提供了一种符合CNN模型构造逻辑的无损压缩的多角度SAR目标识别网络设计方法。通过使用结构化剪枝进行轻量化CNN网络结构设计获得原始CNN网络的压缩模型，进一步使用知识蒸馏联合训练剪枝得到的压缩模型和原始CNN模型已恢复模型分类识别精度，最后通过权重分享进一步压缩存储，获得无损，轻量化的CNN模型，最终模型在SAR多角度自动识别任务中可以取得和原始模型相同的性能。本专利技术的技术方案具体来说，主要包括如下
技术实现思路
：1、基于结构化剪枝的轻量化网络结构设计：针对CNN的每一个卷积层和全连接层，基于一定规则对滤波器进行筛选，删去不重要的滤波器，达到对CNN网络结构进行压缩，得到轻量化网络结构的目的。2、基于知识蒸馏的无损网络精度恢复：使用知识蒸馏的方法联合训练原始CNN模型和经过剪枝的轻量化网络模型，通过联合损失将原始CNN模型中的知识迁移到轻量化网络模型中，完成轻量化模型的精度恢复。3、基于权重分享的网络存储压缩：在轻量化模型完成精度恢复后，对其权重参数进行进一步压缩，具体做法是对每一层的权重参数进行聚类，用较少的聚类中心稀疏表示总体权重，进一步减少CNN模型的存储要求。本专利技术的流程图如图1所示，实施流程如下：步骤1、获取训练好的原始CNN模型：将合成孔径雷达采集到的数据制作成数据集。指定一种适应多角度SAR目标识别的原始CNN网络，如A-ConvNets。利用数据集训练模型，使得CNN模型的分类性能达到满意的精度。步骤2、对原始CNN模型进行结构化剪枝：剪枝是去除CNN网络中不必要的权重连接以进行模型压缩的方法。CNN的强大特征表示能力和分类性能一般认为是由于CNN网络的过参数化，即用大量冗余参数尽可能逼近任务的最优解。剪枝就是去除冗余参数的过程。剪枝分为非结构化的剪枝和结构化的剪枝。非结构化的剪枝直接将权重矩阵中的冗余参数置0，这样会造成权重矩阵的稀疏化，不利于实际情况中的压缩加速。结构化的剪枝将权重矩阵作为一个大滤波器，直接删除不重要的滤波器通道，减少权重矩阵的维度。对于第i层卷积层，输入特征图xi有ni个通道，输出特征图xi+1有ni+1个通道。特征图xi变换到xi+1的过程就是特征图xi穿过一个维度为ni×ni+1的滤波器的过程。如图2所示，假设剪枝过程中修剪第(i-1)个卷积层删除一个通道，修剪第i个卷积层删除两个通道。对于第i卷积层，由于最后一层的修剪，输入特征图xi的维数为ni-1。此时卷积层尺寸为(ni-1)×(ni+1-2)，输出特征图的尺寸为(ni+1-2)。结构化剪枝的核心是选择修剪策略，即如何选择不重要的连接并制定特定的修剪过程。本专利技术连接的重要性由卷积核的权重之和的L1范数确定。至于修剪过程，则使用了逐层修剪策略。这意味着一次只修剪一层，并且在对CNN进行重新训练以基本恢复准确性之后，才会对下一层执行相同的操作。在此策略下，剪枝的步骤被细分如下：1)在每一层中，权重参数的总和以滤波器的单个通道为单位进行计算。对于滤波器的第j个通道，权重重要性表示为pj＝∑|K|，其中K是卷积核的权重；2)使用权重重要性pj从大到小对过滤器的通道进行排序；3)修剪具有最小和值的m个通道。删除连接到这m个通道的下一层的输入特征图；4)重新训练网络以恢复其性能；5)对下一层重复上述步骤，直到完成所有卷积层和全连接层的修剪；步骤3、对经过结构化剪枝的轻量化CNN模型的无损精度恢复：剪枝之后的轻量化CNN模型虽然能够通过再训练恢复一部分精度，但始终是一种有损的CNN模型压缩方法。本专利技术使用知识蒸馏的方法恢复CNN网络模型的多角度特征提取能力。知识蒸馏是一种知识迁移方法，目的是通过与大型网络(教师网络)的联合培训来诱导小型网络(学生网络)的培训并传递知识。本专利技术的教师网络是未经修剪的，训练有素的网络，而学生网络是经过结构化修剪的轻量化模型。细节上，本专利技术通过修改学生网络的损失和使用联合损失指导轻量化CNN模型的无损精度恢复。在CNN的训练中，softmax分类器用于处理网络的分类概率qi。令zi为网络的输出，则一般认为在错误的分类中，仍然存在一些隐藏信息可以引导特征提取。知识蒸馏中引入超参数温度T来提取隐藏信息。此时，分类概率qi被表示为：温度T越大，隐藏信息越有可能被提取。使用超参数T的训练过程称为“软目标”训练，其网络输出为zi/T。普通训练称为“硬目标”训练，其网络输出为zi。本专利技术于是定义联合训练时的联合损失Lt被用来评价剪枝模型从原始模型中学习的水平，其定义为：其中和是剪枝模型和教师模型的软目标，F1分别表示KL散度，用于描述和之间的差异；F2是交叉熵，用于测量预测输出Qp与实际值Ytrue之间的差异；α作为超参数，用于平衡联合损失的两个部分，T是温度参数，用于控制蒸馏训练的快慢与质量；步骤4、使用权重共享进一步压缩轻量化CNN模型的存储空间；在一些嵌入式，边缘端计算中，对轻量化CNN模型的存储空间提出了更高的要求。本专利技术在获得无损的轻量化CNN模型后对模型的权重矩阵进行了进一步压缩。基于K-means聚类的权重共享被引入以减少权重矩阵的存储消耗；假设权重被分为C类本文档来自技高网...

【技术保护点】
1.面向多角度SAR目标识别网络的轻量化设计方法，其特征在于：该方法的实施流程如下：/n步骤1、获取训练好的原始CNN模型；/n将合成孔径雷达采集到的数据制作成多角度SAR数据集；指定一种原始CNN网络；利用数据集训练模型，使得CNN模型的分类性能达到满意的精度；/n步骤2、对原始CNN模型进行结构化剪枝；/n结构化的剪枝将权重矩阵作为一个大滤波器，直接删除不重要的滤波器通道，减少权重矩阵的维度；对于第i层卷积层，输入特征图x

【技术特征摘要】
1.面向多角度SAR目标识别网络的轻量化设计方法，其特征在于：该方法的实施流程如下：
步骤1、获取训练好的原始CNN模型；
将合成孔径雷达采集到的数据制作成多角度SAR数据集；指定一种原始CNN网络；利用数据集训练模型，使得CNN模型的分类性能达到满意的精度；
步骤2、对原始CNN模型进行结构化剪枝；
结构化的剪枝将权重矩阵作为一个大滤波器，直接删除不重要的滤波器通道，减少权重矩阵的维度；对于第i层卷积层，输入特征图xi有ni个通道，输出特征图xi+1有ni+1个通道；特征图xi变换到xi+1的过程就是特征图xi穿过一个维度为ni×ni+1的滤波器的过程；具体而言：
1)在每一层中，权重参数的总和以滤波器的单个通道为单位进行计算；对于滤波器的第j个通道，权重重要性表示为pj＝∑|K|，其中K是卷积核的权重；
2)使用权重重要性pj从大到小对过滤器的通道进行排序；
3)修剪具有最小和值的m个通道；删除连接到这m个通道的下一层的输入特征图；
4)重新训练网络以恢复其性能；
5)对下一层重复上述步骤，直到完成所有卷积层和全连接层的修剪；
步骤3、对经过结构化剪枝的轻量化CNN模型的无损精度恢复；
使用知识蒸馏的方法使有损的轻量化模型多角度特征提取能力恢复至无损的原始模型水平；教师网络是未经修剪的，训练有素的网络，而学生网络是经过结构化修剪的轻量化模型；通过修改学生网络的损失和使用联合损失指导轻量化CNN模型的无损精度恢复；在CNN的训练中，softmax分类器用于处理网络的分类概率qi得到分类结果；令zi为网络的输出，则



知识蒸馏中引入超参数温度T来提取隐藏信息；此时，分类概率qi被表示为：



温度T越大，隐藏信息越有可能被提取；...

【专利技术属性】
技术研发人员：张帆，刘颖冰，周勇胜，尹嫱，洪文，
申请(专利权)人：北京化工大学，
类型：发明
国别省市：北京;11