一种基于CNN特征映射剪枝的快速水下目标识别方法技术

本发明专利技术公开了一种基于CNN特征映射剪枝的快速水下目标识别方法，包括CNN特征映射剪枝的步骤：首先构建一个深度模型来充分地拟合训练数据，然后将该模型作为基准模型，开展神经网络剪枝工作；对隐藏层的剪枝敏感度进行测试，选取低敏感度的隐藏层并删除对精度影响小的特征映射；还包括改进的剪枝策略：完成剪枝操作后通过重训练恢复模型精度；通过本发明专利技术的方法减少神经网络的参数量及计算量，解决当前神经网络对硬件的存储和计算能力要求高的不足。

【技术实现步骤摘要】
一种基于CNN特征映射剪枝的快速水下目标识别方法
本专利技术属于目标识别
，特别涉及一种基于CNN特征映射剪枝的快速水下目标识别方法。
技术介绍
近年来，卷积神经网络凭借其优越的性能，在水下目标识别、检测、跟踪等方面扮演这不可替代的角色，但是这些成果的取得都依赖于不断开发出的更深层次的网络，如AlexNet、VGG、ResNet等。其中AlexNet拥有6100万的参数，VGG-16更是拥有超过1.38亿的参数，因此神经网络很难部署在存储资源有限的水下设备上，如自主式水下机器人(AUV)等。不仅如此水下目标识别往往对识别的实时性有较高的要求，因此在计算资源匮乏的水下设备上部署大型神经网络很难满足实时性的要求。为了降低神经网络部署所需的存储需求，满足水下目标识别的实时性要求，需要研究神经网络的压缩技术。CNN特征映射剪枝技术是一种去除神经网络中部分特征映射来减少神经网络参数量及所需浮点数计算量(FLOPs)的技术，其核心是寻找对神经网络性能影响最小的特征映射。目前，世界上许多研究机构都在积极开展关于神经网络压缩技术的研究。神经网络压缩技术可分为：神经网络剪枝、张量分解、知识蒸馏、权重量化等。其中神经网络剪枝包含三种剪枝粒度：隐藏层剪枝、特征映射剪枝、卷积核内剪枝。1)隐藏层剪枝最粗糙的神经网络剪枝技术，通过对隐藏层剪枝减少大量的参数量及浮点数计算量，但会对神经网络造成较大的精度损失，很难通过重训练恢复性能。2)特征映射剪枝本方法在该粒度上进行剪枝，可在保证神经网络性能的同时，有效地减少神经网络对存储及计算量的需求，但需要仔细筛选要删除的特征映射，否则会对模型造成无法恢复的性能损失。3)卷积核内剪枝最细粒度的神经网络剪枝技术，可明显减少模型的参数量，但不能减少运行时间，且此方法是一种非结构化的剪枝方法，会导致网络连接不规整，需要通过稀疏表达来减少内存占用，进而导致在前向传播时，需要大量条件判断和额外空间来标明0或非0参数位置，因此不适合并行计算，并且非结构化的稀疏性需要使用专门的软件计算库或者硬件。4)张量分解该技术通过将一个隐藏层分解成多个低复杂度的网络层从而有效地压缩神经网络，但在基于随机梯度下降法的模型权重微调过程中难以获取张量分解的优化解。5)知识蒸馏通过联合训练教师网络和学生网络，使得小型学生网络的性能具有与复杂的教师网络相似的性能。但是该方法需要在大型服务器上预先训练一个复杂的大型模型。6)权重量化该技术通过减少表示每个权重所需的比特数来压缩原始网络，但这种技术在压缩率较高时，无法提供令人满意的准确率，这种技术多与其他技术结合使用。
技术实现思路
针对现有技术存在的不足，本专利技术提供一种基于CNN特征映射剪枝的快速水下目标识别方法，尽可能在保证神经网络模型的性能不会下降的同时，对特征映射进行剪枝，减少神经网络的参数量及计算量，解决当前神经网络对硬件的存储和计算能力要求高的不足，进而解决快速水下目标识别问题。为了解决上述技术问题，本专利技术采用的技术方案是：一种基于CNN特征映射剪枝的快速水下目标识别方法，包括以下步骤：S1、获取水下目标图像；S2、CNN特征映射剪枝的步骤：首先构建一个深度模型来充分地拟合训练数据，然后将该模型作为基准模型，开展神经网络剪枝工作；对隐藏层的剪枝敏感度进行测试，选取低敏感度的隐藏层并删除对精度影响小的特征映射；S3、改进的剪枝策略：完成剪枝操作后通过重训练恢复模型精度；S4、然后再进行水下目标识别操作。进一步的，步骤S2CNN特征映射剪枝是结合K-means算法定位对模型精度影响较小的特征映射进行剪枝，具体的剪枝流程分为三个阶段：第一阶段：测试各隐藏层对于剪枝的敏感度，选取低敏感度的隐藏层；第二阶段：寻找对精度影响小的特征映射并删除相应的滤波器达到压缩神经网络的目的；第三阶段：重训练神经网络，恢复模型精度。进一步的，第二阶段的特征映射剪枝方法具体如下：输入xinput经过某卷积层输出N个特征映射X∈{x1,x2,...,xN}，则该卷积层拥有N个滤波器θ∈{θ1,θ2,...,θN}，通过计算ith滤波器和jth滤波器之间的欧氏距离d(θi,θj)来度量ith特征映射和jth特征映射之间的相似性：欧式距离d越小，那么两个滤波器提取特征的功能则越相似，其输出特征映射在功能上的相似性越强；将某层的滤波器据称K类，相应的特征映射也被聚为K类，本方法仅保留最靠近聚类中心点的滤波器，假设某卷积层的目标剪枝率为α，则需要将滤波器聚类成K＝N(1-α)个类别，那么，损失函数W(C)为滤波器与所属类别中心的距离的总和，即：其中是kth类的聚类中心，C为划分函数，只需找到合适的聚类中心然后计算滤波器与每个聚类中心的欧式距离d，将其归到d最小的类别中即可有效地完成聚类；完成聚类的关键在于求解最优化问题：使用k-means算法对这个最优化问题进行求解，求解主要分以下几个步骤：1)预将滤波器分为K组，随机选取K个对象作为初始聚类中心；2)计算每个对象与各子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象代表一个聚类；3)每分配一个对象，聚类中心会根据聚类空间中现有的对象被重新计算；4)重复过程2)和3)直到满足目标压缩率。进一步的，在最终的卷积层后添加全局平均池化层来代替最初的全连接层，随后添加一个全连接层并在该层后添加softmax激活函数进行分类。进一步的，经过剪枝操作后，神经网络的性能会有一个明显的衰减，需要通过微调来恢复性能，S3改进的剪枝策略是指：采用居中的方式对模型进行剪枝，分多次进行剪枝直到达到目标剪枝率，每次剪枝之后都进行一个小批量的重训练，在达到目标剪枝率后进行大批量的重训练来恢复模型精度，在训练时间与精度损失之间达到了平衡。进一步的，随着迭代次数的增加，每次被删除的特征映射的数目逐步减少，每次只删除所选中低敏感度卷积层当前10％的特征映射，改进后的剪枝策略可以通过调节迭代次数达到预期的剪枝率。与现有技术相比，本专利技术优点在于：1)本专利技术提出一种CNN特征映射剪枝技术，尽可能在保证神经网络模型的性能不会下降的同时，对特征映射进行剪枝，减少神经网络的参数量及计算量，有效减少了神经网络对硬件设备的需求并明显提高了识别速度。2)借助K-means算法对滤波器进行聚类，寻找功能相似的特征映射或在功能上存在冗余的特征映射进行剪枝，能够有效避免模型在水下目标识别精度上的损失。3)本专利技术还提出一种改进的剪枝策略，迭代对模型进行剪枝，并随迭代次数的增加逐步减少被删除的特征映射的数目，有效避免网络结构被破坏，有效恢复剪枝后模型的泛化性能。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介本文档来自技高网...

【技术保护点】
1.一种基于CNN特征映射剪枝的快速水下目标识别方法，其特征在于，包括以下步骤：/nS1、获取水下目标图像；/nS2、CNN特征映射剪枝的步骤：/n首先构建一个深度模型来充分地拟合训练数据，然后将该模型作为基准模型，开展神经网络剪枝工作；/n对隐藏层的剪枝敏感度进行测试，选取低敏感度的隐藏层并删除对精度影响小的特征映射；/nS3、改进的剪枝策略：完成剪枝操作后通过重训练恢复模型精度；/nS4、然后再进行水下目标识别操作。/n

【技术特征摘要】
1.一种基于CNN特征映射剪枝的快速水下目标识别方法，其特征在于，包括以下步骤：
S1、获取水下目标图像；
S2、CNN特征映射剪枝的步骤：
首先构建一个深度模型来充分地拟合训练数据，然后将该模型作为基准模型，开展神经网络剪枝工作；
对隐藏层的剪枝敏感度进行测试，选取低敏感度的隐藏层并删除对精度影响小的特征映射；
S3、改进的剪枝策略：完成剪枝操作后通过重训练恢复模型精度；
S4、然后再进行水下目标识别操作。


2.根据权利要求1所述的基于CNN特征映射剪枝的快速水下目标识别方法，其特征在于，步骤S2CNN特征映射剪枝是结合K-means算法定位对模型精度影响较小的特征映射进行剪枝，具体的剪枝流程分为三个阶段：
第一阶段：测试各隐藏层对于剪枝的敏感度，选取低敏感度的隐藏层；
第二阶段：寻找对精度影响小的特征映射并删除相应的滤波器达到压缩神经网络的目的；
第三阶段：重训练神经网络，恢复模型精度。


3.根据权利要求2所述的基于CNN特征映射剪枝的快速水下目标识别方法，其特征在于，第二阶段的特征映射剪枝方法具体如下：
输入xinput经过某卷积层输出N个特征映射X∈{x1,x2,...,xN}，则该卷积层拥有N个滤波器θ∈{θ1,θ2,...,θN}，通过计算ith滤波器和jth滤波器之间的欧氏距离d(θi,θj)来度量ith特征映射和jth特征映射之间的相似性：



欧式距离d越小，那么两个滤波器提取特征的功能则越相似，其输出特征映射在功能上的相似性越强；
将某层的滤波器据称K类，相应的特征映射也被聚为K类，本方法仅保留最靠近聚类中心点的滤波器，假设某卷积层的目标剪枝率为α，则需要将滤波器聚类成K＝N(1-α)个类别，...

【专利技术属性】
技术研发人员：殷波，魏志强，房政，杜泽华，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东;37