用于卷积神经网络的滤波器裁剪方法及贝类自动分类系统技术方案

本发明专利技术公开了一种用于卷积神经网络的滤波器裁剪方法，通过对过滤器进行重要度计算和排序，裁剪掉重要度较低的过滤器，然后计算层中各过滤器之间的正交性度量，选择正交性相对小的相关过滤器，裁剪掉其中重要度排名较低的过滤器，并重新初始化裁剪后的过滤器。由此，本发明专利技术的滤波器裁剪方法抑制特征之间的相关性，更关注正交特征，捕获激活空间中的不同方向，提升分类模型的泛化能力。本发明专利技术还公开了一种贝类自动分类系统，特别是针对高相似度贝类识别难的问题，提高高相似度贝类的自动分类的准确性。

【技术实现步骤摘要】
用于卷积神经网络的滤波器裁剪方法及贝类自动分类系统
本专利技术涉及机器学习领域，尤其涉及用于卷积神经网络的滤波器裁剪方法及贝类自动分类系统。
技术介绍
生物分类学中的分类遵循分类学原理和方法，对生物的各种类群进行界、门、纲、目、科、属、种的等级划分。实际应用中，属于同一科的贝类图片特征具有高相似度且各类样本不均衡，对贝类分类研究提出了更高的要求。目前卷积神经网络(CNN)在物体种类识别方面有广泛的应用，而直接应用到同一科的贝类分类时，由于同科贝类特征相似，以及不同贝类样本分布不平衡和样本分类难度不平衡问题，CNN识别准确率较低，识别效果较差。
技术实现思路
本专利技术所要解决的技术问题是：提供一种用于卷积神经网络的滤波器裁剪方法。为解决上述技术问题，本专利技术所采用的技术方案是：一种高相似度同科贝类自动分类方法，包括以下步骤：S1、计算卷积神经网络的初始过滤器Wl,j的重要度H(Wl，j)，进行排序，其中Wl,j为第l卷积层中第j个过滤器的权重；S2、对重要度H(Wl，j)按照大小进行排序；S3、裁剪掉重要度相对低的s％的过滤器；S4、计算同一层中各过滤器之间的正交性度量；S5、根据各过滤器间的正交性度量，选取正交性相对小的r％的相关过滤器，并裁剪掉其中重要度排名较低的过滤器；S6、重新初始化裁剪后剩余的过滤器。与现有技术相比，本专利技术具有如下技术效果：本方法抑制了特征之间的相关性，更关注正交特征，捕获激活空间中的不同方向，提升分类模型的泛化能力，分类准确度得到提升。在上述技术方案的基础上，本专利技术还可以做如下改进。优选地，所述初始过滤器Wl,j的重要程度H(Wl，j)，首先将Wl,j的值离散化，划分至C个不同的容器，计算每个容器的概率pt，所述重要程度H(Wl，j)按照如下公式计算：式中pt是第t个容器的概率。采用上述进一步方案的有益效果是，这种以输出熵的评价标准衡量过滤器的信息重要性的方法，相比于过滤器范数和参数稀疏度等评价标准，本方法更为准确，且得到的评价指数更有区分性。优选地，所述步骤S4，计算各过滤器之间的正交性度量，步骤如下：S4-1、将表征滤波器的多维向量展开为k×k×c的1维向量f；其中k为滤波器的大小，c为滤波器的通道数；S4-2、将层中所有的Jl个f组合为矩阵Wl，每个f占据一行；S4-3、将矩阵Wl做归一化处理得到S4-4、根据计算相关性矩阵Pl，Pl矩阵第i行数据表示其他过滤器对第i个过滤器的相关性，其中I是与矩阵同大小的单位矩阵；S4-5、根据相关性矩阵计算过滤器间的正交性度量：其中，Δλ表示其他过滤器对第i个过滤器的最小差异性，yi是第i个过滤器，是其他过滤器。采用上述进一步方案的有益效果是能够抑制特征之间的相关性，更关注模型的正交特征，并通过修复准则，重新捕获激活空间中的不同方向，提升模型泛化能力。优选地，所述卷积神经网络采用的损失函数中包含正则化项L1：其中，δ是正则化项的权重参数；I是与矩阵同大小的单位矩阵。优选地，所述卷积神经网络采用的损失函数中包含焦点损失项L2:其中，通过放大(或减小)一个类别的αi值，控制该类别对总的损失的共享权重大小，模型会更重视(或更不重视)该类别的正确预测。根据一个类别真实标签对应的输出概率p(yi)确定该类别对应的γ，当一个贝类样本是易分类样本时，例如p(yi)＝0.9，γ＝3，则(1-p(yi))γ就会很小，这时该易分类样本对总的损失的贡献变的更小；当一个贝类样本是难分类样本时，例如p(yi)＝0.2，γ＝3，则(1-p(yi))γ就会相对很大，这时该难分类样本对总的损失的贡献变的更大。综上，(1-p(yi))γ更加关注于难分类的贝类样本，减少易分类贝类样本的影响。通过放大(小)一个类别的βi值，控制该类别最小差异性对总的损失的影响，模型会更重视(或更不重视)该类别的正确(或不正确)预测。优选地，所述卷积神经网络的目标函数为L＝L1+L2。采用上述进一步方案的有益效果是，实现了对不同样本的权重再分配，通过放大(或缩小)一个类别的αi值，控制该类别对总的损失的共享权重大小，模型会更重视或更不重视该类别的正确预测。通过放大(或缩小)一个类别的βi值，控制该类别最小差异性对总的损失的影响，模型会更重视或更不重视该类别的正确或不正确预测。解决了样本分布不平衡，导致不同样本分类难度存在巨大差异，原始交叉熵损失函数无法刻画这种分布特征的问题。本专利技术还公开了一种贝类自动分类系统，针对高相似度贝类识别。包括图像采集模块、处理控制模块、置物台和输出模块；所述置物台用于放置待分类的贝类；所述图像采集模块用于采集放置在置物台上的贝类的照片；所述处理控制模块包含有基于神经网络分类模型，对采集的贝类照片进行生物类群的识别，并将识别结果输送给输出模块；所述输出模块用于输出识别结果；所述神经网络模型以如上所述的方法进行模型训练。与现有技术相比，本专利技术具有如下有益的效果：对过滤器进行重要度排序，裁剪掉不重要的部分，计算过滤器之间的正交性，裁剪掉正交性较低的过滤器中重要性相对较低的过滤器，再对所有过滤器进行初始化，对于高相似度贝类的分类更佳精准。进一步地，还包括测距模块，所述测距模块用于测量相机到置物台的距离。采用上述进一步方案的有益效果是，获得了相机与置物台的距离，就可以换算出照片中贝类的大概尺寸。进一步地，所述处理控制模块根据测距模块测得的相机与贝类距离信息，分析得到贝类尺寸信息，结合图像采集模块获取的贝类图片信息，利用神经网络分类模型，对贝类进行生物类群的识别。采用上述进一步方案的有益效果是，在分类识别过程中增加了尺寸信息，可以更加准确的识别贝类。进一步地，所述测距模块包括激光源和激光传感器，所述激光源向置物台发射的激光经置物台反射后进入激光传感器。采用上述进一步方案的有益效果是，测量精准，速度快，工作稳定，受外界干扰少。附图说明图1为本专利技术的贝类自动分类系统结构示意图；图2为本专利技术实施例中计算贝类尺寸的流程图；图3为本专利技术的贝类自动分类系统总的工作流程图；图4为本专利技术的贝类自动分类系统中对分类模型进行训练的流程图。具体实施方式以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。请参照图1所示，一种高相似度同科贝类分类装置整体结构示意图1所示。其中，高相似度同科贝类分类装置1，相机2，液晶板3(对应载物台)，测距模块4，激光源5，激光传感器6，处理控制模块7。所述相机采集贝类图片，并传输至所述处理控制模块上。所述测距模块采集相机与贝类图片之间的距离信息，并传输至处理控制模块储存。所述液晶板反射激光(测距的激光)，并且用于用户本文档来自技高网...

【技术保护点】
1.一种用于卷积神经网络的滤波器裁剪方法，其特征在于，包括以下步骤：/nS1、计算卷积神经网络的初始过滤器W

【技术特征摘要】
1.一种用于卷积神经网络的滤波器裁剪方法，其特征在于，包括以下步骤：
S1、计算卷积神经网络的初始过滤器Wl,j的重要度H(Wl，j)，进行排序，其中Wl,j为第l卷积层中第j个过滤器的权重；
S2、对重要度H(Wl，j)按照大小进行排序；
S3、裁剪掉重要度相对低的s％的过滤器；
S4、计算同一层中各过滤器之间的正交性度量；
S5、根据正交性度量，选取正交性相对小的r％的相关过滤器，并裁剪掉其中重要度排名较低的过滤器；
S6、重新初始化裁剪后剩余的过滤器。


2.根据权利要求1所述的用于卷积神经网络的滤波器裁剪方法，其特征在于，所述初始过滤器Wl,j的重要程度H(Wl，j)，首先将Wl,j的值离散化，划分至C个不同的容器，计算每个容器的概率pt，所述重要程度H(Wl，j)按照如下公式计算：

式中pt是第t个容器的概率。


3.根据权利要求1所述的用于卷积神经网络的滤波器裁剪方法，其特征在于，所述步骤S4，计算各过滤器之间的正交性度量，步骤如下：
S4-1、将表征滤波器的多维向量展开为k×k×c的1维向量f；其中k为滤波器的大小，c为滤波器的通道数；
S4-2、将层中所有的Jl个f组合为矩阵Wl，每个f占据一行；
S4-3、将矩阵Wl做归一化处理得到
S4-4、根据计算相关性矩阵Pl，Pl矩阵第i行数据表示其他过滤器对第i个过滤器的相关性，其中I是与矩阵同大小的单位矩阵；
S4-5、根据相关性矩阵计算过滤器间的正交性度量：



其中，Δλ表示其他过滤器对第i个过滤器的最小差异性，yi是第i个过滤器，是其他过滤器。

【专利技术属性】
技术研发人员：岳峻，张洋，贾世祥，李振波，马正，李振忠，寇光杰，姚涛，宋爱环，
申请(专利权)人：鲁东大学，
类型：发明
国别省市：山东;37