一种基于跨层精简双线性网络的细粒度鸟类识别方法技术

本发明专利技术公开了一种基于跨层精简双线性网络的细粒度鸟类识别方法。包括以下步骤：首先对CUB‑200‑2011数据集中的5994张训练图片和5794张测试图片进行预处理，然后将处理后的图像输入VGG‑16卷积神经网络提取鸟类图像的特征图谱。为考虑层间特征交互，对得到的不同高层卷积的特征图谱提取出三组精简双线性特征表示，对其进行归一化操作后并级联送入softmax分类器。最后利用交叉熵损失并佐以成对混淆损失优化整个网络。本发明专利技术所描述的识别方法具有特征维度低、计算量少、识别率高、鲁棒性强等优点，针对细粒度图像分类这一特定领域，具备一定使用价值，可以进行实际应用。

【技术实现步骤摘要】
一种基于跨层精简双线性网络的细粒度鸟类识别方法
本专利技术设计了一种基于跨层精简双线性网络的细粒度鸟类识别方法，涉及深度学习、细粒度图像分类。
技术介绍
细粒度分类主要目的是在相同基本类别下对其繁多的子类别进行区分，例如不同种类的鸟类、花卉等。与粗粒度图像相比，细粒度图像类间差异细微，类内差异显著，细粒度特征的获取往往更加复杂、更加依赖图像的标注来确定模型中的复杂参数，尽可能地避免少量数据引起的过拟合现象。早期细粒度识别方法，依赖人工标注的局部信息，对分类模型进行强监督学习。局部标注通常需要相应领域的专家才能完成，导致此类方法人工参与程度高。近年来，仅需图像类别标签的弱监督学习方法成为了研究热点。主流的基于弱监督信息的细粒度分类方法主要有两种类型。第一种类型采用“定位”子网络辅助“分类”主网络的结构，通过定位网络提供的局部信息(如部件位置或分割掩模)增强分类网络的学习能力。此类方法在定位和识别能力之间需要进行权衡，这可能会降低单个网络的性能。这种权衡也反映在实践中，即训练过程中通常会涉及两个网络的交替优化或单独训练两个网络，然后再进行联合调整。第二种类型是端到端的特征编码，通过编码卷积特征映射的高阶统计量来增强卷积神经网络的学习能力。这类方法寻求图像的鲁棒性表示，传统表示符包括VLAD、具有SIFT特征的Fisher矢量。此类模型以平移不变的方式捕获局部特征交互，这特别适用于纹理和细粒度识别任务。本专利技术基于端到端编码的精简双线性网络(BilinearConvolutionalNeuralNetwork，BCNN)，提出了基于跨层精简双线性网络的细粒度鸟类识别方法，充分利用来自不同卷积层的特征图谱的层间特征相关性和交互性，并加以成对混淆对交叉熵损失函数正则化。该方法弥补了单一卷积层得到的双线性特征的不充分性，较BCNN特征维度低、计算量少，在CUB-200-2011数据集上取得86.6％的识别率。
技术实现思路
本专利技术通过以下技术方案来实现上述目的，包括以下步骤：(1)鸟类图像特征提取。首先对CUB-200-2011数据集中的5994张训练图片和5794张测试图片进行预处理，然后将处理后的图像输入卷积神经网络提取图像的深度表征向量。(2)跨层精简双线性特征融合。为考虑层间特征交互，将步骤(1)得到的不同高层卷积的特征图谱进行精简双线性运算得到三组双线性特征表示，对其进行归一化操作后级联，再送入softmax分类器。(3)利用交叉熵损失并佐以成对混淆损失优化网络。将一个训练batch中的样本随机划分为两组图片对，若图片对具有相同的标签，则直接计算交叉熵损失；若图片对具有不同的标签，则在交叉熵损失的基础上增加成对欧式损失作为正则化项。附图说明图1鸟类特征图像提取网络图2不同高层卷积激活响应示意图图3精简双线性运算示意图图4跨层精简双线性网络框图图5带成对混淆损失的网络训练方法具体实施方式下面结合附图对本专利技术做进一步说明：图1是基于VGG-16的鸟类特征图像提取网络。本专利技术的图像特征提取器选取VGG-16，并去掉第五个池化层pool5以及fc6、fc7、fc8三个全连接层。首先对数据集图片做预处理，将其按长宽比例缩放为512×S。训练阶段对图片进行打乱、水平翻转和随机裁剪，输入尺寸为448×448；测试阶段仅对图片进行中心裁剪。图2是特征提取网络中不同高层卷积激活响应示意图。由图2知，不同的卷积层对输入图像中各部件的判别性各不相同。如图2中第一行图片，conv5_1对黑脚信天翁的尾部、头部和翅膀均有较强的响应，而conv5_3仅保留了对头部的激活响应。受此观察的启发，为更好地捕获层间特征关系，本专利技术提出一种跨层精简双线性池化方法。它考虑了层间特征交互，整合多个跨层双线性特征并在最终分类之前进行特征融合以增强其表示能力，避免了额外的训练参数。与仅利用来自单个卷积层特征的BCNN相比，本方法将卷积神经网络中的每个卷积层视为部分属性提取器，利用了来自多个层的部分特征交互。图3是精简双线性运算示意图。具体实现步骤为：(1)首先，利用CountSketch函数Ψ将特征向量fk∈Rc映射到特征空间，k＝1,2。定义两个向量sk∈{-1,1}，hk∈{1,...,d}，初始化服从均匀分布，其值在后续运算中固定不变。hk用于寻找fk的第i个元素fk(i)在特征空间中对应的索引j＝hk(i)，则有Ψ(fk,hk,sk)＝{Q1,Q2,...,Qd}其中：i∈{1,...,C}；j∈{1,...,d}。(2)TensorSketch算法指出，可通过计算两个特征向量CountSketch的卷积得到两个向量外积的CountSketch，可表示为其中，*表示卷积运算。卷积定理指出，时间域中的卷积等价为频率域中的乘积。于是，上式可表示为其中，F表示快速傅里叶变换，F-1表示傅里叶逆变换，表示元素对相乘。(3)将通过上述步骤得到的三组双线性特征向量做归一化操作。首先双线性特征x＝Ψ(i)通过符号平方根得到然后进行l2归一化(z←y/||y||2)。图4是跨层精简双线性网络框图。具体实现步骤为：(1)选取VGG-16作为特征提取器，从鸟类特征图像提取网络得到不同高层卷积的输出特征图谱并记为f1(x,y),f2(x,y),f3(x,y)，其中f1、f2、f3分别对应VGG-16第五段卷积层conv5_1、conv5_2、conv5_3输出的特征函数。(2)按图3的组合方式将不同层的输出特征图fA与另一层特征图fB进行精简双线性运算得到三组双线性特征向量。(3)将归一化后的特征向量级联并送入softmax分类器分类。图5是带成对混淆损失的网络训练方法。成对混淆的核心思想在于：将一个训练batch中的样本随机划分为两组图片对，若图片对具有相同的标签，则直接计算交叉熵损失；若图片对具有不同的标签，则在交叉熵损失的基础上增加成对欧式损失作为正则化项。其主要步骤如下：(1)将一个训练batch中的样本随机分为两组(x1,y1)、(x2,y2)。(2)获得两组样本的类别标签向量label(x1)和label(x2)。(3)若两组样本具有相同的标签，则直接计算交叉熵损失若两组样本具有不同的标签，则在交叉熵损失的基础上增加欧式成对混淆损失作为正则化项，即其中DEC表欧氏距离，LEC表交叉熵损失，pθ(y|xi)为softmax分类器输出的概率向量。(4)反向传播损失并更新网络参数。(5)进入下一个batch并跳转至步骤(1)。本文档来自技高网...

【技术保护点】
1.一种基于跨层精简双线性网络的细粒度鸟类识别方法，其特征在于包括以下步骤：/n(1)首先对CUB-200-2011数据集中的5994张训练图片和5794张测试图片进行预处理，然后将处理后的图像输入卷积神经网络VGG-16提取鸟类图像的特征图谱；/n(2)为考虑层间特征交互，对步骤(1)中得到的不同高层卷积的特征图谱跨层提取三组精简双线性特征向量，对其进行归一化操作后并级联，再送入softmax分类器；/n(3)利用交叉熵损失并佐以成对混淆优化网络。/n

【技术特征摘要】
1.一种基于跨层精简双线性网络的细粒度鸟类识别方法，其特征在于包括以下步骤：
(1)首先对CUB-200-2011数据集中的5994张训练图片和5794张测试图片进行预处理，然后将处理后的图像输入卷积神经网络VGG-16提取鸟类图像的特征图谱；
(2)为考虑层间特征交互，对步骤(1)中得到的不同高层卷积的特征图谱跨层提取三组精简双线性特征向量，对其进行归一化操作后并级联，再送入softmax分类器；
(3)利用交叉熵损失并佐以成对混淆优化网络。


2.根据权利要求1所述的跨层双线性特征提取，其特点在...

【专利技术属性】
技术研发人员：何小海，蓝洁，滕奇志，卿粼波，任超，吴小强，吴晓红，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51