一种结合显著性区域的卷积神经网络的花卉图像分类方法技术

本发明专利技术涉及一种结合显著性区域的卷积神经网络的花卉图像分类方法，在卷积神经网络提取花卉图像的全局特征的基础上，加入Itti‑Koch视觉注意计算模型计算得到花卉图像的显著性区域，再使用卷积神经网络在花卉图像显著性区域上提取显著性区域特征，将全局特征与显著性区域特征相融合，用于花卉图像的精细分类。本发明专利技术提出的一种结合显著性区域的卷积神经网络的花卉图像分类方法克服了卷积神经网络直接在原始图像上提取特征时背景复杂性的影响，具有较强的实用性。

【技术实现步骤摘要】
一种结合显著性区域的卷积神经网络的花卉图像分类方法
本专利技术涉及图像分类领域，特别是一种结合显著性区域的卷积神经网络的花卉图像分类方法。
技术介绍
伴随着计算机科学技术的飞速发展，通过移动电话或照相机等终端设备可以很便捷地拍摄各种花卉图像，但对花卉图像的分类和识别并不是很容易做到，通常需要在专家指导下才有可能正确地识别和分类。花卉图像精细分类是图像分类研究范围中最重要的方向之一。在图像分类中,传统的方法包含基于词袋(Bagofwords,BOW)的方法和基于图像分割的方法等。这些方法虽然在一些应用中取得了很好的效果,但在准确性方面仍存在较大提升空间。随着深度学习的兴起,人们将深度学习应用于图像分类中，并在许多应用中取得明显好于传统方法的结果。另一方面，视觉注意机制是基于人的视觉系统对视觉信息进行选择和过滤，将注意力集中在感兴趣的目标上，从而达到快速定位识别目标过程。Itti和Koch最早建立了视觉注意计算模型。Itt-Koch视觉注意模型计算花卉图像显著图的流程和人类的视觉神经系统寻找图像中感兴趣目标的过程非常符合。因此，该模型能够找到花卉像中内容丰富的显著性区域。
技术实现思路
本专利技术的目的在于提供一种结合显著性区域的卷积神经网络的花卉图像分类方法，以克服现有技术中存在的缺陷。为实现上述目的，本专利技术的技术方案是：一种结合显著性区域的卷积神经网络的花卉图像分类方法，按照如下步骤实现：步骤S1：采用基于Itti-Koch视觉注意力模型计算花卉原始图像对应的花卉图像显著图；步骤S2：计算花卉图像显著性区域；步骤S3：在所述花卉原始图像、所述花卉图像显著性区域上分别训练卷积神经网络；步骤S4：通过采用完成训练的卷积神经网络，分别对所述花卉原始图像和所述花卉图像显著性区域提取特征；步骤S5：进行特征融合；步骤S6：对图像进行分类。在本专利技术一实施例中，在所述步骤S1中，所述花卉图像显著图计算包括如下步骤：步骤S11：提取所述花卉原始图像的视觉特征；步骤S12：根据所述视觉特征计算花卉图像显著图。在本专利技术一实施例中，在所述步骤S11中，还包括如下步骤：步骤S111：统一所述花卉原始图像的尺寸，采用9级高斯金字塔算法对所述花卉原始图像进行采样，并采样为尺度0至尺度8，共9个尺度；步骤S112：在每个尺度上对应提取视觉特征图，包括：颜色特征、亮度特征和方向特征；步骤S113：对提取的所有视觉特征图进行center-surround操作。在本专利技术一实施例中，在所述步骤S12中，还包括如下步骤：步骤S121：将各个视觉特征图的尺寸分别通过差值调整为与所述高斯金字塔算法中第四层图像的尺寸相同；步骤S122：将每个视觉特征图中的像素相加；步骤S123：利用归一化算子对每个视觉特征图进行归一化，获取亮度显著图、颜色显著图和方向显著图；步骤S124：通过对所述亮度显著图、颜色显著图和方向显著图进行叠加，得到所述花卉图像显著图。在本专利技术一实施例中，在所述步骤S2中，还包括如下步骤：步骤S21：对所述花卉图像显著图进行闭运算操作；步骤S22：将所述花卉图像显著图与所述花卉原始图像进行交运算，得到所述花卉图像显著性区域。在本专利技术一实施例中，在所述步骤S3中，分别将所述花卉原始图像、所述花卉图像显著性区域与对应的花卉类别作为训练集，采用小于预设值的不同随机数对所述卷积神经网络进行权值初始化，经过前向传播和反向传播两个阶段，直至所述卷积神经网络中每一层的权值参数确定，完成所述卷积神经网络训练。在本专利技术一实施例中，所述卷积神经网络包括5个卷积层，2个全连接层，卷积操作采用7×7的卷积核，滑动窗口的步长设置为2；激活函数采用ReLU；池化操作采用最大池化，池化单元为3×3，池化单元的移动步长为2。在本专利技术一实施例中，在所述步骤S4中，通过上分支的卷积神经网络对所述花卉原始图像进行特征学习提取，得到花卉图像的全局特征；通过下分支的卷积神经网络对所述花卉图像显著性区域进行特征学习提取，得到花卉图像的主体特征。在本专利技术一实施例中，所述特征学习提取包括：将图像尺寸统一处理成224×224，根据RGB色彩空间把图像划分为三个平面；通过所述卷积神经网络的第一层，在特征空间重构后获得96张特征图，每张特征图的尺寸为55×55；将第一层的96幅特征图输入第二层，得256张尺寸为27×27的特征图；第三层和第四层都得到384张尺寸大小为13×13的特征图；第五层得到256张尺寸为6×6的特征图；第六层的全连接层将第五层输出的特征图进行全相连，输出6×6×256=9216维向量，对其池化操作后得到一个4096维的向量。在本专利技术一实施例中，在所述步骤S5中，通过使用全连接层将上、下两个分支的特征进行串联。相较于现有技术，本专利技术具有以下有益效果：本专利技术提出的一种结合显著性区域的卷积神经网络的花卉图像分类方法，在卷积神经网络提取花卉图像的全局特征的基础上，加入Itti-Koch视觉注意计算模型计算得到花卉图像的显著性区域，再使用卷积神经网络在花卉图像显著性区域上提取显著性区域特征，将全局特征与显著性区域特征相融合，用于花卉图像的精细分类，该方法克服了卷积神经网络直接在原始图像上提取特征时背景复杂性的影响，具有较强的实用性。附图说明图1为本专利技术一实施例中结合显著性区域的卷积神经网络结构框架图。图2为本专利技术一实施例中花卉图像显著图的计算流程图。具体实施方式下面结合附图，对本专利技术的技术方案进行具体说明。本专利技术提供一种结合显著性区域的卷积神经网络的花卉图像分类方法，具体包括以下步骤：步骤S1：针对花卉原始图像，基于Itti-Koch视觉注意力模型计算花卉图像显著图；步骤S2：计算花卉图像显著性区域；步骤S3：在花卉图像原图、花卉图像显著性区域上分别训练卷积神经网络。步骤S4：利用训练好的卷积神经网络分别对花卉图像的原图和显著性区域提取特征。步骤S5：特征融合。步骤S6：对图像进行分类。进一步地，在本实施例中，步骤S1具体包括以下步骤：步骤S11：视觉特征提取；步骤S111：统一花卉图像的尺寸，采用9级高斯金字塔算法将花卉图像采样为尺度0至尺度8共9个尺度；步骤S112：在每个尺度的花卉图像上提取颜色特征、亮度特征和方向特征等多种视觉特征图；步骤S113：提取的所有特征图进行center-surround操作；步骤S12：计算显著图；步骤S121：利用差值将各个特征图分别调整为与高斯金字塔结构中第四层图像尺寸相同；步骤S122：将每个特征图中对应像素相加；步骤S123：利用归一化算子对特征显著图进行归一化；步骤S124：亮度显著图、颜色显著图和方向显著图进行叠加，就可以得到最终的显著图。进一步地，步骤S2具体包含以下步骤：步骤S21：对步骤S1得到的显著图进行闭运算操作；步骤S22：将显著图与原始图像进行交运算，得到图像的显著性区域。进一步地，在本实施例中，步骤S3具体包括：分别使用花卉原始图像、花卉原始图像对应的显著性区域与对应的花卉类别作为训练集，采用较小的不同随机数对网络进行权值初始化，经过前向传播和反向传播两个阶段，直至网络结构中每一层的权值参数确定，卷积神经网络训练完成。进一步地，在本实施例中，卷积神经网络具体结构为：5个卷积层，2个全连接层，卷积操作采用7×本文档来自技高网...

【技术保护点】
1.一种结合显著性区域的卷积神经网络的花卉图像分类方法，其特征在于，按照如下步骤实现：步骤S1：采用基于Itti‑Koch视觉注意力模型计算花卉原始图像对应的花卉图像显著图；步骤S2：计算花卉图像显著性区域；步骤S3：在所述花卉原始图像、所述花卉图像显著性区域上分别训练卷积神经网络；步骤S4：通过采用完成训练的卷积神经网络，分别对所述花卉原始图像和所述花卉图像显著性区域提取特征；步骤S5：进行特征融合；步骤S6：对图像进行分类。

【技术特征摘要】
1.一种结合显著性区域的卷积神经网络的花卉图像分类方法，其特征在于，按照如下步骤实现：步骤S1：采用基于Itti-Koch视觉注意力模型计算花卉原始图像对应的花卉图像显著图；步骤S2：计算花卉图像显著性区域；步骤S3：在所述花卉原始图像、所述花卉图像显著性区域上分别训练卷积神经网络；步骤S4：通过采用完成训练的卷积神经网络，分别对所述花卉原始图像和所述花卉图像显著性区域提取特征；步骤S5：进行特征融合；步骤S6：对图像进行分类。2.根据权利要求1所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法，其特征在于，在所述步骤S1中，所述花卉图像显著图计算包括如下步骤：步骤S11：提取所述花卉原始图像的视觉特征；步骤S12：根据所述视觉特征计算花卉图像显著图。3.根据权利要求2所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法，其特征在于，在所述步骤S11中，还包括如下步骤：步骤S111：统一所述花卉原始图像的尺寸，采用9级高斯金字塔算法对所述花卉原始图像进行采样，并采样为尺度0至尺度8，共9个尺度；步骤S112：在每个尺度上对应提取视觉特征图，包括：颜色特征、亮度特征和方向特征；步骤S113：对提取的所有视觉特征图进行center-surround操作。4.根据权利要求3所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法，其特征在于，在所述步骤S12中，还包括如下步骤：步骤S121：将各个视觉特征图的尺寸分别通过差值调整为与所述高斯金字塔算法中第四层图像的尺寸相同；步骤S122：将每个视觉特征图中的像素相加；步骤S123：利用归一化算子对每个视觉特征图进行归一化，获取亮度显著图、颜色显著图和方向显著图；步骤S124：通过对所述亮度显著图、颜色显著图和方向显著图进行叠加，得到所述花卉图像显著图。5.根据权利要求1所述的一种结合显著性区域的卷积神经网络的花卉图像分类方法，其特征在于，在所述步骤S2中，还包括如下步骤：步骤S21：对所述花卉图像显著图进行闭运算操作；步骤S2...

【专利技术属性】
技术研发人员：王秀，余春艳，叶鑫焱，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35