一种基于深度学习与支持向量机融合的图像分类方法技术

本发明专利技术提供一种基于深度学习与支持向量机融合的图像分类方法，包括在深度学习卷积神经网络中嵌入坐标注意力模块作为特征提取网络，卷积神经网络通过对图像进行卷积以及下采样，提取具有代表性的图像特征，坐标注意力模块通过在两个空间方向聚合特征，以极低的计算开销来捕获位置信息和通道关系，实现增强网络的图像特征表示；将特征提取网络输出的增强图像特征经过全连接层进入支持向量机对提取的图像特征进行图像分类，卷积神经网络利用支持向量机的合页损失函数反向传播训练网络模型，使得卷积神经网络中的梯度可以反向传播，进而学习较低级别的特征。本方法将嵌入坐标注意力机制的卷积神经网络与SVM相融合实现图像分类，提高了图像分类精度。提高了图像分类精度。提高了图像分类精度。

【技术实现步骤摘要】
一种基于深度学习与支持向量机融合的图像分类方法


[0001]本专利技术涉及图像分类
，具体涉及一种基于深度学习与支持向量机融合的图像分类方法。

技术介绍

[0002]图像分类任务是计算机视觉的关键任务之一，也是热门研究方向之一，其目标是根据图像中所反映的不同特征信息划分到不同的特征类别。如何对图像进行准确的分类，实现最小的分类误差，成为了图像分类研究的关键问题。提高图像分类精度能够促进图像分类技术的发展，基于统计学习理论的支持向量机(Support Vector Machine，SVM)是一种基于核的机器学习模型，该模型在模式识别、模式分类、计算机视觉等各个领域的分类效果可观。但是传统的SVM难以处理数量庞大的图像数据，并且难以满足实际的分类精度需求，因此传统SVM不适合庞大复杂的图像分类，而深度学习(Deep Learning，DL)相较于SVM在图像特征学习与分类中有着显著优势。深度学习通过神经网络从图像中自主学习特征，提取出抽象高维的特征，并能紧密连接特征与分类器的关系，突破了SVM在此方面难以解决的问题。
[0003]卷积神经网络(Convolutional Neural Network，CNN)是深度学习模型中经典而广泛使用的结构。在上世纪90年代，CNN在手写数字为代表的图像分类与识别取得了良好的效果，达到了人眼识别的精度。在2012年，Krizhevsky等人训练的深度CNN在ImageNet大规模视觉识别挑战赛中获得了最佳图像分类效果，证明了CNN在图像分类中的有效性。
[0004]随着卷积神经网络在处理图像特征方面逐渐显现优势，越来越多的学者开始将传统分类方法与深度学习方法相结合。SVM与Softmax是计算机视觉中常见的两种分类器，随着卷积神经网络算法的不断优化与改进，两种分类器的使用也越来越频繁。提取数据的分类是深度学习中最重要的方面之一，SVM可以对预先提取的数据进行分类，并将每个数据给出的具体分数作为评估的基础。有研究表明选择线性SVM代替大多数深度学习模型中的Softmax分类器，将SVM用作CNN的最终分类单元，实现了特征提取到分类的完整流程，在流行的深度学习图像分类数据集上取得了L2
‑
SVM优于Softmax的分类辨别能力；有研究表明采用CNN提取数据特征后进一步使用SVM提取特征并实现分类，在一定程度上提取出了比CNN本身更多的特征，获得更好的精度；有研究表明将稀疏自动编码器与SVM结合，对学习到的原始表征进行重组，获得新的表征，提高了数据的分类精度；有研究表明神经网络中所融合的SVM分类器表现出了稳健的分类精度，并验证了所提模型分类的有效性与客观性；同时还有研究表明将SVM与神经网络结合在例如人体生物、医学影像、遥感等图像分类、识别的诸多领域有着相较于原始神经网络模型解决复杂任务的更高性能，并且能够获得显著的结果。但本申请的专利技术人经过研究分析发现，现有的CNN采用反向传播算法，在图像特征提取时容易陷入局部最小值或局部最优的问题。

技术实现思路

[0005]针对现有传统SVM不适合处理庞大复杂图像分类，而CNN在图像特征提取时容易陷入局部最优的技术问题，本专利技术提供一种基于深度学习与支持向量机融合的图像分类方法。
[0006]为了解决上述技术问题，本专利技术采用了如下的技术方案：
[0007]一种基于深度学习与支持向量机融合的图像分类方法，包括以下步骤：
[0008]S1、在深度学习卷积神经网络中嵌入坐标注意力模块，将嵌入有坐标注意力模块的卷积神经网络作为特征提取网络，所述卷积神经网络通过对图像进行卷积以及下采样，提取具有代表性的图像特征，所述坐标注意力模块通过在两个空间方向聚合特征，以极低的计算开销来捕获位置信息和通道关系，实现增强网络的图像特征表示；
[0009]S2、将特征提取网络输出的增强图像特征经过全连接层进入支持向量机，通过支持向量机对提取的图像特征进行图像分类，提高对图像分类的泛化能力，所述卷积神经网络利用支持向量机的合页损失函数反向传播训练网络模型，使得卷积神经网络中的梯度可以反向传播，进而学习较低级别的特征。
[0010]与现有技术相比，本专利技术提供的基于深度学习与支持向量机融合的图像分类方法，将嵌入有坐标力注意模块的卷积神经网络与支持向量机融合来构成CASVM(Coordinate Attention
‑
Support Vector Machine
‑
Convolutional Neural Network)网络模型，该模型利用卷积神经网络和支持向量机的优点来弥补各自的缺点，即卷积神经网络(CNN)采用反向传播算法容易陷入局部最小值，而支持向量机(SVM)可有效地避免陷入局部最优；但若单独使用SVM进行分类需要较为复杂的步骤，而CNN通过对图像进行卷积以及下采样，可以提取极具代表性的图像特征，引入的坐标注意力模块(Coordinate Attention，CA)能增强图像特征有效信息，因此使用CNN提取图像特征后再由具有优异泛化能力的SVM替换CNN的分类层可以使得图像分类的精度进一步提高，通过大量对比实验表明，本方法可以有效提高图像分类的精度，并且该方法与常规卷积神经网络相比，不仅有较小的开销，而且算法复杂度增加也很小。
[0011]进一步，所述步骤S1中的坐标注意力模块包括坐标信息嵌入步骤和坐标注意力生成步骤，所述坐标信息嵌入步骤先将给定的X使用尺寸(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道输入特征图进行编码，之后通过两种变换沿着两个空间方向聚合特征，生成一对方向感知注意力特征图，一个方向感知注意力特征图沿着一个空间方向捕捉长期依赖关系，另一个方向感知注意力特征图保留精确的位置信息；所述坐标注意力生成步骤先是级联坐标信息嵌入步骤产生的两个特征图，然后使用1
×
1的共享卷积进行变换，生成空间信息在水平与垂直方向的中间特征图，接着将该中间特征图切分为两个单独的张量，最后使用两个1
×
1的卷积分别将两个单独的张量变换为与输入X相同的通道数，使用Sigmoid作为坐标注意力模块的激活函数。
[0012]进一步，所述步骤S1中嵌入的坐标注意力模块位于卷积神经网络的中间层或顶层。
[0013]进一步，所述步骤S1中嵌入有坐标注意力模块的卷积神经网络适用于ResNet18、AlexNet、LeNet、MobileNet或VGG网络模型。
[0014]进一步，所述步骤S1中嵌入有坐标注意力模块的卷积神经网络适用于ResNet18网
络模型，所述坐标注意力模块嵌于ResNet18网络模型中每个残差模块的数据归一化与激活函数之间。
[0015]进一步，所述步骤S2中卷积神经网络利用支持向量机的合页损失函数为二分类合页损失函数，该二分类合页损失函数采用下式表示：
[0016]L
i
＝max(0,1
‑
x
i
w
T<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习与支持向量机融合的图像分类方法，其特征在于，包括以下步骤：S1、在深度学习卷积神经网络中嵌入坐标注意力模块，将嵌入有坐标注意力模块的卷积神经网络作为特征提取网络，所述卷积神经网络通过对图像进行卷积以及下采样，提取具有代表性的图像特征，所述坐标注意力模块通过在两个空间方向聚合特征，以极低的计算开销来捕获位置信息和通道关系，实现增强网络的图像特征表示；S2、将特征提取网络输出的增强图像特征经过全连接层进入支持向量机，通过支持向量机对提取的图像特征进行图像分类，提高对图像分类的泛化能力，所述卷积神经网络利用支持向量机的合页损失函数反向传播训练网络模型，使得卷积神经网络中的梯度可以反向传播，进而学习较低级别的特征。2.根据权利要求1所述的基于深度学习与支持向量机融合的图像分类方法，其特征在于，所述步骤S1中的坐标注意力模块包括坐标信息嵌入步骤和坐标注意力生成步骤，所述坐标信息嵌入步骤先将给定的X使用尺寸(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道输入特征图进行编码，之后通过两种变换沿着两个空间方向聚合特征，生成一对方向感知注意力特征图，一个方向感知注意力特征图沿着一个空间方向捕捉长期依赖关系，另一个方向感知注意力特征图保留精确的位置信息；所述坐标注意力生成步骤先是级联坐标信息嵌入步骤产生的两个特征图，然后使用1
×
1的共享卷积进行变换，生成空间信息在水平与垂直方向的中间特征图，接着将该中间特征图切分为两个单独的张量，最后使用两个1
×
1的卷积分别将两个单独的张量变换为与输入X相同的通道数，使用Sigmoid作为坐标注意力模块的激活函数。3.根据权利要求1所述的基于深度学习与支持向量机融合的图像分类方法，其特征在于，所述步骤S1中嵌入的坐标注意力模块位于卷积神经网络的中间层或顶层。4.根据权利要求1所述的基于深度学习与支持向量机融合的图像分类方法，其特征在于，所述步骤S1中嵌入有坐标注意力模块的卷积神经网络适用于ResNet18、AlexNet、LeNet、MobileNet或VGG网络模型。5.根据权利要求1所述的基于深度学习与支持向量机融合的图像分类方法，其特征在于，所述步骤S1中嵌入有坐标注意力模块的卷积神经网络适用于ResNet18网络模型，所述坐标注意力...

【专利技术属性】
技术研发人员：谭暑秋，潘嘉豪，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：