基于核操作的核全连接神经网络的图像识别方法技术

本发明专利技术涉及一致基于核操作的核全连接神经网络的图像识别方法。对于图像分类任务来说，当网络的深度和宽度足够和合适时，分类精度达到饱和。即使增加深度和宽度，饱和度精度也不会提高。本发明专利技术中通过提高深度卷积神经网络的非线性能力突破饱和精度。在深度卷积神经网络中，前一层更倾向于提取特征，后一层更倾向于对特征进行分类。因此，我们提高了深度卷积神经网络的最后一层全连接层的非线性能力。最后一层采用核操作将特征隐式映射到高维空间，使网络具有更好的线性可分性。实验结果表明，与基准网络相比，基于核操作的核全连接神经网络具有更高的分类精度和更快的收敛速度。经网络具有更高的分类精度和更快的收敛速度。经网络具有更高的分类精度和更快的收敛速度。

【技术实现步骤摘要】
基于核操作的核全连接神经网络的图像识别方法


[0001]本专利技术涉及图像处理，具体说是一种基于核操作的核全连接神经网络的图像识别方法。

技术介绍

[0002]近年来，深度卷积神经网络在图像分类、目标检测、语义分割、视频标题等一系列计算机视觉任务中取得了巨大的成功。这些任务得益于非常深入的模型。当网络的深度和宽度足够和合适时，深度卷积神经网络的性能趋于饱和，在合适的深度模型中增加更多的层会导致更高的训练误差。ResNet比相应的基线网络更深入，分类精度更高。在CIFAR10数据集上，在深度为110的深度上，ResNet的精度达到了93.57％。然而,深度为1202的ResNet在CIFAR10上的分类准确率仅为92.07％。WRN是ResNet增加宽度的变形，并优于常用的窄而深的ResNet。而WRN在CIFAR10上的分类精度表明，WRN在一定的宽度上达到了最佳的分类精度，保持宽度的增加会导致精度下降。例如，WRN 28
‑
12和WRN 28
‑
10具有相同的深度，WRN 28
‑
12的宽度是WRN 28
‑
10的1.44倍。但WRN 28
‑
12的准确率95.67％略低于WRN 28
‑
10的95.83％。这些ResNet在CIFAR10上的实验结果表明，深度卷积神经网络的广度和深度并不一定是最好的。
[0003]更深更广的深度卷积神经网络提取了更多的特征却不能带来更好的分类精度的一个原因是：深度卷积神经网络获得更好的性能不仅取决于特征提取的能力，还取决于特征利用的能力。假设一个非常深和宽的深度卷积神经网络提取了各种特征，但深度卷积神经网络可能不能充分利用这些特征，结果就不能达到令人满意的性能。深度学习模型被批评为黑盒，因为深度学习的机制研究较差，很难进行调整。此外，深度卷积神经网络有时非常复杂，很难收敛。当训练数据非常复杂时，即使网络深度和宽度很大，深度卷积神经网络的性能也很差。由于上述缺点，我们不确定提取的特征是否得到充分利用。
[0004]对于图像分类任务来说，当网络的深度和宽度足够和合适时，分类精度达到饱和。即使增加深度和宽度，饱和度精度也不会提高。我们发现，如果能提高深度卷积神经网络的非线性能力，可以突破饱和精度，更好的对图像进行识别。

技术实现思路

[0005]针对上述不足，本专利技术的目的在于通过引入核操作来增强深度卷积神经网络的非线性能力。核函数方法可以隐式地将数据从原始特征空间映射到高维特征空间，在高维特征空间中数据具有更高的线性可分概率。本专利技术将核方法与深度卷积神经网络相结合有利于提高网络的非线性能力。
[0006]为实现上述目的本专利技术所采用的技术方案是：
[0007]基于核操作的核全连接神经网络的图像识别方法，通过对深度神经网络的全连接层添加核操作，提升网络的非线性能力、提高网络的训练效率、加快网络收敛速度，包括以下步骤：
[0008]S1、建立基于核操作的核全连接神经网络，包括三个模块：a.基于核操作的核全连接神经网络的卷积层模块，用于从浅到深分层级提取到分布式特征；b.基于核操作的全连接层模块，用于提取高维特征空间中的高级特征，以获得更好的网络非线性能力；c.分类器模块，用于输出图像识别分类标签结果；
[0009]S2、建立带有类别标签的数据集并预处理；
[0010]S3、设置网络参数，将数据集数据作为输入，采用优化器对网络进行训练，获取优化的基于核操作的核全连接神经网络；
[0011]S4、采集待识别图像并预处理，输入优化的基于核操作的核全连接神经网络，获取分类识别结果。
[0012]所述深度神经网络采用ResNet或DenseNet或GoogLeNet网络。
[0013]所述基于核操作的核全连接神经网络的卷积层模块包括用于从浅到深分层级提取到分布式特征的输入层、卷积层、激活函数、池化层。
[0014]所述多项式核函数或高斯核函数。
[0015]核函数作用于深度卷积神经网络最后一层全连接层的输入和权重，实现输入和权重间的非线性特征匹配。
[0016]所述分类器采用SoftMax分类器。
[0017]所述预处理为将数据集的图像数据进行归一化、整形为一维图像像素列向量。
[0018]所述优化器为随机梯度下降优化器或Adam优化器。
[0019]所述需要设置的网络参数包括：批量大小、动量、动量衰减因子、训练网络轮次数、初始学习率。
[0020]本专利技术具有以下有益效果及优点：
[0021]1.核全连接神经网络通过在最后一层全连接层采用核方法将高层全局特征映射到高维特征空间。
[0022]2.与基准网络相比，核全连接神经网络的非线性能力有所增加，能更准确的作出图像识别。
[0023]3.核全连接层很容易被植入到各种深度神经网络中，并取得更好的识别分类精度和更快的收敛速度，如ResNet、DenseNet和GoogLeNet。
附图说明
[0024]图1是本专利技术方法流程图；
[0025]图2是MNIST数据集的训练数据示例；
[0026]图3是MNIST数据集单条数据经标准化处理后的像素值；
[0027]图4是CIFAR10数据集的训练数据示例
[0028]图5是不同宽度、深度的核全连接层的效果对比；
[0029]图6是MNIST数据集上的收敛速度对比；
具体实施方式
[0030]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本专利技术的具体实施方法做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发
明。但本专利技术能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背专利技术内涵的情况下做类似改进，因此本专利技术不受下面公开的具体实施的限制。
[0031]除非另有定义，本文所使用的所有技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。
[0032]本专利技术通过引入核操作来增强深度卷积神经网络的非线性能力。核函数方法可以隐式地将数据从原始特征空间映射到高维特征空间，在高维特征空间中数据具有更高的线性可分概率。我们发现将核方法与深度卷积神经网络相结合有利于提高网络的非线性能力。在深度卷积神经网络中，前一层更倾向于提取特征，后一层更倾向于对特征进行分类。当深度卷积神经网络从浅到深增长时，隐藏层分层级提取到分布式特征。值得一提的是，最后一层全连接层不仅仅在提取高级特征，还作为分类器将学习到的分布式特征表示映射到特征空间。与卷积层提取到的空间信息较弱的局部特征相比，最后一层全连接层提取的特征是包含空间信息的全局特征。因此，本专利技术在最后一层全连接层采用核方法提取高维特征空间中的高级特征，以获得更好的网络非线性能力。我们将核函数应用于最后一层全连本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于核操作的核全连接神经网络的图像识别方法，通过对深度神经网络的全连接层添加核操作，提升网络的非线性能力、提高网络的训练效率、加快网络收敛速度，其特征在于，包括以下步骤：S1、建立基于核操作的核全连接神经网络，包括三个模块：a.基于核操作的核全连接神经网络的卷积层模块，用于从浅到深分层级提取到分布式特征；b.基于核操作的全连接层模块，用于提取高维特征空间中的高级特征，以获得更好的网络非线性能力；c.分类器模块，用于输出图像识别分类标签结果；S2、建立带有类别标签的数据集并预处理；S3、设置网络参数，将数据集数据作为输入，采用优化器对网络进行训练，获取优化的基于核操作的核全连接神经网络；S4、采集待识别图像并预处理，输入优化的基于核操作的核全连接神经网络，获取分类识别结果。2.根据权利要求1所述的基于核操作的核全连接神经网络，其特征在于，所述深度神经网络采用ResNet或DenseNet或GoogLeNet网络。3.根据权利要求1所述的基于核操作的核全连接神经网络，其特征在于，...

【专利技术属性】
技术研发人员：韩志，刘柏辰，贾慧迪，唐延东，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：