基于混合连通性深度卷积神经网络的图像分类方法及系统技术方案

本发明专利技术提出一种基于混合连通性深度卷积神经网络的图像分类方法及系统，包括：获取包括多张原始图像的训练集，根据每张图片的类别标签统计得到该训练集的正确分类概率分布，将该训练集输入至深度卷积神经网络中，得到该训练集的特征向量，将该特征向量通过全连接层得到在不同类别上的预测分类概率分布，根据该预测分类概率分布与正确分类概率分布，求解一个交叉熵误差，通过该交叉熵误差迭代该深度卷积神经网络，直到该交叉熵误差小于预设值，保存当前该深度卷积神经网络作为图像分类网络；将待分类图像输入至该图像分类网络，输出该待分类图像的类别概率分布，选取概率最大的类别作为该待分类图像的图像分类结果。

Image classification method and system based on hybrid connectivity deep convolution neural network

【技术实现步骤摘要】
基于混合连通性深度卷积神经网络的图像分类方法及系统
本专利技术涉及信息
，并特别涉及一种基于混合连通性深度卷积神经网络的图像分类方法及系统。
技术介绍
由于网络结构的发展，深度卷积神经网络在参数和计算方面变得越来越高效。ResNet(残差网络)引入了残差连通性来实现输入和输出特征的加权，DenseNet(密集网络)保持了密集连通性来实现将跳跃连接的相加变为通道级别的相连。两种模式的特征聚合不仅可以促进特征重用，而且可以减轻训练困难。针对ResNet的缺陷，不断的有工作对其进行了改进。ResNeXt(聚合残差转换网络)使用更少的代价胜过了ResNet，由于将3x3的组卷机引入残差块中。之后，由于它低参数量和计算代价的特性，组卷积在深度卷积神经网络上开始流行起来。WideResNet(宽阔残差网络)表明对ResNet增加宽度同时减少深度可以超过其对应的加深版本，同时解决训练缓慢以及弱化特征重用的问题。通过表达多尺度特征和拓宽卷积感受野在局部的残差块，Res2Net(多尺度残差网络)胜过了其他骨干网络通过广泛的任务。多尺度信息也进一步被证明是一个有效的方式来提升性能。针对DenseNet的缺陷，不断的有工作对其进行了改进。DenseNet最显著的缺陷就是冗余性，因此一个典型的优化方法就是稀疏化。Log-DenseNet(对数密集网络)和SparseNet(稀疏网络)组织了一种稀疏而不是全连接的方式，在整体的拓扑中将连接数由线性变为对数。学习组卷积被采用在CondenseNet(凝聚网络)中对输入的特征图进行剪枝，给予L1范数来去除不重要的通道。对于DenseNet，密集连通性对于特征挖掘和探索更加高效，但是存在较高的冗余性；对于ResNet残差连通性可以通过参数共享来实现高效的特征重用，因此带来了低的冗余性，但是缺乏特征保护和探索的能力。为了结合两者的优势，DPN(双路并行网络)，MixNet(混合网络)结合两种连通性来构建有效的特征聚合拓扑。Log-DenseNet，SparseNet，CondenseNet进一步在DenseNet基础上通过稀疏化来减少冗余性。但是，过度对DenseNet进行稀疏化操作会影响密集连通性的共同学习机制，进而会使得特征重用能力下降。随着深度的线性增加，跳跃连接的数量和需求的参数量也会以O(n^2)的级别增长，其中n表示密集连通性下堆叠的模块数量。同时，具有很小贡献的冗余特征也会平方级别地传到后续的模块，因此一个简单有限的方法为减少模块堆叠的数量，但是这样会减弱特征表示能力和降低性能。
技术实现思路
针对当前深度卷积神经网络性能好，但是在参数量和计算量代价方面开销较大的问题，本专利技术提出了一种高效的神经网络结构HCGNet(混合连通性门限网络)，该网络结构具有显著的低开销，但是却保持了优越的性能。针对现有技术的不足，本专利技术提出一种基于混合连通性深度卷积神经网络的图像分类方法，其中包括：训练步骤，获取包括多张原始图像的训练集，根据每张图片的类别标签统计得到该训练集的正确分类概率分布，将该训练集输入至深度卷积神经网络中，得到该训练集的特征向量，将该特征向量通过全连接层得到在不同类别上的预测分类概率分布，根据该预测分类概率分布与正确分类概率分布，求解一个交叉熵误差，通过该交叉熵误差迭代该深度卷积神经网络，直到该交叉熵误差小于预设值，保存当前该深度卷积神经网络作为图像分类网络；分类步骤，将待分类图像输入至该图像分类网络，输出该待分类图像的类别概率分布，选取概率最大的类别作为该待分类图像的图像分类结果。所述的基于混合连通性深度卷积神经网络的图像分类方法，其中训练步骤中该深度卷积神经网络由预处理层、特征提取层、全局平均池化层和全连接层串联而成；该预处理层由7x7卷积核和最大池化层构成，该全局平均池化用于对该特征提取层输出的特征图进行降采样，之后经过全连接层得到分类概率。所述的基于混合连通性深度卷积神经网络的图像分类方法，其中该特征提取层由多个基础层串联构成，每个基础层由一个混合块和过渡层串联构成；该过渡层，用于将该混合块得到的特征汇总和连通性截断。所述的基于混合连通性深度卷积神经网络的图像分类方法，其中该混合块包括多个混合模块级联而成，每个混合模块产生多个通道的特征图并且包括2个细胞，分别为压缩细胞和激活细胞；该压缩细胞定位在混合模块的初始位置，用来压缩输出的特征图，由一个1x1卷积和3x3组卷积构成，以对输入的特征图进行逐渐压缩，得到稠密特征图；该激活细胞，用于接收经过压缩细胞处理后的该稠密特征图，经过2分支的3x3和5x5多尺度深度卷积进行处理并得到多尺度特征，该多尺度特征和该稠密特征图相加后，得到叠加特征图，并将该叠加特征图与该输入的特征图相连，得到连接特征图，将该连接特征图输入至下一混合模块。所述的任意一种基于混合连通性深度卷积神经网络的图像分类方法，其中该正确分类概率分布是通过在类别标签上one-hot得到的硬编码。本专利技术还提供了一种基于混合连通性深度卷积神经网络的图像分类系统，其中包括：训练模块，获取包括多张原始图像的训练集，根据每张图片的类别标签统计得到该训练集的正确分类概率分布，将该训练集输入至深度卷积神经网络中，得到该训练集的特征向量，将该特征向量通过全连接层得到在不同类别上的预测分类概率分布，根据该预测分类概率分布与正确分类概率分布，求解一个交叉熵误差，通过该交叉熵误差迭代该深度卷积神经网络，直到该交叉熵误差小于预设值，保存当前该深度卷积神经网络作为图像分类网络；分类模块，将待分类图像输入至该图像分类网络，输出该待分类图像的类别概率分布，选取概率最大的类别作为该待分类图像的图像分类结果。所述的基于混合连通性深度卷积神经网络的图像分类系统，其中训练模块中该深度卷积神经网络由预处理层、特征提取层、全局平均池化层和全连接层串联而成；该预处理层由7x7卷积核和最大池化层构成，该全局平均池化用于对该特征提取层输出的特征图进行降采样，之后经过全连接层得到分类概率。所述的基于混合连通性深度卷积神经网络的图像分类系统，其中该特征提取层由多个基础层串联构成，每个基础层由一个混合块和过渡层串联构成；该过渡层，用于将该混合块得到的特征汇总和连通性截断。所述的基于混合连通性深度卷积神经网络的图像分类系统，其中该混合块包括多个混合模块级联而成，每个混合模块产生多个通道的特征图并且包括2个细胞，分别为压缩细胞和激活细胞；该压缩细胞定位在混合模块的初始位置，用来压缩输出的特征图，由一个1x1卷积和3x3组卷积构成，以对输入的特征图进行逐渐压缩，得到稠密特征图；该激活细胞，用于接收经过压缩细胞处理后的该稠密特征图，经过2分支的3x3和5x5多尺度深度卷积进行处理并得到多尺度特征，该多尺度特征和该稠密特征图相加后，得到叠加特征图，并将该叠加特征图与该输入的特征图相连，得到连接特征图，将该连接特征图输入至下一混合模块。所述的任意一种基于混合连通本文档来自技高网...

【技术保护点】
1.一种基于混合连通性深度卷积神经网络的图像分类方法，其特征在于，包括：/n训练步骤，获取包括多张原始图像的训练集，根据每张图片的类别标签统计得到该训练集的正确分类概率分布，将该训练集输入至深度卷积神经网络中，得到该训练集的特征向量，将该特征向量通过全连接层得到在不同类别上的预测分类概率分布，根据该预测分类概率分布与正确分类概率分布，求解一个交叉熵误差，通过该交叉熵误差迭代该深度卷积神经网络，直到该交叉熵误差小于预设值，保存当前该深度卷积神经网络作为图像分类网络；/n分类步骤，将待分类图像输入至该图像分类网络，输出该待分类图像的类别概率分布，选取概率最大的类别作为该待分类图像的图像分类结果。/n

【技术特征摘要】
1.一种基于混合连通性深度卷积神经网络的图像分类方法，其特征在于，包括：
训练步骤，获取包括多张原始图像的训练集，根据每张图片的类别标签统计得到该训练集的正确分类概率分布，将该训练集输入至深度卷积神经网络中，得到该训练集的特征向量，将该特征向量通过全连接层得到在不同类别上的预测分类概率分布，根据该预测分类概率分布与正确分类概率分布，求解一个交叉熵误差，通过该交叉熵误差迭代该深度卷积神经网络，直到该交叉熵误差小于预设值，保存当前该深度卷积神经网络作为图像分类网络；
分类步骤，将待分类图像输入至该图像分类网络，输出该待分类图像的类别概率分布，选取概率最大的类别作为该待分类图像的图像分类结果。


2.如权利要求1所述的基于混合连通性深度卷积神经网络的图像分类方法，其特征在于，训练步骤中该深度卷积神经网络由预处理层、特征提取层、全局平均池化层和全连接层串联而成；
该预处理层由7x7卷积核和最大池化层构成，该全局平均池化用于对该特征提取层输出的特征图进行降采样，之后经过全连接层得到分类概率。


3.如权利要求2所述的基于混合连通性深度卷积神经网络的图像分类方法，其特征在于，该特征提取层由多个基础层串联构成，每个基础层由一个混合块和过渡层串联构成；该过渡层，用于将该混合块得到的特征汇总和连通性截断。


4.如权利要求3所述的基于混合连通性深度卷积神经网络的图像分类方法，其特征在于，该混合块包括多个混合模块级联而成，每个混合模块产生多个通道的特征图并且包括2个细胞，分别为压缩细胞和激活细胞；
该压缩细胞定位在混合模块的初始位置，用来压缩输出的特征图，由一个1x1卷积和3x3组卷积构成，以对输入的特征图进行逐渐压缩，得到稠密特征图；
该激活细胞，用于接收经过压缩细胞处理后的该稠密特征图，经过2分支的3x3和5x5多尺度深度卷积进行处理并得到多尺度特征，该多尺度特征和该稠密特征图相加后，得到叠加特征图，并将该叠加特征图与该输入的特征图相连，得到连接特征图，将该连接特征图输入至下一混合模块。


5.如权利要求1到4所述的任意一种基于混合连通性深度卷积神经网络的图像分类方法，其特征在于，该正确分类概率分布是通过在类别标签上one-hot得到的硬编码。

【专利技术属性】
技术研发人员：杨传广，安竹林，徐勇军，程坦，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11