一种用于图像分类的卷积神经网络结构设计方法技术

本发明专利技术公开了一种用于图像分类的卷积神经网络结构设计方法，方法包括以下步骤：构建卷积神经网络的Unit基本单元；选择卷积神经网络的连接方式并构建对应的Block；根据对应的Block选择卷积神经网络深度；添加卷积神经网络的输入层与输出层，得到构建完成的TCRNet网络。本发明专利技术有益效果是：相较于传统的网络结构泛化性能能更好，不容易过拟合。不容易过拟合。不容易过拟合。

【技术实现步骤摘要】
一种用于图像分类的卷积神经网络结构设计方法


[0001]本专利技术涉及神经网络结构设计领域，尤其涉及一种用于图像分类的卷积神经网络结构设计方法。

技术介绍

[0002]图像分类任务是计算机视觉领域的核心任务也是很多其他研究内容的工作基础，图像分类的好坏会直接影响到计算机视觉的其他任务，因此图像分类任务作为基础性的工作得到了广泛的研究，其中一种主流的方法就是深度卷积神经网络。
[0003]近年来随着深度学习的不断发展，涌现了一大批基于卷积神经网络的模型用于处理图像分类任务。现在的研究重点都在朝着如何设计轻量化的网络以便部署到一些性能较弱的平台或者用于提高计算速度，更加关注在网络的卷积的构造与的卷积块的构造，但是却忽略了网络结构的设计，最先考虑网络结构设计并提出了残差结构的ResNet网络取得了巨大的成功，之后的网络大都参考ResNet网络的设计在自己的网络结构中加入了残差结构，在不增加参数的情况下，能够提高网络的性能，也有助于加深网络结构，但是很多网络只是采用了这一策略，并没有进行深入研究。虽然ResNet创新的提出和使用了残差的思想，但是在实际的使用中没能很好的利用卷积层之间的信息。

技术实现思路

[0004]为了解决现有网络结构设计研究不足，导致图像分类能力差的技术问题，本专利技术提出一种用于图像分类的卷积神经网络结构设计方法，包括以下步骤：
[0005]S1、构建卷积神经网络的Unit基本单元；
[0006]S2、选择卷积神经网络的连接方式并构建对应的Block；
[0007]S3、根据对应的Block选择卷积神经网络深度；
[0008]S4、添加卷积神经网络的输入层与输出层，得到构建完成的TCRNet网络。
[0009]本专利技术提供的有益效果是：相较于传统的网络结构泛化性能能更好，不容易过拟合。
附图说明
[0010]图1是ResNet网络连接的方式；
[0011]图2是本专利技术提出的TCRNet网络的一个基本结构示意图；
[0012]图3是本专利技术方法流程示意图；
[0013]图4是本专利技术Unit基本单元结构示意图；
[0014]图5是第一种连接方式下的Block结构图；
[0015]图6是Block串联方式示意图；
[0016]图7是第二种形式的TCRNet结构图；
[0017]图8是不同网络结构的实验对比图。
具体实施方式
[0018]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地描述。
[0019]为了对本专利技术的专利技术点作出清晰阐述，本专利技术首先对传统的ResNet网络连接方式进行阐述，接下来再进一步阐述本申请的网络结构。
[0020]请参考图1，图1是ResNet网络连接的方式。
[0021]ResNet的Block创新的提出了残差结构，残差结构本质上可以看作是一种前馈，ResNet是将卷积层处理的信息每间隔一个卷积层向后传递，这样做能够使后面的卷积层结合前面的卷积层处理的信息，能够提升网络的稳定性。其核心思想在于，卷积神经网络的层数和网络的性能直接相关，一般情况下，卷积神经网络的层数越深，网络的性能也就越强，图像识别的准确率越高，但是有研究表明，当盲目的增加卷积的层数时，会出现网络退化的情况，即深层的网络性能相较于浅层的卷积神经网络性能反而有所下降，为了解决这一问题，ResNet的相关论文率先提出了残差的思想，具体结构类似于上图1所示，
[0022]当添加的某一层卷积层会使得网络性能变差时，可以通过梯度下降的学习方式，将这个卷积层的参数学习为0，这里的f就是残差连接，当某一层参数为0时，这样通过残差连接之后就相当于将此卷积层进行短路，使得深层的网络的性能至少会和浅层网络的性能一样，防止了在网络层数加深的同时出现网络性能退化的情况。
[0023]基于上述，本专利技术中认为虽然ResNet的这种方式能够很好的防止网络性能退化，但是没有发挥出残差连接的真正性能更好的利用前层卷积层的信息，具体的，请参考图2，图2是本专利技术提出的TCRNet网络的一个基本结构示意图；
[0024]对图2的连接方式进行分析可以看作是几种特殊情况下的ResNet的结合：
[0025]当f3＝0时，TCRNet的Block就退化成了ResNet的Block，因此ResNet可以看作是TCRNet的特殊形式。
[0026]当f3≠0时，当Unit1＝0时，此时f3的输入为0，因此输出也为0，此时可以将f3等效为0；
[0027]当Unit4＝0时，此可以看作无论f3输出为任何值都不会对Unit4有任何影响，因此此时也可以将f3等效为0。
[0028]这些特殊情况下的TCRNet可以看作是ResNet，即在上面的一些特殊情况下，原本的ResNet可以看作是TCRNet的特殊形式。
[0029]ResNet和TCRNet两种网络的连接并不知简单的直接相加，而是要分情况讨论，
[0030]一般来说，当残差连接的两个卷积层的通道数和长宽一致时就是简单的叠加；
[0031]当两个卷积层的通道数一致，但是长宽减半时连接需要进行一个池化的变换；
[0032]当两个卷积层的长宽一致但是通道数不一致的时候，连接需要使用1
×
1的卷积核将前面的卷积层变换到和后面的卷积层一样的通道时；
[0033]当通道数和长宽都不一致的时候，则连接需要进行两种变换，先用1
×
1的卷积核进行卷积操作将通道数转化成相同数量，再用池化操作缩小长宽。
[0034]请参考图3，图3是本专利技术方法流程示意图。
[0035]基于上述分析思路，本申请提出的一种用于图像分类的卷积神经网络结构设计方法，具体包括以下步骤：
[0036]S1、构建卷积神经网络的Unit基本单元；
[0037]S2、选择卷积神经网络的连接方式并构建对应的Block；
[0038]S3、根据对应的Block选择卷积神经网络深度；
[0039]S4、添加卷积神经网络的输入层与输出层，得到构建完成的TCRNet网络。
[0040]步骤一经过卷积层、批标准化、激活函数以及池化操作构造Unit结构单元；
[0041]步骤二通过Unit堆叠的形式构造Block块，在构造Block的过程中需要进行旁路连接；
[0042]步骤三通过堆叠Block的形式构造TCRNet的主体结构；
[0043]步骤四添加输入层和输入层，将TCRNet应用到实际问题上，这就是一个完整的一种形式的TCRNet构造过程。
[0044]此外本专利对于网络的连接方式提出了两种形式，第一种形式的TCRNet是双路残差连接，但是这种双路残差连接只在每个Block的内部才有，而另外一种形式的结构则抛弃了Block的设计，直接在整个TCRNet的网络上进行双路残差设计，第二种形式应该是更加完整本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于图像分类的卷积神经网络结构设计方法，其特征在于：包括以下步骤：S1、构建卷积神经网络的Unit基本单元；S2、选择卷积神经网络的连接方式并构建对应的Block；S3、根据对应的Block选择卷积神经网络深度；S4、添加卷积神经网络的输入层与输出层，得到构建完成的TCRNet网络。2.如权利要求1所述的一种用于图像分类的卷积神经网络结构设计方法，其特征在于：步骤S1中所述Unit基本单元由四个依次连接的部分组成，分别为：卷积层、标准化层、激活函数和池化层。3.如权利要求1所述的一种用于图像分类的卷积神经网络结构设计方法，其特征在于：步骤S2中卷积神经网络的连接方式包括两种，分别为Block串联和双通道耦合残差连接。4.如权利要求3所述的一种用于图像分类的卷积神经网络结构设计方法，其特征在于：Block串联方式中，每个Block由四个依次连接的Unit单元组成，分别为Unit1‑
Unit4；其中Unit1与Unit2之间设有根据残差连接的两个卷积层是否有差异而进行相应变换的参数f1；Unit3与Unit4之间设有根据残差连接的两个卷积层是否有差异而进行相应变换的参数f2；Unit2与...

【专利技术属性】
技术研发人员：石申，上官星辰，何勇，袁哲丽，魏辰光，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：