一种分段密集连接型深度网络构建方法技术

本发明专利技术涉及一种分段密集连接型深度网络构建方法，首先把深度网络中各串连续连接的卷积层划分为多个小段；其次，对每个小段内的卷积层进行密集连接，即段内密集连接；然后，对每个小段进行密集连接，即段间密集连接，从而实现了对连续连接的卷积层的分段密集连接。最后，在各串连续连接的卷积层之间配合上最大池化层，并在最后的最大池化层之后配上全连接层，就完成了分段密集连接型深度网络的构建。借助分段密集连接的机制，一方面有利于训练更深的深度网络，进而有利提升深度网络的特征学习能力；另一方面，由于分段划分，各个小段内只包含少数卷积层，能够有效地避免因密集连接所带来的庞大计算量。

【技术实现步骤摘要】
一种分段密集连接型深度网络构建方法
本专利技术涉及机器视觉和人工智能领域，特别涉及一种分段密集连接型深度网络构建方法，可应用于目标检测、目标分类和目标识别系统。
技术介绍
卷积神经网络是目前最流行的一种深度学习算法。近年来涌现出大量基于卷积神经网络的目标检测、目标分类和目标识别算法，这些算法的准确性很大程度上依赖于卷积神经网络特征学习能力。密集连接网络DenseNet(HuangG,LiuZ,MaatenLVD,etal.DenselyConnectedConvolutionalNetworks[C].IEEEConferenceonComputerVisionandPatternRecognition,2016.)是目前特征学习能力最强的深度网络之一。DenseNet的直接密集连接机制是指在一连串的卷积层中，对于每一个卷积层皆把其之前所有卷积层在通道(Channel)方向进行连接后作为其输入。显然，随着网络深度的增加，越排在后方的卷积层会累积到越多的输入，引起计算量的急剧增长。为了避免这种情况，DenseNet不得不对那些连接后过于庞大的输入数据，利用1×1卷积核进行特征压缩。然而，引入这种压缩机制后，网络设计的复杂度增加，且这种压缩本身亦可能损害深度网络的特征学习能力。
技术实现思路
本专利技术的目的在于提出一种分段密集连接型深度网络构建方法，该方法计算量适中，可提升卷积神经网络的特征学习能力。为实现上述目的，本专利技术采用如下技术方案：一种分段密集连接型深度网络构建方法，包括以下步骤：步骤1、连续卷积层的分段，把深度网络中各串连续连接的卷积层划分为多个小段；步骤2、段内密集连接，即对每个小段内的卷积层进行密集连接；步骤3、段间密集连接，即对不同小段再次进行密集连接；步骤4、在各串连续连接的卷积层之间配合上最大池化层，并在最后的最大池化层之后配上全连接层，就构成了分段密集型深度网络。所述步骤1中，C＝{C1,C2,C3,…,CK}为K个连续连接的卷积层，对其进行划分，得到M个小段S＝{S1,S2,…,Si,…,SM}，每个小段上有N个卷积层，第i个小段Si＝{C(i-1)×N+1,C(i-1)×N+2,…,C(i-1)×N+j,…,Ci×N}；所述步骤2中，所述段内密集连接是指把第i个小段Si的第j个卷积层C(i-1)×N+j之前且属于同一段的所有卷积层{C(i-1)×N+1,C(i-1)×N+2,…,C(i-1)×N+j-1}在通道方向上进行连接，并将连接后的结果作为C(i-1)×N+j的输入；所述步骤3中，所述段间密集连接是指把第i个小段Si之前的所有小段的输出，即{CN,C2×N,…,C(i-1)×N}在通道方向上进行连接，并将连接后的结果作为Si首个卷积层C(i-1)×N+1的输入。采用上述方案后，本专利技术的分段密集连接型深度网络构建方法，一方面有利于训练更深的深度网络，进而有利提升深度网络的特征学习能力；另一方面，由于分段划分，各个小段内只包含少数卷积层，无需进行特征压缩，网络的设计简单，能够有效地避免密集连接带来的庞大计算量。附图说明图1为本专利技术中CBR单元的结构示意图；图2为本专利技术的分段密集连接型深度网络构建方法的原理示意图。具体实施方式本专利技术揭示了一种分段密集连接型深度网络构建方法，该方法降低深度网络的设计复杂度，计算量适中，可提升深度网络的特征学习能力。本专利技术的一种分段密集连接型深度网络构建方法，具体步骤如下：步骤1、连续卷积层的分段，即把深度网络中各串连续连接的卷积层划分为多个小段；假设C＝{C1,C2,C3,…,CK}为K个连续连接的卷积层，对其进行划分，得到M个小段S＝{S1,S2,…,Si,…,SM}，每个小段上有N个卷积层，第i个小段Si＝{C(i-1)×N+1,C(i-1)×N+2,…,C(i-1)×N+j,…,Ci×N}；本专利技术采用了目前常用的批归一化层(BatchNormalization,BN)来配合卷积层，以加快网络的收敛速度。为了便于描述，如图1所示，本专利技术中卷积层(Conv)、批归一化层(BatchNormalization,BN)和ReLU激活函数整合为CBR单元。基于CBR单元，如图2所示，本专利技术所提出的分段密集连接型深度网络，包括64个CBR单元、4个最大池化层MP1-MP4和一个全连接(FullyConnection,FC)层。每个最大池化层前连续放置16个CBR单元，并划分为四段，每段包含4个CBR单元。步骤2、段内密集连接，即对每个小段内卷积层进行密集连接；把第i个小段Si的第j个卷积层C(i-1)×N+j之前且属于同一段的所有卷积层{C(i-1)×N+1,C(i-1)×N+2,…,C(i-1)×N+j-1}在通道方向上进行连接，并将连接后的结果作为C(i-1)×N+j的输入；具体地，以第1个小段S1为例，进行段内密集连接的具体说明。如图2所示，第1个小段S1包括4个CBR单元{CBR1,CBR2,CBR3,CBR4}。CBR1作为第一个CBR单元，其输入为图像数据；CBR2作为第二个CBR单元，其输入为CBR1单元的输出；对于CBR3单元，先用连接层CCAT1把CBR1和CBR2按通道(Channel)方向进行连接，然后将连接结果作为CBR3单元的输入；对于CBR4单元，把CBR1、CBR2和CBR3按照通道(Channel)方向进行连接，然后将连接结果作为CBR4单元的输入。实际中为了简化设计，直接用连接层CCAT2把连接层CCAT1的输出和CBR3单元的输出进行连接，送入CBR4单元。步骤3、段间密集连接，即对不同小段再次进行密集连接；把第i个小段Si之前的所有小段的输出，即{CN,C2×N,…,C(i-1)×N}在通道方向上进行连接，并将连接后的结果作为Si首个卷积层C(i-1)×N+1的输入。以第1个小段S1至第4个小段S4为例，进行段间密集连接的具体说明。如图2所示，S1作为第一个小段，其输入为图像数据；S2作为第二个小段，其输入为S1的输出(即CBR4单元的输出)；对于S3，先用连接层SCAT1把S1的输出(即CBR4单元的输出)和S2的输出(即CBR8单元的输出)按通道(Channel)方向进行连接，然后将连接结果作为S3的输入；对于S4，把S1、S2和S3按照通道(Channel)方向进行连接，然后将连接结果作为S4的输入。实际中为了简化设计，直接用连接层SCAT2把连接层SCAT1的输出和S3的输出(即CBR12单元的输出)进行连接，送入S4。步骤4、在各串连续连接的卷积层之间配合上最大池化层，并在最后的最大池化层之后配上全连接(FullyConnection,FC)层，就构成了分段密集型深度网络。如图2所示，本实施例中分段密集连接型深度网络包括4个最大池化层MP1-MP4，每个最大池化层前连续放置的16个CBR单元，并把相应的16个CBR单元划分为四段，每段包含4个卷积层，此外在MP4之后还连接了1个全连接层(FullConnection,FC)，因此所设计的分段密集连接型深度网络一共经历了64个CBR单元和4个最大池化层(MP1-MP4)和1个全连接层(FullConnection,FC)，最后送入常用的Softmax损失函本文档来自技高网...

【技术保护点】
1.一种分段密集连接型深度网络构建方法，其特征在于，包括以下步骤：步骤1、连续卷积层的分段，把深度网络中各串连续连接的卷积层划分为多个小段；步骤2、段内密集连接，即对每个小段内的卷积层进行密集连接；步骤3、段间密集连接，即对不同小段再次进行密集连接；步骤4、在各串连续连接的卷积层之间配合上最大池化层，并在最后的最大池化层之后配上全连接层，就构成了分段密集型深度网络。

【技术特征摘要】
1.一种分段密集连接型深度网络构建方法，其特征在于，包括以下步骤：步骤1、连续卷积层的分段，把深度网络中各串连续连接的卷积层划分为多个小段；步骤2、段内密集连接，即对每个小段内的卷积层进行密集连接；步骤3、段间密集连接，即对不同小段再次进行密集连接；步骤4、在各串连续连接的卷积层之间配合上最大池化层，并在最后的最大池化层之后配上全连接层，就构成了分段密集型深度网络。2.根据权利要求1所述的一种分段密集连接型深度网络构建方法，其特征在于：所述步骤1中，C＝{C1,C2,C3,…,CK}为K个连续连接的卷积层，对其进行划分，得到M个小段S＝{S1,S2,…,Si,…,SM}，每...

【专利技术属性】
技术研发人员：朱建清，曾焕强，陈婧，蔡灿辉，杜永兆，傅玉青，林露馨，
申请(专利权)人：华侨大学，
类型：发明
国别省市：福建,35