卷积-全连接参数置换与全连接神经元补偿的卷积神经网络设计方法技术

技术编号:22330843 阅读:39 留言:0更新日期:2019-10-19 12:24
本发明专利技术公开了卷积‑全连接参数置换与全连接神经元补偿的卷积神经网络设计方法,针对调整前的卷积神经网络,在卷积层结构中,增加每层卷积的卷积核大小,减少每层卷积的特征图通道的大小,以压缩全连接层结构中第1层全连接层的输入参数量,增加卷积层结构的参数占比,减少全连接层结构的参数占比;针对调整前的卷积神经网络,在全连接层结构中,增加全连接层的神经元结点的数目,以提取更多的特征信息分析学习,补偿整个卷积神经网络的精度。

Convolution neural network design method of convolution full connection parameter replacement and full connection neuron compensation

【技术实现步骤摘要】
卷积-全连接参数置换与全连接神经元补偿的卷积神经网络设计方法
本专利技术属于卷积神经网络设计领域,具体涉及卷积-全连接参数置换与全连接神经元补偿的卷积神经网络设计方法。
技术介绍
卷积神经网络近年来在各个研究领域都取得了较为突出的性能,它可以基于大量数据进行特征学习,并且分析这些特征完成分类、回归和强化决策等任务。因此,卷积神经网络优点在于能处理大数据,减少分析大数据特征工程的成本;同时,卷积神经网络解决问题往往省略很多传统机器学习算法不必要的中间步骤,更甚者能够实现端到端的输出,所以处理效率极高,速度较快。但是,卷积神经网络的计算需要依赖于较为高端的硬件计算平台。目前,卷积神经网络主要应用于计算机视觉图像处理、视频处理、自然语言处理、强化学习和模式识别等计算密集型算法。此外,在很多高性能计算的领域它也有所涉足,包括结构分析、大数据、云计算和工业工程等。卷积神经网络的计算由一定深度阶层的卷积层、池化层和全连接层的运算堆叠而成,它可以对海量数据进行统一整理,高效学习,逐层提取数据表征进行学习分析,从而实现监督学习或非监督学习,完成分类或回归任务。相比于传统算法或者机器学习算法,它可以自动分析处理海量数据,无需人工预先定义一些特征后再对对象进行处理,处理速度快,处理效率高。当前卷积神经网络的设计趋势主要通过调整卷积神经网络的层数,卷积核大小,特征图通道大小和卷积计算方式等来支持不同的功能以及硬件实现,同时满足日益增加的性能需求。主流的卷积神经网络,例如LeNet-5、AlextNet、VGGNet、GoogLeNet、ResNet、DenselyNet、NasNet等,都是通过更深的层数和更复杂的计算方式来提高精度。因此,卷积神经网络面临的挑战之一是:不断增加的深度和复杂度,使得卷积神经网络整体的参数量和计算量急剧增长。参数量过多,计算过于复杂,严重降低了损失函数收敛速度和模型的训练速度;同时,在硬件实施过程中会增加硬件的存储开销,例如,一些卷积神经网络的加速器仅仅存储参数就需要几十KB的内存大小;此外,卷积神经网络在硬件计算系统中实施,参数量过多会严重增加硬件访存的功耗,这种功耗与内存容量和访问次数有关,存储数据的物理结构(bit)需要存储区域,参数量或计算量过大,就需要占用更多的区域,访存就需要更多的通信成本,如图1所示,随着能源效率的提高,访存区域也在逐渐增大,几乎是卷积乘加操作的1000倍,近年来访存和ALU-操作的存储比例,如图2所示,持续增长。
技术实现思路
本专利技术的目的在于提供卷积-全连接参数置换与全连接神经元补偿的卷积神经网络设计方法,以克服现有卷积神经网络存在的不足,本专利技术使得轻量化卷积神经网络在硬件实施过程中,保证高能量效率的同时,降低访存功耗和片上存储的开销。为达到上述目的,本专利技术采用如下技术方案:卷积-全连接参数置换与全连接神经元补偿的卷积神经网络设计方法,所述卷积神经网络包括卷积层结构和全连接层结构,卷积神经网络的设计方法具体包括以下步骤:步骤1:卷积-全连接参数置换针对调整前的卷积神经网络,在卷积层结构中,增加每层卷积的卷积核大小,减少每层卷积的特征图通道的大小,以压缩全连接层结构中第1层全连接层的输入参数量,增加卷积层结构的参数占比,减少全连接层结构的参数占比;步骤2:全连接层神经元补偿针对调整前的卷积神经网络,在全连接层结构中,增加每层全连接层的神经元结点的数目,以提取更多的特征信息分析学习,补偿整个卷积神经网络的精度。进一步地,步骤1中将每层卷积的卷积核大小调整为kernelsize+2N,其中:N=1,2,3…,kernelsize表示调整前的卷积核大小。进一步地,kernelsize+2N的值不超过11。进一步地,步骤1中将每层卷积的特征图通道大小调整为featuremaps-K,其中K=1,2,3…,featuremaps表示调整前的特征图通道大小。进一步地,步骤2的全连接层结构中,除最后一层全连接层外,其余全连接层神经元结点数目调整后则为2A+B,2A为全连接层神经元结点调整前数目,B=1,2,3……,且全连接层结构总参数量小于调整前的全连接层结构总参数量。进一步地,调整前的卷积神经网络为LeNet-5,且LeNet-5的卷积层结构共包含3层卷积,每层卷积的卷积核大小均为5*5,每层卷积的特征图通道大小分别为6,16,16,LeNet-5神经元结点数目分别为120,84,2,其中2为2分类。进一步地,步骤1中将每层卷积的卷积核大小调整为分别调整为7*7,7*7,9*9。进一步地,步骤1中将每层卷积的特征图通道大小分别调整为6,8,3。进一步地,步骤2中将全连接层的神经元结点增加至512,32,2,其中2为2分类。与现有技术相比,本专利技术具有以下有益的技术效果:本专利技术通过第一步卷积-全连接参数置换和第二步全连接层神经元补偿,减少了整个神经网络的参数量,达到卷积神经网络轻量化效果,并且因为有全连接神经元结点的适当补偿,提取到了更多的特征信息进行分析和学习作为补偿,所以不会损失太多精度,本专利技术设计的卷积神经网络在保持了良好精度的同时,压缩了参数量,使得整个卷积神经网络达到了轻量化效果。在相同的数据集,学习率,训练迭代次数,训练批次大小的基准下,对比LeNet-5与采用卷积-全连接参数置换与全连接层神经元补偿方法设计的轻量化卷积神经网络,如图4所示,结构置换导致卷积层结构参数占卷积神经网络整体参数的比例有所增加,但是全连接层结构的参数占卷积神经网络整体参数的比例有所下降,尤其全连接层结构第1层全连接层参数从11664下降到972。因此,就整体参数量而言,置换补偿后的轻量化神经网络比LeNet-5减少了63%,从LeNet-5的1410841减少到了519871,同时,LeNet-5的测试精度大约是92%,而轻量化卷积神经网络的测试精度大约94%,测试精度无损失,甚至有提高。附图说明图1为CNN硬件处理器访存和Mult/Add计算操作空间示意图;图2为访存/ALU占比示意图;图3为卷积神经网络卷积层结构、全连接层结构参数占比示意图,其中(a)LeNet5卷积层结构和全连接层结构参数占总参数的比例;(b)AlexNet卷积层结构和全连接层结构参数占总参数的比例;(c)VGG16卷积层结构和全连接层结构参数占总参数的比例;图4为基于卷积-全连接参数置换与全连接层神经元补偿的举例示意图;图5为轻量化卷积神经网络和LeNet-5参数量对比图;图6为卷积层结构参数量以及全连接层参数量占比图,其中(a)LeNet5卷积层结构和全连接层结构参数占总参数的比例;(b)调整后的轻量级卷积神经网络卷积层结构和全连接层结构参数占总参数的比例。具体实施方式下面结合附图对本专利技术作进一步详细描述:卷积-全连接参数置换与全连接神经元补偿的卷积神经网络设计方法。主要思路:卷积神经网络一般由两个主要结构组成,卷积层结构和全连接层结构,卷积层结构。首先,在卷积层结构,一般卷积核(kernelsize)大小都是奇数,例如3*3,5*5,适当增加卷积核大小,即:kernelsize+2N(N=1,2,3…),但是尽量控制调整后的卷积核大小不要超过11。同时,适当减少每层卷积的特征图通道(featuremaps本文档来自技高网
...

【技术保护点】
1.卷积‑全连接参数置换与全连接神经元补偿的卷积神经网络设计方法,其特征在于,所述卷积神经网络包括卷积层结构和全连接层结构,卷积神经网络的设计方法具体包括以下步骤:步骤1:卷积‑全连接参数置换针对调整前的卷积神经网络,在卷积层结构中,增加每层卷积的卷积核大小,减少每层卷积的特征图通道的大小,以压缩全连接层结构中第1层全连接层的输入参数量,增加卷积层结构的参数占比,减少全连接层结构的参数占比;步骤2:全连接层神经元补偿针对调整前的卷积神经网络,在全连接层结构中,增加每层全连接层的神经元结点的数目,以提取更多的特征信息分析学习,补偿整个卷积神经网络的精度。

【技术特征摘要】
1.卷积-全连接参数置换与全连接神经元补偿的卷积神经网络设计方法,其特征在于,所述卷积神经网络包括卷积层结构和全连接层结构,卷积神经网络的设计方法具体包括以下步骤:步骤1:卷积-全连接参数置换针对调整前的卷积神经网络,在卷积层结构中,增加每层卷积的卷积核大小,减少每层卷积的特征图通道的大小,以压缩全连接层结构中第1层全连接层的输入参数量,增加卷积层结构的参数占比,减少全连接层结构的参数占比;步骤2:全连接层神经元补偿针对调整前的卷积神经网络,在全连接层结构中,增加每层全连接层的神经元结点的数目,以提取更多的特征信息分析学习,补偿整个卷积神经网络的精度。2.根据权利要求1所述的卷积-全连接参数置换与全连接神经元补偿的卷积神经网络设计方法,其特征在于,步骤1中将每层卷积的卷积核大小调整为kernelsize+2N,其中:N=1,2,3…,kernelsize表示调整前的卷积核大小。3.根据权利要求2所述的卷积-全连接参数置换与全连接神经元补偿的卷积神经网络设计方法,其特征在于,kernelsize+2N的值不超过11。4.根据权利要求1所述的卷积-全连接参数置换与全连接神经元补偿的卷积神经网络设计方法,其特征在于,步骤1中将每层卷积的特征图通道大小调整为featuremaps-K,其中K=1,2,3…,featuremaps表示...

【专利技术属性】
技术研发人员:杨晨张靖宇陈琦张景越徐建龙
申请(专利权)人:西安交通大学
类型:发明
国别省市:陕西,61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1