基于代理辅助进化算法的卷积神经网络结构优化方法技术

本发明专利技术公开了一种基于代理辅助进化算法的卷积神经网络结构优化方法，用于现有技术中存在的网络预测性能提升有限和优化效率较低的技术问题，实现步骤为：获取训练样本集和验证样本集；获取卷积神经网络的结构参数；初始化参数样本集和验证准确率集；基于代理辅助进化算法对结构参数进行优化。本发明专利技术采用全局或局部代理辅助的混合进化算法对结构参数进行全局优化，可以兼顾优化过程中的探索与开发，能提高优化的搜索能力，从而搜索到更好的结构参数，进而显著提升优化后的卷积神经网络预测性能，使用代理模型对验证准确率进行预测，替代进化优化过程中评估时所需的大量昂贵耗时的训练和验证，节约大量计算资源以及评估时间，提升优化效率。提升优化效率。提升优化效率。

【技术实现步骤摘要】
基于代理辅助进化算法的卷积神经网络结构优化方法


[0001]本专利技术属于智能优化领域，涉及一种卷积神经网络结构优化方法，具体涉及一种基于代理辅助进化算法的卷积神经网络结构优化方法。

技术介绍

[0002]卷积神经网络(Convolutional Neural Network，CNN)是一种被广泛应用于计算机视觉、自然语言处理、语音识别和语义分析等领域的神经网络模型，它的基本结构由输入层、卷积层、池化层、全连接层及输出层构成。卷积层通过卷积操作提取特征，池化层通过降低特征面的分辨率来获得具有空间不变性的特征，常用的池化方法有最大池化和均值池化，全连接层可以整合具有类别区分性的特征信息。在全连接层中采用神经元随机失活(Dropout)技术，降低网络复杂度，使神经元能够学习到更加鲁棒的特征。然而，卷积神经网络的结构设计是十分重要且困难的，不同的结构参数会对模型的性能产生很大的影响。当基于经验设计或经典的网络结构无法满足任务需求时，网络结构参数的优化研究十分重要。
[0003]例如华南理工大学与佛山市顺德致可智能科技有限公司在其申请的专利文献“一种基于PSO的权值直接确定神经网络结构优化方法”(申请号：CN201811024634.5公开号：CN109344961A)中，公开了一种基于PSO的权值直接确定神经网络结构优化方法，该方法将PSO算法应用于优化网络结构，寻找神经网络最佳神经元数目，所训练的网络具有很强的逼近能力，实用价值高。但是，该方法的不足之处是，对神经元数量这个连续型结构参数进行优化，没有对激活函数类型等对网络模型有重要影响的离散型结构参数进行调优，因此最终优化后的网络预测性能提升有限。
[0004]又如西北工业大学在其申请的专利文献“基于预测机制和遗传算法融合的深度神经网络结构优化方法”(申请号：CN201910696239.X公开号：CN110490320A)中公开了一种基于预测机制和遗传算法融合的深度神经网络结构优化方法，用于解决现有网络结构搜索方法搜索效率低的技术问题。但是，该方法可以对卷积层的结构进行优化，但不优化全连接层的结构，因此最终优化后的网络预测性能提升有限，并且在遗传算法优化过程中，评估时训练和验证需要耗费大量时间，优化效率较低。

技术实现思路

[0005]本专利技术的目的在于克服上述现有技术存在的不足，提出了一种基于代理辅助进化算法的卷积神经网络结构优化方法，用于解决现有技术中存在的网络预测性能提升有限和优化效率较低的技术问题。
[0006]为实现上述目的，本专利技术采取的技术方案包括如下步骤：
[0007](1)获取训练样本集和验证样本集：
[0008]获取包括C类别的M幅图像，并对每幅图像的类别进行标注，然后将V幅图像及其对应的标签组成训练图像样本集D
train
，将其余M
‑
V幅图像及其对应的标签组成验证图像样本
集D
val
，其中，C≥2，M≥50000，V>M/2；
[0009](2)获取卷积神经网络的结构参数：
[0010]获取包括A个卷积层、B个池化层、E个全连接层的卷积神经网络模型O的结构参数为s，s包括由A个卷积层卷积核的数量、前E
‑
1个全连接层神经元的数量和神经元随机失活率组成的连续型参数x，以及由A个卷积层卷积核的大小、使用的激活函数类型和B个池化层使用的池化函数类型组成的离散型参数z，其中，A≥1，B≥1，E≥2，x包含的参数数量为L＝A+2E
‑
2，z包含的参数数量为R＝2A+B；
[0011](3)初始化参数样本集和验证准确率集：
[0012]对结构参数s进行N次随机采样，并将随机采样得到的参数样本集S1＝{s1,s2,...,s
n
,...,s
N
}中的每一个参数样本s
n
作为卷积神经网络模型O的结构参数取值得到卷积神经网络然后将训练图像样本集D
train
作为卷积神经网络的输入进行e次迭代训练，再将验证图像样本集D
val
作为训练好的卷积神经网络的输入对验证图像样本的类别进行预测，并计算预测类别与真实标签一致的样本数量与验证图像样本总数量M
‑
V的比值作为s
n
对应的验证准确率f
n
，最后得到参数样本集S1对应的验证准确率集F1＝{f1,f2,...,f
n
,...,f
N
}，其中N≥100，s
n
表示第n个参数样本，f
n
表示s
n
对应的验证准确率，e≥10；
[0013](4)基于代理辅助进化算法对结构参数进行优化：
[0014](4a)初始化迭代次数为t，最大迭代次数为T，T≥200，多样性阈值为τ，0<τ<1，种群为P
t
，并令t＝1，P1＝S1；
[0015](4b)计算当前种群P
t
的多样性指标R
t
，并判断R
t
<τ是否成立，若是，执行步骤(4c)，否则，执行步骤(4d)；
[0016](4c)采用全局代理辅助混合进化算法对结构参数s进行全局优化，并将优化后的结构参数作为卷积神经网络模型O的结构参数取值得到卷积神经网络然后将训练图像样本集D
train
作为卷积神经网络的输入进行e次迭代训练，再将验证图像样本集D
val
作为训练好的卷积神经网络的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M
‑
V的比值作为对应的验证准确率f
1t
，更新参数样本集S'
t
和对应的验证准确率集F
t
'，F
t
'＝F
t
‑1∪{f
1t
}，并执行步骤(4e)；
[0017](4d)采用局部代理辅助分布估计算法对结构参数s进行局部优化，并将优化后的结构参数作为卷积神经网络模型O的结构参数取值得到卷积神经网络然后将训练图像样本集D
train
作为卷积神经网络的输入进行e次迭代训练，再将验证图像样本集D
val
作为训练好的卷积神经网络的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M
‑
V的比值作为对应的验证准确率并更新参数样本集S'
t
和对应的验证准确率集F
t
'，
[0018](4e)将从当前种群P
t
中选出的验证准确率最高的个体和从参数样本
集S
t
中选出的N
cb
个离散型参数取值为的样本构成样本参数集然后判断N...

【技术保护点】

【技术特征摘要】
1.一种基于代理辅助进化算法的卷积神经网络结构优化方法，其特征在于，包括如下步骤：(1)获取训练样本集和验证样本集：获取包括C类别的M幅图像，并对每幅图像的类别进行标注，然后将V幅图像及其对应的标签组成训练图像样本集D
train
，将其余M
‑
V幅图像及其对应的标签组成验证图像样本集D
val
，其中，C≥2，M≥50000，V>M/2；(2)获取卷积神经网络的结构参数：获取包括A个卷积层、B个池化层、E个全连接层的卷积神经网络模型O的结构参数为s，s包括由A个卷积层卷积核的数量、前E
‑
1个全连接层神经元的数量和神经元随机失活率组成的连续型参数x，以及由A个卷积层卷积核的大小、使用的激活函数类型和B个池化层使用的池化函数类型组成的离散型参数z，其中，A≥1，B≥1，E≥2，x包含的参数数量为L＝A+2E
‑
2，z包含的参数数量为R＝2A+B；(3)初始化参数样本集和验证准确率集：对结构参数s进行N次随机采样，并将随机采样得到的参数样本集S1＝{s1,s2,...,s
n
,...,s
N
}中的每一个参数样本s
n
作为卷积神经网络模型O的结构参数取值得到卷积神经网络然后将训练图像样本集D
train
作为卷积神经网络的输入进行e次迭代训练，再将验证图像样本集D
val
作为训练好的卷积神经网络的输入对验证图像样本的类别进行预测，并计算预测类别与真实标签一致的样本数量与验证图像样本总数量M
‑
V的比值作为s
n
对应的验证准确率f
n
，最后得到参数样本集S1对应的验证准确率集F1＝{f1,f2,...,f
n
,...,f
N
}，其中N≥100，s
n
表示第n个参数样本，f
n
表示s
n
对应的验证准确率，e≥10；(4)基于代理辅助进化算法对结构参数进行优化：(4a)初始化迭代次数为t，最大迭代次数为T，T≥200，多样性阈值为τ，0<τ<1，种群为P
t
，并令t＝1，P1＝S1；(4b)计算当前种群P
t
的多样性指标R
t
，并判断R
t
<τ是否成立，若是，执行步骤(4c)，否则，执行步骤(4d)；(4c)采用全局代理辅助混合进化算法对结构参数s进行全局优化，并将优化后的结构参数作为卷积神经网络模型O的结构参数取值得到卷积神经网络然后将训练图像样本集D
train
作为卷积神经网络的输入进行e次迭代训练，再将验证图像样本集D
val
作为训练好的卷积神经网络的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M
‑
V的比值作为对应的验证准确率f
1t
，更新参数样本集S'
t
和对应的验证准确率集F
t
'，F
t
'＝F
t
‑1∪{f
1t
}，并执行步骤(4e)；(4d)采用局部代理辅助分布估计算法对结构参数s进行局部优化，并将优化后的结构参数作为卷积神经网络模型O的结构参数取值得到卷积神经网络然后将训练图像样本集D
train
作为卷积神经网络的输入进行e次迭代训练，再将验证图像样本集D
val
作为训
练好的卷积神经网络的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M
‑
V的比值作为对应的验证准确率并更新参数样本集S'
t
和对应的验证准确率集F
t
'，'，(4e)将从当前种群P
t
中选出的验证准确率最高的个体和从参数样本集S
t
中选出的N
cb
个离散型参数取值为的样本构成样本参数集然后判断N
cb
≥5
×
L是否成立，若是，执行步骤(4f)，否则，执行步骤(4g)；(4f)采用连续代理辅助差分进化算法对连续型结构参数x进行优化，得到优化后的连续型结构参数组合和得到的作为卷积神经网络模型O的结构参数得到卷积神经网络然后将训练图像样本集D
train
作为卷积神经网络的输入进行e次迭代训练，再将验证图像样本集D
val
作为训练好的卷积神经网络的输入对验证图像样本的类别进行预测，最后计算预测类别与真实标签一致的样本数量与验证图像样本总数量M
‑
V的比值作为对应的验证准确率更新参数样本集S'
t
和对应的验证准确率集F
t
'，'，(4g)判断t＝T是否成立，若是，输出参数样本集S
T
和对应的验证准确率集F
T
，并从S
T
中取F
T
中验证准确率最高的结构参数s
best
＝{x
best
,z
best
}作为卷积神经网络模型O的结构参数，得到最优卷积神经网络O
sbest
，否则，令t＝t+1，S
t
＝S'
t
，F
t
＝F
t
'，并从参数样本集S
t
中选取F
t
中验证准确率高的前N个参数样本作为当前种群P
t
，并执行步骤(4b)。2.根据权利要求1所述的基于代理辅助进化算法的卷积神经网络结构优化方法，其特征在于，步骤(4b)中所述的当前种群P
t
的多样性指标R

【专利技术属性】
技术研发人员：王晗丁，刘勇存，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：