基于改进型杂交育种算法的胶囊网络参数优化方法及系统技术方案

本发明专利技术公开了一种基于改进型杂交育种算法的胶囊网络参数优化方法及系统。先将各组待优化的超参数组合编码为各种群个体，由各种群个体组成种群；根据种群个体中各个分量所代表的超参数的取值区间为各分量设定初始化位置，随机初始化胶囊网络模型的权重；再将种群个体解码为超参数组合输入到胶囊网络模型进行迭代训练，计算各种群个体的适应度值，根据适应度值的大小将各种群个体划分为保持系个体、恢复系个体和不育系个体，并对不同系的个体进行更新；如果达到预设的种群迭代次数，得到适应度值最小的种群个体为全局最优的胶囊网络超参数组合。本发明专利技术不仅能够使网络的超参数配置更加合理，而且能够减少时间成本。而且能够减少时间成本。而且能够减少时间成本。

【技术实现步骤摘要】
基于改进型杂交育种算法的胶囊网络参数优化方法及系统


[0001]本专利技术涉及胶囊网络
，尤其涉及基于改进型杂交育种算法的胶囊网络参数优化方法及系统。

技术介绍

[0002]经典胶囊网络(Capsule Network，CapsNet)结构一般由输入层、卷积层、初始化胶囊层、数字胶囊层、重构网络以及输出层构成。网络的层数越多，网络的深度就越深，胶囊网络的学习能力也越强，但任务的时间复杂度和空间复杂度也会随着网络深度的加深而增加。
[0003]胶囊网络除了需要训练网络的权值、偏置项、耦合系数等参数之外，还需要在开始训练网络之前对部分参数进行预设置，这一类参数被统称为超参数。胶囊网络中常见的超参数包括：胶囊网络的层数、卷积层中相关参数、初始化胶囊层中的通道个数、胶囊的维度、路由迭代次数、是否构建重构网络、优化器的选择以及重构网络中全连接层的个数等，这些参数都需要在网络开始训练之前进行人工设定。
[0004]大量实验及研究表明，超参数直接影响着网络模型的性能。如训练批量大小是影响网络性能的关键参数，当训练批量越大，计算速度则越快，但正确率却可能随之下降。再如卷积层中激活函数类型的选择也很重要，不同的激活函数有不同的特点，选择合适的激活函数能有效地避免网络训练收敛速度过慢，以及反向传播过程中的梯度消失问题。又如网络中卷积核的数量决定了胶囊的个数，卷积核通过在图像上按一定的步长滑动进行特征提取，应该是随着网络层数的加深，网络的拟合与分类效果越好，但网络的计算成本也随之增加。针对任务，研究人员往往只能通过经验来配置网络的超参数，然而这些超参数组合方式多样而复杂，依靠人工经验选出来的超参数组合难以达到预期效果且非常耗时，因此使用一种自动化的方法优化网络的超参数是非常有必要的。

技术实现思路

[0005]本专利技术通过提供一种基于改进型杂交育种算法的胶囊网络参数优化方法及系统，解决了现有技术中依靠人工经验选出来的超参数组合难以达到预期效果且非常耗时的技术问题。
[0006]本专利技术提供了一种基于改进型杂交育种算法的胶囊网络参数优化方法，包括：
[0007]将各组待优化的超参数组合编码为各种群个体，由所述各种群个体组成种群；根据所述各种群个体中各个分量所代表的超参数的取值区间为各个分量设定初始化位置，随机初始化胶囊网络模型的权重；
[0008]将所述种群个体解码为超参数组合输入到所述胶囊网络模型中，对所述胶囊网络模型进行迭代训练，计算所述各种群个体的适应度值；
[0009]根据所述适应度值的大小将所述各种群个体划分为保持系个体、恢复系个体和不育系个体；
[0010]针对每个保持系个体，使用莱维飞行进行个体更新，得到保持系新个体；
[0011]若所述保持系新个体的适应度值小于原保持系个体，用所述保持系新个体替换所述原保持系个体；若所述保持系新个体的适应度值等于或者大于所述原保持系个体，保留所述原保持系个体；
[0012]针对每个目标恢复系个体，将所述目标恢复系个体与另一恢复系个体进行自交操作，生成恢复系新个体；用所述恢复系新个体更新所述原目标恢复系个体；
[0013]针对每个不育系个体，都随机选择一个保持系个体与其进行杂交生成不育系新个体；
[0014]若所述不育系新个体的适应度值小于原不育系个体，用所述不育系新个体替换所述原不育系个体；若所述不育系新个体的适应度值等于或者大于所述原不育系个体，保留所述原不育系个体；
[0015]如果达到预设的种群的迭代次数，得到适应度值最小的种群个体为全局最优的胶囊网络超参数组合。
[0016]具体来说，所述计算所述各种群个体的适应度值，包括：
[0017]通过公式L
k
＝T
k
max(0,m
+
‑
||v
k
||)2+λ(1
‑
T
k
)max(0,||v
k
||
‑
m
‑
)2计算种群个体的适应度值L
k
；其中，v
k
为所述胶囊网络模型的输出向量，||v
k
||为所述输出向量的模，k为类别k，T
k
＝1，m
+
＝0.9，m
‑
＝0.1，λ＝0.5。
[0018]具体来说，所述针对每个保持系个体，使用莱维飞行进行个体更新，得到保持系新个体，包括：
[0019]通过公式计算得到莱维飞行产生的路径s；其中，u～N(0,σ2)，v～N(0,1)，β∈[0,2]，N为正态分布，
[0020]通过公式得到所述保持系新个体；其中，为得到的保持系新个体的第d维分量，为所述目标保持系个体的第d维分量，为当前最优个体的第d维分量，step是步长缩放因子。
[0021]具体来说，所述针对每个目标恢复系个体，将所述目标恢复系个体与另一恢复系个体进行自交操作，生成恢复系新个体；用所述恢复系新个体更新所述原目标恢复系个体，包括：
[0022]判断当前目标恢复系个体是否已经达到自交次数上限；
[0023]若没有达到所述自交次数上限，通过公式进行自交操作，生成所述恢复系新个体；其中，为通过自交生成恢复系新个体的第d维分量，为当前最优个体的第d维分量，和分别为恢复系中第i个和第j个个体的第d维分量，r3为[0,1]之间的随机数；
[0024]如果所述恢复系新个体的适应度值小于所述目标恢复系个体，用所述恢复系新个体更新所述目标恢复系个体；如果所述恢复系新个体的适应度值等于或者大于所述目标恢
复系个体，保留所述目标恢复系个体；
[0025]若达到所述自交次数上限，通过公式计算得到所述恢复系新个体；其中，为重置生成的所述恢复系新个体的第d维分量，和分别代表第d维自变量取值范围的上下限，为恢复系中第i个个体的第d维分量，r4为[0,1]之间的随机数，craze＝P(C4)sign(C4)X
c
，X
c
为常数，C4为服从[0,1]间均匀分布的随机数，P
c
为预设的疯狂概率；
[0026]用所述重置生成的恢复系新个体更新所述目标恢复系个体。
[0027]具体来说，所述针对每个不育系个体，都随机选择一个保持系个体与其进行杂交生成不育系新个体，包括：
[0028]通过公式杂交生成所述不育系新个体；其中，为第t代育种过程中杂交生成不育系新个体的第d维分量，为第t代育种时保持系中第a个个体的第d维分量，为第t代育种时不育系中第b个个体的第d维分量，r1和r2为[0,1]之间的随机数，且两者不相等，ε为随机扰动系数，其取值范围为[0.001,0.01]。
[0029]本专利技术还提供了一种基于改进型杂交育种算法的胶囊网络参数优化系统，包括：
[0030]初始化模块，用于将各组待优化的超参数组合编码为各种群个体，由所述各种群个体组成种群本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进型杂交育种算法的胶囊网络参数优化方法，其特征在于，包括：将各组待优化的超参数组合编码为各种群个体，由所述各种群个体组成种群；根据所述各种群个体中各个分量所代表的超参数的取值区间为各个分量设定初始化位置，随机初始化胶囊网络模型的权重；将所述种群个体解码为超参数组合输入到所述胶囊网络模型中，对所述胶囊网络模型进行迭代训练，计算所述各种群个体的适应度值；根据所述适应度值的大小将所述各种群个体划分为保持系个体、恢复系个体和不育系个体；针对每个保持系个体，使用莱维飞行进行个体更新，得到保持系新个体；若所述保持系新个体的适应度值小于原保持系个体，用所述保持系新个体替换所述原保持系个体；若所述保持系新个体的适应度值等于或者大于所述原保持系个体，保留所述原保持系个体；针对每个目标恢复系个体，将所述目标恢复系个体与另一恢复系个体进行自交操作，生成恢复系新个体；用所述恢复系新个体更新所述原目标恢复系个体；针对每个不育系个体，都随机选择一个保持系个体与其进行杂交生成不育系新个体；若所述不育系新个体的适应度值小于原不育系个体，用所述不育系新个体替换所述原不育系个体；若所述不育系新个体的适应度值等于或者大于所述原不育系个体，保留所述原不育系个体；如果达到预设的种群的迭代次数，得到适应度值最小的种群个体为全局最优的胶囊网络超参数组合。2.如权利要求1所述的基于改进型杂交育种算法的胶囊网络参数优化方法，其特征在于，所述计算所述各种群个体的适应度值，包括：通过公式L
k
＝T
k
max(0,m
+
‑
||v
k
||)2+λ(1
‑
T
k
)max(0,||v
k
||
‑
m
‑
)2计算种群个体的适应度值L
k
；其中，v
k
为所述胶囊网络模型的输出向量，||v
k
||为所述输出向量的模，k为类别k，T
k
＝1，m
+
＝0.9，m
‑
＝0.1，λ＝0.5。3.如权利要求1所述的基于改进型杂交育种算法的胶囊网络参数优化方法，其特征在于，所述针对每个保持系个体，使用莱维飞行进行个体更新，得到保持系新个体，包括：通过公式计算得到莱维飞行产生的路径s；其中，u～N(0,σ2)，v～N(0,1)，β∈[0,2]，N为正态分布，通过公式得到所述保持系新个体；其中，为得到的保持系新个体的第d维分量，为所述目标保持系个体的第d维分量，为当前最优个体的第d维分量，step是步长缩放因子。4.如权利要求1所述的基于改进型杂交育种算法的胶囊网络参数优化方法，其特征在于，所述针对每个目标恢复系个体，将所述目标恢复系个体与另一恢复系个体进行自交操
作，生成恢复系新个体；用所述恢复系新个体更新所述原目标恢复系个体，包括：判断当前目标恢复系个体是否已经达到自交次数上限；若没有达到所述自交次数上限，通过公式进行自交操作，生成所述恢复系新个体；其中，为通过自交生成恢复系新个体的第d维分量，为当前最优个体的第d维分量，和分别为恢复系中第i个和第j个个体的第d维分量，r3为[0,1]之间的随机数；如果所述恢复系新个体的适应度值小于所述目标恢复系个体，用所述恢复系新个体更新所述目标恢复系个体；如果所述恢复系新个体的适应度值等于或者大于所述目标恢复系个体，保留所述目标恢复系个体；若达到所述自交次数上限，通过公式计算得到所述恢复系新个体；其中，为重置生成的所述恢复系新个体的第d维分量，和分别代表第d维自变量取值范围的上下限，为恢复系中第i个个体的第d维分量，r4为[0,1]之间的随机数，craze＝P(C4)sign(C4)X
c
，X
c
为常数，C4为服从[0,1]间均匀分布的随机数，P
c
为预设的疯狂概率；用所述重置生成的恢复系新个体更新所述目标恢复系个体。5.如权利要求1所述的基于改进型杂交育种算法的胶囊网络参数优化方法，其特征在于，所述针对每个不育系个体，都随机选择一个保持系个体与其进行杂交生成不育系新个体，包括：通过公式杂交生成所述不育系新个体；其中，为第t代育种过程中杂交生成不育系新个体的第d维分量，为第t代育种时保持系中第a个个体的第d维分量，为第t代育种时不育系中第b个个体的第d维分量，r1和r2为[0,1]之间的随机数，且两者不相等，ε为随机扰动系数，其取值范围为[0.001,0.01]。6.一种基于改进型杂交育种算法的胶囊网络参数优化系统，其特征在于，包括：初始化模块，用于将各组待优化的超参数组合编码为各种群个体，由所述各种群个体组成种群；根据所述各种群个体中各个分量所代表的超参数的取值区间为各个分量设定初始化位置，随机初始化胶囊网络模型的权重；胶囊网络模型训练模块，用于将所述种群个体解码为超参数组合输入到所述胶囊...

【专利技术属性】
技术研发人员：叶志伟，黄若璇，闫春艳，周雯，王明威，严灵毓，蔡婷，魏丞昊，梅梦清，白万芳，吕炳辉，程育霖，
申请(专利权)人：西宁市大数据服务管理局西宁卓尔信息科技有限公司，
类型：发明
国别省市：