一种新的深度多核学习网络模型训练方法、系统及介质技术方案

技术编号:29936680 阅读:36 留言:0更新日期:2021-09-04 19:14
本发明专利技术公开了一种新的深度多核学习网络模型训练方法、系统及介质,该方法包括:确定网络的基础核函数种类;随机生成m个网络拓扑结构互不相同,每一层由n个基础核函数组成的网络M;生成m个带网络连接权重的网络M

【技术实现步骤摘要】
一种新的深度多核学习网络模型训练方法、系统及介质


[0001]本专利技术属于面向核学习、深度学习、遗传算法、模式识别的
,具体涉及一种新的深度多核学习网络模型训练方法、系统及介质。

技术介绍

[0002]2006年初,Hinton提出“当人工神经网络(多层感知机)拥有了多个隐层时具有优异的特征学习能力,其中学习到的特征对数据有更本质的刻画,从而有利于可视化或分类”。那时开始,人工智能界掀起了一股研究深度学习的热潮,之后又有学者提出CNN(卷积神经网络)在图像识别正确率上的巨大成功,至此人们关于深度学习的关注来到了前所未有的热度。
[0003]2010年初期,人们提到深度学习都是人工神经网络(ANN)加上BP(反向传播)算法。但是这样的全连接BP网络,只能完成简单的推理和识别,相对于SVM(支持向量机)而言需要大量的样本数据和计算资源,在推理、识别效果还有泛化能力上没有很大的提升,在工业制造上却很难普及起来。为了让这样的深度网络结构能够解决更多更复杂的情况,如人脸识别,目标检测等等问题,人们先后又先后提出了,RNN(循环神经网络),本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种新的深度多核学习网络模型训练方法,其特征在于,包括以下步骤:确定深度多核学习网络模型的基础核函数种类n;随机生成m个网络拓扑结构互不相同,每一层由n个基础核函数组成的深度多核学习网络模型M;对m个深度多核学习网络模型M随机生成对应拓扑结构k个初始连接种群即网络连接权重W,得到m个带网络连接权重的深度多核学习网络模型M
w
;通过遗传算法优化网络连接权重W,得到m个带最优连接权重的深度多核学习网络模型M
best_w
;通过遗传算法对M
best_w
进行网络拓扑结构优化,找出针对当前所解决问题的带最优网络拓扑结构的深度多核学习网络模型M
best_c
;对M
best_c
重复通过遗传算法对M
best_w
进行网络拓扑结构优化,直到深度多核学习网络模型M
best_w
得到最优的权重即得出最优深度多核学习网络模型。2.根据权利要求1所述一种新的深度多核学习网络模型训练方法,其特征在于,所述基础核函数包括RBF核函数、线性核函数、多项式核函数、sigmoid核函数以及满足半正定的核函数;每个基础核函数的输出连接一个激活函数;所述激活函数包括tanh激活函数、sigmoid激活函数、ELU激活函数。3.根据权利要求1所述一种新的深度多核学习网络模型训练方法,其特征在于,所述随机生成m个网络拓扑结构互不相同,每一层由n个基础核函数组成的深度多核学习网络模型M,具体为:将n个基础核函数作为基因中的n种碱基,通过n位二进制码排列形成一个碱基对,其中1表示对应的核函数被激活,0表示对应的核函数睡眠;随机生成m条编码互不相同的基因,每条基因由多个碱基对组成,对应不同的网络结构,则m条网络结构互不相同的基因集合,也即深度多核学习网络模型M,表示为M={G1,G2,...,G
m
},G表示一条基因。4.根据权利要求1所述一种新的深度多核学习网络模型训练方法,其特征在于,所述对m个深度多核学习网络模型M随机生成对应拓扑结构的网络连接权重W,得到m个带网络连接权重的深度多核学习网络模型Mw,具体为:通过高斯分布对不同的网络拓扑结构进行权重初始化,假设生成的深度多核学习网络模型拥有L层,每一层由n个基础核函数组成,则该深度多核学习网络模型的拓扑结构所对应的连接权重集合为一个(L
·
n)
×
(L
·
n)的二维权重矩阵ω,其中需要加权的连接个数N为:之后将二维权重矩阵ω中所有与睡眠的基础核函数连接的权重置为0,即如果睡眠核函数是第i层的第j个核函数,那么在之前第k层的每一个核函数的连接数组中第(j
‑1‑
k)
·
n+i位置将被设置为0,其中n为基础核函数的个数。5.根据权利要求1所述一种新的深度多核学习网络模型训练方法,其特征在于,所述通过遗传算法优化网络权重W,得到m个带最优连接权重深度多核学习网络M
best_w
,具体为:对m个深度多核学习网络模型分别随机生成k个初始连接种群,具体为:采用神经网络
生成初始权重的方法生成m个深度网络结构对应的初始连接种群W,则W={P1,P2,P3,P4,...,P
i
,...,P
m
},P
i
={ω1,ω2,ω3,ω4,...,ω
j
,...,ω
k
};其中P
i
表示第i个深度多核学习网络模型对应的初始连接种群,ω
j
表示随机生成k个初始连接种群中第j个个体;确定遗传算法的目标函数;根据遗传算法对k个初始连接种群进行选择、交叉、变异操作,分别求出m个深度多核学习网络模型的最优连接种群best_...

【专利技术属性】
技术研发人员:林伟伟沈王博
申请(专利权)人:华南理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1