【技术实现步骤摘要】
网络结构的确定方法、装置和电子系统
本专利技术涉及神经网络
,尤其是涉及一种网络结构的确定方法、装置和电子系统。
技术介绍
在神经网络自动化设计中,需要从给定的网络结构空间中,通过搜索算法搜索性能优越的网络结构,对搜索到的网络结构赋予参数后,对网络结构的性能进行测评,进而根据测评结果,优化上述搜索算法,以使搜索出来的网络结构更好。上述在对搜索到的网络结构赋予参数的过程中,一种方式是对搜索出的每个网络结构都从头开始训练,基于训练结果赋予参数,该方式的计算资源消耗较大;另一种方式是搜索出的每个网络结构共享参数,即新搜索到的网络结构被赋予原网络结构已有的参数,但是,该方式易降低对网络结构的性能测评的准确性。
技术实现思路
本专利技术的目的在于提供一种网络结构的确定方法、装置和电子系统,以节省大量的计算资源,同时准确测评网络结构的性能。第一方面,本专利技术实施例提供一种网络结构的确定方法,该方法包括:从预设的网络结构空间中,划分出网络结构的第一集合和第二集合;按照预设概率,从第一集合和第二集合中选择 ...
【技术保护点】
1.一种网络结构的确定方法,其特征在于,所述方法包括:/n从预设的网络结构空间中,划分出网络结构的第一集合和第二集合;/n按照预设概率,从所述第一集合和所述第二集合中选择目标网络结构;/n在所述网络结构空间对应的综合网络中,逐一确定每个所述目标网络结构,并基于预设的训练样本训练确定出的目标网络结构,得到每个所述目标网络结构的性能评分;其中,每个所述目标网络结构在所述综合网络的当前操作参数基础上进行训练;/n根据所述目标网络结构的性能评分,更新所述第二集合中的网络结构;/n基于所述第二集合中的网络结构,确定最终的网络结构。/n
【技术特征摘要】 【专利技术属性】
1.一种网络结构的确定方法,其特征在于,所述方法包括:
从预设的网络结构空间中,划分出网络结构的第一集合和第二集合;
按照预设概率,从所述第一集合和所述第二集合中选择目标网络结构;
在所述网络结构空间对应的综合网络中,逐一确定每个所述目标网络结构,并基于预设的训练样本训练确定出的目标网络结构,得到每个所述目标网络结构的性能评分;其中,每个所述目标网络结构在所述综合网络的当前操作参数基础上进行训练;
根据所述目标网络结构的性能评分,更新所述第二集合中的网络结构;
基于所述第二集合中的网络结构,确定最终的网络结构。
2.根据权利要求1所述的方法,其特征在于,
所述预设的网络结构空间,通过下述方式创建:根据预设数量的节点和预设种类的操作类型,创建多种网络结构;其中,每种所述网络结构包括至少一组节点对,每组节点对之间设置一种所述操作类型;所述节点对包括所述预设数量的节点中的两个节点;
所述网络结构空间对应的综合网络,包括所述预设数量的节点中任意两个节点组成的节点对,每个所述节点对之间设置全部预设种类的操作类型。
3.根据权利要求1所述的方法,其特征在于,从预设的网络结构空间中,划分出网络结构的第一集合和第二集合的步骤,包括:
从预设的网络结构空间中随机选取多个网络结构;
基于预设的训练样本,对选取的网络结构进行训练,得到每个所述选取的网络结构的性能评分;
从性能评分最高的网络结构开始,按照性能评分从高到低的顺序,从所述选取的网络结构中截取预设比例的网络结构,将截取的网络结构确定为第二集合;
将除所述第二集合中的网络结构以外的网络结构,确定为第一集合。
4.根据权利要求3所述的方法,其特征在于,对选取的网络结构进行训练的步骤,包括:
在预设的初始操作参数的基础上,训练每个选取的网络结构;
或者,在所述综合网络中,逐一确定每个选取的网络结构,并训练确定出的网络结构;其中,每个确定出的目标网络结构在所述综合网络的当前操作参数基础上进行训练。
5.根据权利要求1所述的方法,其特征在于,根据所述目标网络结构的性能评分,更新所述第二集合中的网络结构的步骤,包括:
比较所述目标网络结构中,来自所述第一集合的目标网络结构的性能评分,和来自所述第二集合的目标网络结构的性能评分;
如果来自所述第一集合的目标网络结构中,存在性能评分高于来自所述第二集合的目标网络结构的性能评分的特定网络结构,将所述特定网络结构确定为待移动的网络结构;
将所述待移动的网络结构移动至所述第二集合;将所述第二集合中,性能评分低于所述特定网络结构的目标网络结构,移动至所述第一集合。
6.根据权利要求1所述的方法,其特征在于,基于所述第二集合中的网络结构,确定最终的网络结构的步骤,包括:
技术研发人员:侯鹏飞,
申请(专利权)人:北京迈格威科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。