用于优化神经网络架构搜索的方法和装置制造方法及图纸

本公开的实施例公开了用于优化神经网络架构搜索的方法和装置。该方法的一具体实施方式包括：基于预定的优化器集合和学习率衰减方案集合生成搜索空间；基于搜索空间生成优化方案序列；基于优化方案序列执行训练步骤：基于优化方案序列训练待搜索的神经网络得到奖励；根据奖励更新优化方案序列；若训练次数达到预定上限或奖励不再增加达到预设的轮次，则结束训练并输出优化方案序列对应的优化器和学习率衰减方案；否则，基于调整后的优化方案序列继续执行上述训练步骤。该实施方式能够使得模型快速收敛，同时可以得到较优的模型精度。

Methods and devices for optimizing neural network architecture search

【技术实现步骤摘要】
用于优化神经网络架构搜索的方法和装置
本公开的实施例涉及计算机
，具体涉及用于优化神经网络架构搜索的方法和装置。
技术介绍
最近几年，深度学习技术在很多方向上都取得了巨大的成功，深度学习技术中，人工神经网络结构的好坏对最终模型的效果有非常重要的影响。手工设计网络拓扑结构需要非常丰富的经验和众多尝试，并且众多参数会产生爆炸性的组合，常规的随机搜索几乎不可行，因此最近几年神经网络架构搜索技术(NeuralArchitectureSearch，简称NAS)成为研究热点。NAS是用算法代替繁琐的人工操作，自动搜索出最佳的神经网络架构，一般NAS的几个关键要素包括搜索空间定义、搜索策略和搜索目标评估方法等。深度学习技术中，不同的优化器对于模型的收敛速度级收敛精度影响很大。学习率的下降策略(包括初始学习率)对于优化器至关重要。模型的收敛速度以及模型最终的收敛精度受到学习率下降策略限制。当前主要的方式时通过人工设置学习率策略调整学习率，或是设置简单的学习率衰减规则来控制学习率。简单的学习率衰减策略，虽然不需要人工干预，但通常模型无法收敛本文档来自技高网...

【技术保护点】
1.一种用于优化神经网络架构搜索的方法，包括：/n基于预定的优化器集合和学习率衰减方案集合生成搜索空间；/n基于所述搜索空间生成优化方案序列；/n基于所述优化方案序列执行训练步骤：基于所述优化方案序列训练待搜索的神经网络得到奖励；若满足预设结束条件，则结束训练并输出所述优化方案序列对应的优化器和学习率衰减方案；/n否则，根据所述奖励更新所述优化方案序列，基于调整后的优化方案序列继续执行上述训练步骤。/n

【技术特征摘要】
1.一种用于优化神经网络架构搜索的方法，包括：
基于预定的优化器集合和学习率衰减方案集合生成搜索空间；
基于所述搜索空间生成优化方案序列；
基于所述优化方案序列执行训练步骤：基于所述优化方案序列训练待搜索的神经网络得到奖励；若满足预设结束条件，则结束训练并输出所述优化方案序列对应的优化器和学习率衰减方案；
否则，根据所述奖励更新所述优化方案序列，基于调整后的优化方案序列继续执行上述训练步骤。


2.根据权利要求1所述的方法，其中，所述基于所述搜索空间生成优化方案序列，包括：
通过递归神经元网络基于所述搜索空间生成优化方案序列。


3.根据权利要求1所述的方法，其中，所述基于所述搜索空间生成优化方案序列，包括：
通过进化算法基于所述搜索空间生成优化方案序列。


4.根据权利要求2所述的方法，其中，所述根据所述奖励更新所述优化方案序列，包括：
由奖励对优化方案序列反向传播更新递归神经元网络，生成新的优化方案序列。


5.根据权利要求3所述的方法，其中，所述根据所述奖励更新所述优化方案序列，包括：
通过更新算法中种群来更新优化方案序列。


6.根据权利要求1所述的方法，其中，所述预设结束条件包括以下至少一项：
训练次数达到预定上限、所述奖励不再增加达到预设的轮次。


7.根据权利要求1-6之一所述的方法，其中，所述方法还包括：
更新训练样本，利用所述优化方案序列对应的优化器和学习率衰减方案继续训练待搜索的神经网络。


8.一种用于优化神经网络架构搜索的装置，包括：
搜索单元，被配置成基于预定的优化器集合和学习率衰减方案集合生成搜索空间；
生成单元，被配置成基于所述搜索空间生成优化方案序列；
训练单元，被配置成基...

【专利技术属性】
技术研发人员：希滕，张刚，温圣召，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11