【技术实现步骤摘要】
网络模型结构的搜索方法、装置以及电子设备
本申请涉及一种计算机领域，尤其涉及神经网络的架构搜索领域。
技术介绍
深度学习技术在很多方向上都取得了巨大的成功，最近几年NAS技术(NeuralArchitectureSearch，神经网络架构搜索)成为研究热点。NAS是用算法代替繁琐的人工操作，在海量的搜索空间中自动搜索出最佳的神经网络架构。进行神经网络的架构搜索的步骤包括：首先，搜索空间定义、确定搜索空间。然后，根据所采用的优化算法，比如用强化学习、进化算法、贝叶斯优化等算法确定搜索策略。最后，搜索得到模型结构的速度以及模型的性能。目前，神经网络的架构搜索的方法可包括基于强化学习的模型结构自动搜索、基于进化算法的模型结构自动搜索以及基于梯度的模型结构自动搜索。上述三种方法均是利用黑盒的模型结构来生成搜索策略。这样的搜索策略带来了多个技术问题，其中最主要的技术问题是，在进行各种不同的搜索任务时，如分类任务，检测任务，人脸识别任务等，每次搜索都是基于不同的搜索任务的单一的约束条件，得到不同的搜索结果。当多个搜索任务同时进行...
【技术保护点】
1.一种网络模型结构的搜索方法，其特征在于，包括：/n从搜索空间中的多个网络模型结构中选择采样模型结构；/n利用所述采样模型结构的性能，对概率分布模型的超参数进行更新，得到所述超参数的预测值；/n根据具有所述超参数的预测值的概率分布模型，得到任一所述网络模型结构的性能；/n根据所述网络模型结构的性能，筛选出符合搜索任务的网络模型结构。/n
【技术特征摘要】
1.一种网络模型结构的搜索方法，其特征在于，包括：
从搜索空间中的多个网络模型结构中选择采样模型结构；
利用所述采样模型结构的性能，对概率分布模型的超参数进行更新，得到所述超参数的预测值；
根据具有所述超参数的预测值的概率分布模型，得到任一所述网络模型结构的性能；
根据所述网络模型结构的性能，筛选出符合搜索任务的网络模型结构。
2.根据权利要求1所述的方法，其特征在于，利用所述采样模型结构的性能，对概率分布模型的超参数进行更新，得到超参数的预测值，包括：
根据所述概率分布模型的超参数的先验分布得到所述采样模型的预测性能；
将所述采样模型的预测性能、真实性能及其性能偏差，以及所述超参数的先验分布输入至贝叶斯估计算法模型中，输出所述超参数的后验分布；
将所述超参数的后验分布作为下一次获取的超参数的先验分布，进行预设次数的迭代计算，得到所述超参数的预测值；
其中，所述预设次数是根据所述搜索任务预先设定的迭代次数。
3.根据权利要求1所述的方法，其特征在于，根据具有所述超参数的预测值的概率分布模型，得到任一所述网络模型结构的性能，包括：
构建所述概率分布模型的核函数和均值函数，所述核函数和所述均值函数中包含所述超参数的预测值，所述均值函数表示同一所述网络模型结构与性能之间的关系，所述核函数表示不同所述网络模型结构之间的关系；
将所述网络模型结构对应的数字编码分别输入至所述核函数和所述均值函数中，得到所述网络模型结构的方差和均值；
其中，所述网络模型结构的性能包括所述方差和所述均值。
4.根据权利要求3所述的方法，其特征在于，根据所述网络模型结构的性能，筛选出符合搜索任务的网络模型结构，包括：
获取所述搜索任务的约束条件；
根据所述网络模型结构的方差和均值得到置信空间；
在所述置信空间满足所述约束条件的情况下，将所述网络模型结构作为符合所述搜索任务的搜索结果输出。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述概率分布模型包括高斯随机场建模模型。
6.一种网络模型结构的搜索装置，其特征在于，包括：
采样模型结构选择模块，用于从搜索空间中的多个网络模型结构中选择采样模型结构；
超参数更新模块，用于利用所述采样模型结构的性能，对概率分布模型的超参...
【专利技术属性】
技术研发人员：希滕，张刚，温圣召，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。