神经网络架构搜索方法、装置、存储介质及电子设备制造方法及图纸

本申请实施例公开了一种神经网络架构搜索方法、装置、存储介质及电子设备，其中，方法包括：获取由至少两类搜索模型单元组成的初始神经搜索网络，所述至少两类搜索模型单元包括至少两类属于同架构类型的不同架构参数对应的搜索模型单元，基于业务样本数据对初始神经搜索网络进行架构搜索训练处理，得到训练后的第一神经网络模型，基于所述第一神经网络模型对应的模型参数生成第二神经网络模型。采用本申请实施例，可以提高架构搜索效率，节省搜索时间。时间。时间。

【技术实现步骤摘要】
神经网络架构搜索方法、装置、存储介质及电子设备


[0001]本申请涉及计算机
，尤其涉及一种神经网络架构搜索方法、装置、存储介质及电子设备。

技术介绍

[0002]随着计算机技术的发展，神经网络模型架构绝大多数是通过人工设计的。在神经网络模型架构的设计的过程中，需要大量的研究和实验来对不同的网络模型结构效果进行尝试和探索。另外，神经网络的结构逐年优化，新的网络结构不断涌现也越来越复杂。
[0003]神经网络架构搜索(Neural Architecture Search，NAS)作为一种可以自动涉及神经网络结构的技术，引起了越来越多的研究者们的注意。NAS设计出来的最佳架构已经在多种任务，例如图像分类、语义分割、对象检测等等任务上面，取得了超越人类手工设计的网络架构的性能。

技术实现思路

[0004]本申请实施例提供了一种神经网络架构搜索方法、装置、存储介质及电子设备，可以为业务线程分配到合适的处理器集群。本申请实施例的技术方案如下：
[0005]第一方面，本申请实施例提供了一种神经网络架构搜索方法，所述方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络架构搜索方法，其特征在于，所述方法包括：获取由至少两类搜索模型单元组成的初始神经搜索网络，所述至少两类搜索模型单元包括至少两类属于同架构类型的不同架构参数对应的搜索模型单元；对初始神经搜索网络进行架构搜索训练处理，得到训练后的第一神经网络模型；基于所述第一神经网络模型对应的模型参数生成第二神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述获取由至少两类搜索模型单元组成的初始神经搜索网络，包括：采用至少两类搜索模型单元堆叠，以构建至少两个不同网络深度类型的子网络，生成包含各所述子网络的初始神经搜索网络；其中，在同一所述网络深度类型的子网络中同架构类型的搜索模型单元所对应的架构参数相同；在不同所述网络深度类型的子网络中同架构类型的搜索模型单元所对应的架构参数不同。3.根据权利要求2所述的方法，其特征在于，所述采用至少两类搜索模型单元堆叠，以构建至少两个不同网络深度类型的子网络，包括：确定三类不同架构参数的搜索模型单元，各类所述搜索模型单元中同架构类型的搜索模型单元所对应的架构参数相同；基于所述三类搜索模型单元中的第一类搜索模型单元进行堆叠，构建第一子网络；基于所述三类搜索模型单元中的第二类搜索模型单元进行堆叠，构建第二子网络；基于所述三类搜索模型单元中的第三类搜索模型单元进行堆叠，构建第三子网络；其中，所述第二子网络的网络深度大于所述第一子网络的网络深度且小于所述第三子网络的网络深度。4.根据权利要求3所述的方法，其特征在于，所述第一类搜索模型单元包括第一类普通单元和第一类压缩单元、所述第二类搜索模型单元包括第二类普通单元和第二类压缩单元以及所述第三类搜索模型单元包括第三类普通单元和第三类压缩单元；所述第一子网络由两个所述第一类普通单元和一个所述第一类压缩单元堆叠构成；所述第二子网络由两个所述第二类普通单元和一个所述第二类压缩单元堆叠构成；所述第三子网络由两个所述第三类普通单元堆叠构成。5.根据权利要求1
‑
4任意一项所述的方法，所述对初始神经搜索网络进行架构搜索训练处理，包括：基于业务样本数据按照网络深度分别对初始神经搜索网络所包含的至少两个子网络的模型权重参数和模型架构参数进行训练优化，得到训练优化后的第一神经网络模型。6.根据权利要求5所述的方法，所述基于业务样本数据按照网络深度分别对初始神经搜索网络所包含的至少两个子网络的模型权重参数和模型架构参数进行训练优化，得到训练优化后的第一神经网络模型，包括：按照网络深度从初始神经搜索网络所包含的至少两个子网络中确定当前的目标子网络；基于业务样本数据对目标子网络的模型权重参数和模型架构参数进...

【专利技术属性】
技术研发人员：才贺，冯天鹏，郭彦东，
申请(专利权)人：上海瑾盛通信科技有限公司，
类型：发明
国别省市：