神经网络结构搜索方法和神经网络结构搜索装置制造方法及图纸

本申请提供利用人工智能技术进行神经网络结构搜索的方法和装置。本申请的技术方案中，根据给定搜索空间和目标设备的资源约束条件来训练采样模型，以使得该采样模型从该给定搜索空间中采样得到满足该资源约束条件的神经网络结构，然后使用该采样模型从该采样模型从该给定搜索空间中采样得到的候选搜索空间，并搜索目标神经网络结构，该技术方案可以保证搜索得到满足目标设备的资源约束条件的神经网络，从而可以提高神经网络结构的搜索效率。此外，本申请还提出了先搜索神经网络结构的关键层，再搜索神经网络结构的非关键层的技术方案，不仅可以搜索得到更优的神经网络结构，还可以进一步提高神经网络结构的搜索效率。

【技术实现步骤摘要】
神经网络结构搜索方法和神经网络结构搜索装置
本申请涉及人工智能领域，并且更具体地，涉及神经网络结构搜索方法和神经网络结构搜索装置。
技术介绍
深度神经网络在很多视觉任务(例如图像分类、图像检测和图像分割等)中得到了广泛的应用并取了极大的成功。传统的神经网络结构，例如ResNet、MobileNet、ShuffleNet等神经网络结构的设计极大依赖专家知识。近年来，人工智能领域提出了神经网络结构搜索(neuralarchitecturesearch，NAS)，NAS能够自动生成较优甚至最优的神经网络结构。一般来说，通过NAS得到的神经网络结构将会运行在一些资源受限的设备上。若NAS得到的神经网络结构的资源需求过大，则目标设备将不能正常运行该神经网络结构，这会导致需要重新进行NAS，进而导致NAS效率不高。
技术实现思路
本申请提供的神经网络结构搜索方法和神经网络结构搜索装置，可以保证搜索得到满足目标设备的资源约束条件的神经网络，从而可以提高神经网络结构的搜索效率。第一方面，本申请提供一种神经网络结构搜索本文档来自技高网...

【技术保护点】
1.一种神经网络结构搜索方法，其特征在于，包括：/n确定目标设备为运行神经网络提供的资源的约束条件，所述神经网络用于对图像、文本或语音进行处理；/n获取神经网络的给定搜索空间；/n根据所述约束条件和所述给定搜索空间，对采样模型进行训练，以使得使用所述采样模型对所述给定搜索空间中进行采样得到的神经网络在所述目标设备中运行时对所述资源的需求满足所述约束条件；/n根据所述采样模型和所述给定搜索空间确定候选搜索空间，所述候选搜选空间中包括基于所述采样模型从所述给定搜索空间中采样得到的神经网络；/n根据所述候选搜索空间搜索目标神经网络。/n

【技术特征摘要】
1.一种神经网络结构搜索方法，其特征在于，包括：
确定目标设备为运行神经网络提供的资源的约束条件，所述神经网络用于对图像、文本或语音进行处理；
获取神经网络的给定搜索空间；
根据所述约束条件和所述给定搜索空间，对采样模型进行训练，以使得使用所述采样模型对所述给定搜索空间中进行采样得到的神经网络在所述目标设备中运行时对所述资源的需求满足所述约束条件；
根据所述采样模型和所述给定搜索空间确定候选搜索空间，所述候选搜选空间中包括基于所述采样模型从所述给定搜索空间中采样得到的神经网络；
根据所述候选搜索空间搜索目标神经网络。


2.根据权利要求1所述的方法，其特征在于，所述根据所述候选搜索空间搜索目标神经网络，包括：
根据所述候选搜索空间搜索第一网络层，所述第一网络层为所述给定候选搜索空间中任意神经网络均包含的网络层；
根据所述候选搜索空间和所述第一网络层搜索第二网络层，所述第二网络层包括所述给定搜索空间中任意神经网络包括的网络层中除所述第一网络层以外的网络层；
根据所述第一网络层和所述第二网络层确定所述目标神经网络。


3.根据权利要求1或2所述的方法，其特征在于，所述采样模型对所述给定搜索空间进行采样时基于的是gumbel-softmax采样方法。


4.根据权利要求1至3中任一项所述的方法，其特征在于，所述资源包括计算资源和/或存储资源。


5.一种神经网络结构搜索方法，其特征在于，包括：
服务器从目标设备接收第一消息，所述第一消息用于请求所述服务器进行神经网络结构搜索；
获取神经网络的给定搜索空间，所述神经网络用于对图像、文本或语音进行处理；
所述服务器根据所述给定搜索空间搜索第一网络层，所述第一网络层为所述给定候选搜索空间中任意神经网络均包含的网络层；
所述服务器根据所述给定搜索空间和所述第一网络层搜索第二网络层，所述第二网络层包括所述给定搜索空间中任意神经网络包括的网络层中除所述第一网络层以外的网络层；
所述服务器向所述目标设备发送目标神经网络，所述目标神经网络包括所述第一网络层和所述第二网络层，所述神经网络用于对图像、文本或语音进行处理。


6.一种神经网络结构搜索装置，其特征在于，包括：
确定模块，用于目标设备为运行神经网络提供的资源的约束条件，所述神经网络用于对图像、文本或语音进行处理；
获取模块，用于获取神经网络的给定搜索空间；
训练模块，用于根据所述约束条件和所述给定搜索空间，对采样模型进行训练，以使得使用所述采样模型对所述给...

【专利技术属性】
技术研发人员：陈醒濠，杨朝晖，王云鹤，许春景，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44