神经网络架构搜索方法以及装置制造方法及图纸

本申请公开了一种神经网络架构搜索方法以及装置，具体实现方案为：方法包括：获取搜索任务的配置信息，根据配置信息生成多个候选模型结构以及对应的参数；根据多个候选模型结构以及参数创建多个训练任务；将多个训练任务调度至对应的物理节点，以使各物理节点并行执行对应的训练任务，并统计多个训练任务的训练结果；在训练结果满足配置信息中的预设训练条件的情况下，得到搜索任务对应的搜索结果。不仅提高了搜索效率，还提高了集群资源的利用率，使用的硬件资源和硬件加速资源扩展性增强，满足大规模搜索的需求。

【技术实现步骤摘要】
神经网络架构搜索方法以及装置
本申请涉及深度学习领域，尤其涉及神经网络架构搜索领域。
技术介绍
随着人工智能技术的发展，深度学习神经网络架构搜索技术逐渐成熟。深度学习神经网络架构搜索技术可以自动构建满足需求的深度学习神经网络，降低人力投入，提高人力效率，具有很高的工业价值。然而，目前的深度学习神经网络架构搜索技术，搜索任务被以单个任务的方式提交到集群管理系统中，在单台机器上执行搜索任务，难以在多台机器组成的集群上以分布式的方式并行执行搜索任务，导致搜索效率较低，并且集群资源的利用率较差。
技术实现思路
本申请实施例提供一种神经网络架构搜索方法以及装置，以解决相关技术存在的问题，技术方案如下：第一方面，提供了一种神经网络架构搜索方法，包括：获取搜索任务的配置信息，根据配置信息生成多个候选模型结构以及对应的参数；根据多个候选模型结构以及参数创建多个训练任务；将多个训练任务调度至对应的物理节点，以使各物理节点并行执行对应的训练任务，并统计多个训练任务的训练结果；在训练结果满足配置信息本文档来自技高网...

【技术保护点】
1.一种神经网络架构搜索方法，其特征在于，包括：/n获取搜索任务的配置信息，根据所述配置信息生成多个候选模型结构以及对应的参数；/n根据所述多个候选模型结构以及参数创建多个训练任务；/n将多个训练任务调度至对应的物理节点，以使各物理节点并行执行对应的训练任务，并统计所述多个训练任务的训练结果；/n在所述训练结果满足所述配置信息中的预设训练条件的情况下，得到所述搜索任务对应的搜索结果。/n

【技术特征摘要】
1.一种神经网络架构搜索方法，其特征在于，包括：
获取搜索任务的配置信息，根据所述配置信息生成多个候选模型结构以及对应的参数；
根据所述多个候选模型结构以及参数创建多个训练任务；
将多个训练任务调度至对应的物理节点，以使各物理节点并行执行对应的训练任务，并统计所述多个训练任务的训练结果；
在所述训练结果满足所述配置信息中的预设训练条件的情况下，得到所述搜索任务对应的搜索结果。


2.根据权利要求1所述的方法，其特征在于，还包括：
在所述训练结果未满足所述配置信息中的预设训练条件的情况下，返回执行所述根据所述配置信息生成多个候选模型结构以及对应的参数的步骤。


3.根据权利要求1所述的方法，其特征在于，所述配置信息是用户输入的配置信息，所述配置信息包括搜索任务信息和训练任务信息。


4.根据权利要求3所述的方法，其特征在于，根据所述配置信息生成多个候选模型结构以及对应的参数，包括：
根据所述搜索任务信息创建对应的算法实例；
将所述训练任务信息加载至所述算法实例中，生成所述多个候选模型结构以及对应的参数。


5.根据权利要求4所述的方法，其特征在于，所述搜索任务信息包括搜索空间和传统模型结构的搜索算法；根据所述搜索任务信息创建对应的算法实例，包括：
根据所述搜索空间和所述传统模型结构的搜索算法，创建对应的算法实例。


6.根据权利要求4所述的方法，其特征在于，所述搜索任务信息包括搜索空间和单次模型结构的搜索算法；根据所述搜索任务信息创建对应的算法实例，包括：
根据所述搜索空间和所述单次模型结构的搜索算法，创建对应的算法实例。


7.根据权利要求6所述的方法，其特征在于，还包括：
在所述候选模型结构需要调优的情况下，根据所述多个候选模型结构以及对应的参数创建多个模型调优任务；
将所述多个模型调优任务调度至对应的物理节点，以使各物理节点并行执行对应的模型调优任务，得到多个优化后的候选模型结构，并统计所述多个优化后的候选模型结构的训练结果。


8.根据权利要求1所述的方法，其特征在于，将多个训练任务调度至对应的物理节点，包括：
根据所述搜索任务对应的全部训练任务所使用的资源数量，计算所述多个训练任务对应的多个资源类型权重；
根据所述多个训练任务对应的多个资源权重，确定所述多个训练任务的调度顺序；
根据所述调度顺序将所述多个训练任务调度至对应的物理节点。


9.根据权利要求1所述的方法，其特征在于，所述训练结果包括实际训练次数和训练指标的实际值，所述预设训练条件包括所述最大搜索次数和所述训练指标的期望值；在所述多个训练任务的训练结果满足所述配置信息中的预设训练条件的情况下，得到所述搜索任务对应的搜索结果，包括：
在所述实际训练次数大于或等于所述最大搜索次数，或所述训练指标的实际值大于或等于所述训练指标的期望值的情况下，得到最优网络结构以及对应的参数，所述最优网络结构以及对应的参数作为所述搜索结果。


10.根据权利要求1所述的方法，其特征在于，还包括：
针对每个训练任务创建对应的临时任务，所述临时任务用于将所述训练结果存储至数据存储器中。


11.一种神经网络架构搜索装置，其特征在于，包括：
配置信息获取模块，用于获取搜索任务的配置信息；
候选模型结构生成模块，用于根据所述配置信息生成多个候选模型结构以及对应的参数；
训练任务创建模块，用于根据所述多个候选模型结构以及参数创建多个训练任务；
训练任务调度模块，用于将多个训练任务调度至对应的物理节点，以使各物理节点并行执行对应的训练任务，并统计所...

【专利技术属性】
技术研发人员：乔萧雅，刘国宝，周雍恺，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海;31