构建神经网络架构搜索框架的方法、系统、设备及介质技术方案

本发明专利技术公开了一种构建神经网络架构搜索框架的方法、系统、设备和存储介质，方法包括：根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对初始超网络结构中的超网络进行预训练；利用控制器在预训练后的超网络中采样子网络，并根据任务类型在子网络中设置对应的head网络和neck网络以形成子任务网络；对子任务网络进行训练，并根据训练结果更新初始超网络结构以得到超网络结构；以及基于多个子任务网络对所述超网络结构进行验证，利用验证结果，对超网络和控制器进行优化，重复控制器采样、验证及优化过程，直到重复次数达到阈值，选择具有最优验证结果的超网络结构作为神经网络架构搜索框架。

【技术实现步骤摘要】
构建神经网络架构搜索框架的方法、系统、设备及介质
本专利技术涉及神经网络领域，更具体地，特别是指一种构建神经网络架构搜索框架的方法、系统、计算机设备及可读介质。
技术介绍
随着深度学习技术的不断发展，神经网络的层数不断增加，截止2016年，最深的神经网络已经超过1000层。依靠人工设计神经网络需要经过大量的实验，对从业人员的知识储备和个人经验要求较高，反复的实验过程严重制约着相关人员的工作效率。在此背景下，自动化深度学习(AutoDeepLearning)技术应运而生，现在主要有基于强化学习的AutoDL、基于进化算法的AutoDL或者基于梯度的方法。基于强化学习的AutoDL主要通过神经网络架构搜索(NeuralNetworkArchitectureSearch，NAS)框架与环境交互的过程中获得最大的奖励实现，主要代表算法有NASNet、MetaQNN、BlockQNN等；基于进化算法的AutoDL主要是NAS模拟生物遗传和进化的规律，用进化算法实现，主要代表算法有AmoabaNet、NEAT、DeepNEAT、CoDeepNEAT本文档来自技高网...

【技术保护点】
1.一种构建神经网络架构搜索框架的方法，其特征在于，包括以下步骤：/n根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对所述初始超网络结构中的超网络进行预训练；/n利用控制器在预训练后的所述超网络中采样子网络，并根据任务类型在所述子网络中设置对应的head网络和neck网络以形成子任务网络；/n对所述子任务网络进行训练，并根据训练结果更新所述初始超网络结构以得到超网络结构；以及/n基于多个子任务网络对所述超网络结构进行验证，利用验证结果，对超网络和控制器进行优化，重复控制器采样、验证及优化过程，直到重复次数达到阈值，选择具有最优验证结果的超网络结构作为神经网络架构搜索框架。/n

【技术特征摘要】
1.一种构建神经网络架构搜索框架的方法，其特征在于，包括以下步骤：
根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对所述初始超网络结构中的超网络进行预训练；
利用控制器在预训练后的所述超网络中采样子网络，并根据任务类型在所述子网络中设置对应的head网络和neck网络以形成子任务网络；
对所述子任务网络进行训练，并根据训练结果更新所述初始超网络结构以得到超网络结构；以及
基于多个子任务网络对所述超网络结构进行验证，利用验证结果，对超网络和控制器进行优化，重复控制器采样、验证及优化过程，直到重复次数达到阈值，选择具有最优验证结果的超网络结构作为神经网络架构搜索框架。


2.根据权利要求1所述的方法，其特征在于，所述基于多个子任务网络对所述超网络结构进行验证包括：
采样多个子任务网络，并按照预设堆叠方式对所述多个子任务网络进行堆叠以生成备选网络集，并使用所述备选网络集对所述超网络结构进行验证。


3.根据权利要求1所述的方法，其特征在于，还包括：
响应于出现中断，判断是否完成子任务网络的训练；
响应于未完成子任务网络的训练，按照预设地址读取超网络结构和参数，并恢复超网络权重和训练迭代次数。


4.根据权利要求1所述的方法，其特征在于，所述对所述子任务网络进行训练包括：
检测输入数据的数据维度是否与预设的输入维度一致，并检测所述输入数据对应的输出数据的数据维度是否与预设的输出维度一致；以及
响应于输入数据的数据维度与预设的输入维度不一致和/或所述输入数据对应的输出数据的数据维度与预设的输出维度不一致，中断所述子任务网络的训练。


5.一种构建神经网络架构搜索框架的系统，其特征在于，包括：
初始模块，配置用于根据搜索空间配置文件在超网络类中生成初始超网络结构，并使用数据集对所述初始超网络结构中的超网络进行预训练；
采样模块，...

【专利技术属性】
技术研发人员：周镇镇，李峰，张潇澜，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32