神经网络架构搜索方法和装置制造方法及图纸

本公开的实施例提供了一种神经网络架构搜索方法和装置。所述的神经网络架构搜索方法包括：首先获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合，之后计算目标数据集在目标平台中对应的目标特征向量，该目标特征向量包括每个基准模型在目标平台中针对目标数据集的性能参数，然后基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型，确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法，最后基于目标搜索空间和目标搜索算法，搜索目标神经网络，实现了对搜索空间和搜索算法的自动选择。选择。选择。

【技术实现步骤摘要】
神经网络架构搜索方法和装置


[0001]本公开的实施例涉及计算机
和互联网
，具体涉及人工智能
，尤其涉及神经网络架构搜索方法和装置。

技术介绍

[0002]随着深度神经网络的不断发展和广泛应用，神经网络结构的设计，正在从手工设计转型为机器自动设计，通过神经网络架构搜索(Neural Architecture Search，NAS)，可以帮助开发人员自动搜索出最优的神经网络结构。基于如何生成候选网络结构，现有技术分为强化学习、进化学习、差分方法和贝叶斯优化。
[0003]现有技术都假设搜索空间是固定的，并且是预先给定的，包括单元结构、链结构、链跳跃结构、层次结构等。例如，在基于单元的架构搜索中，单元和节点的数量是预定义的；在链式结构搜索空间中，最大层数等信息需要预定义等等。然而由于搜索空间预先给定，在设计搜索算法之前固定搜索空间将限制自动化机器学习的能力。

技术实现思路

[0004]本公开的实施例提出了一种神经网络架构搜索方法、装置、电子设备和计算机可读介质。
[0005]第一方面，本公开的实施例提供了一种神经网络架构搜索方法，该方法包括：获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合，其中，候选搜索空间集合包括多个候选平台中的多个候选搜索空间，基准模型集合包括多个候选搜索空间中的多个基准模型；计算目标数据集在目标平台中对应的目标特征向量，目标特征向量包括每个基准模型在目标平台中针对目标数据集的性能参数；基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型，确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法；基于目标搜索空间和目标搜索算法，搜索目标神经网络。
[0006]在一些实施例中，基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型，确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法，包括：固定候选搜索算法集合中的候选搜索算法，将目标特征向量、候选搜索算法和候选搜索空间集合中的每个候选搜索空间输入至精度预测模型，生成每个候选搜索空间对应的第一测试精度集合；基于第一测试精度集合，确定第一测试精度符合第一预设条件的目标搜索空间；将目标特征向量、候选搜索算法集合中每个候选搜索算法和目标搜索空间输入至精度预测模型，生成每个候选搜索算法对应的第二测试精度集合；基于第二测试精度集合，确定第二测试精度符合第一预设条件的目标搜索算法。
[0007]在一些实施例中，精度预测模型基于以下步骤获取：获取第一候选数据集，并计算第一候选数据集在目标平台中对应的候选特征向量；基于候选特征向量、候选搜索算法集合、候选搜索空间集合和用于预测测试精度的初始模型，确定测试精度符合第一预设条件的搜索空间和搜索算法；基于搜索空间、搜索算法和初始模型，确定精度预测模型。
[0008]在一些实施例中，基于搜索空间、搜索算法和初始模型，确定精度预测模型，包括：基于搜索空间和搜索算法确定出候选神经网络；训练并获取候选神经网络的性能参数；基于候选神经网络的性能参数调整初始模型，得到精度预测模型。
[0009]在一些实施例中，候选搜索空间集合基于以下方式获取：获取第二候选数据集、多个初始平台、初始搜索空间集合和初始基准模型集合；分别获取每个初始基准模型在初始平台中针对第二候选数据集的初始性能参数；基于初始性能参数，获取符合第二预设条件的初始基准模型对应的初始平台，并将对应的初始平台的初始搜索空间进行合并，得到候选搜索空间；基于候选搜索空间和初始搜索空间，生成候选搜索空间集合。
[0010]在一些实施例中，基于目标搜索空间和目标搜索算法，搜索目标神经网络，包括：获取目标搜索算法的搜索类型；基于目标搜索空间和目标搜索算法，利用与搜索类型对应的搜索方式进行搜索，得到多目标神经网络。
[0011]在一些实施例中，基于目标搜索空间和目标搜索算法，利用与搜索类型对应的搜索方式进行搜索，得到多目标神经网络，包括：响应于确定目标搜索算法的搜索类型为黑盒搜索方式，基于目标搜索空间和目标搜索算法，利用多目标函数值进行搜索，得到多目标神经网络。
[0012]在一些实施例中，基于目标搜索空间和目标搜索算法，利用与搜索类型对应的搜索方式进行搜索，得到多目标神经网络，包括：响应于确定目标搜索算法的搜索类型为差分搜索方式，基于目标搜索空间和目标搜索算法，利用多目标损失函数值进行搜索，得到多目标神经网络。
[0013]第二方面，本公开的实施例提供了一种神经网络架构搜索装置，该装置包括：获取模块，被配置成获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合，其中，候选搜索空间集合包括多个候选平台中的多个候选搜索空间，基准模型集合包括多个候选搜索空间中的多个基准模型；计算模块，被配置成计算目标数据集在目标平台中对应的目标特征向量，目标特征向量包括每个基准模型在目标平台中针对目标数据集的性能参数；确定模块，被配置成基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型，确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法；搜索模块，被配置成基于目标搜索空间和目标搜索算法，搜索目标神经网络。
[0014]在一些实施例中，确定模块，包括：第一生成单元，被配置成固定候选搜索算法集合中的候选搜索算法，将目标特征向量、候选搜索算法和候选搜索空间集合中的每个候选搜索空间输入至精度预测模型，生成每个候选搜索空间对应的第一测试精度集合；第一确定单元，被配置成基于第一测试精度集合，确定第一测试精度符合第一预设条件的目标搜索空间；第二生成单元，被配置成将目标特征向量、候选搜索算法集合中每个候选搜索算法和目标搜索空间输入至精度预测模型，生成每个候选搜索算法对应的第二测试精度集合；第二确定单元，被配置成基于第二测试精度集合，确定第二测试精度符合第一预设条件的目标搜索算法。
[0015]在一些实施例中，精度预测模型基于以下步骤获取：获取第一候选数据集，并计算第一候选数据集在目标平台中对应的候选特征向量；基于候选特征向量、候选搜索算法集合、候选搜索空间集合和用于预测测试精度的初始模型，确定测试精度符合第一预设条件的搜索空间和搜索算法；基于搜索空间、搜索算法和初始模型，确定精度预测模型。
[0016]在一些实施例中，基于搜索空间、搜索算法和初始模型，确定精度预测模型，包括：基于搜索空间和搜索算法确定出候选神经网络；训练并获取候选神经网络的性能参数；基于候选神经网络的性能参数调整初始模型，得到精度预测模型。
[0017]在一些实施例中，候选搜索空间集合基于以下方式获取：获取第二候选数据集、多个初始平台、初始搜索空间集合和初始基准模型集合；分别获取每个初始基准模型在初始平台中针对第二候选数据集的初始性能参数；基于初始性能参数，获取符合第二预设条件的初始基准模型对应的初始平台，并将对应的初始平台的初始搜索空间进行合并，得到候选搜索空间；基于候选搜索空间和初始搜索空间，生成候选搜索空间集合。
[0018]在一些实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络架构搜索方法，所述方法包括：获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合，其中，所述候选搜索空间集合包括多个候选平台中的多个候选搜索空间，所述基准模型集合包括所述多个候选搜索空间中的多个基准模型；计算所述目标数据集在所述目标平台中对应的目标特征向量，所述目标特征向量包括每个基准模型在所述目标平台中针对所述目标数据集的性能参数；基于所述目标特征向量、所述候选搜索算法集合、所述候选搜索空间集合和精度预测模型，确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法；基于所述目标搜索空间和所述目标搜索算法，搜索目标神经网络。2.根据权利要求1所述的方法，其中，所述基于所述目标特征向量、所述候选搜索算法集合、所述候选搜索空间集合和精度预测模型，确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法，包括：固定所述候选搜索算法集合中的候选搜索算法，将所述目标特征向量、所述候选搜索算法和所述候选搜索空间集合中的每个候选搜索空间输入至所述精度预测模型，生成每个候选搜索空间对应的第一测试精度集合；基于所述第一测试精度集合，确定第一测试精度符合第一预设条件的目标搜索空间；将所述目标特征向量、所述候选搜索算法集合中每个候选搜索算法和所述目标搜索空间输入至所述精度预测模型，生成每个候选搜索算法对应的第二测试精度集合；基于所述第二测试精度集合，确定第二测试精度符合第一预设条件的目标搜索算法。3.根据权利要求1或2所述的方法，其中，所述精度预测模型基于以下步骤获取：获取第一候选数据集，并计算所述第一候选数据集在所述目标平台中对应的候选特征向量；基于所述候选特征向量、所述候选搜索算法集合、所述候选搜索空间集合和用于预测测试精度的初始模型，确定测试精度符合第一预设条件的搜索空间和搜索算法；基于所述搜索空间、所述搜索算法和所述初始模型，确定所述精度预测模型。4.根据权利要求3所述的方法，其中，所述基于所述搜索空间、所述搜索算法和所述初始模型，确定所述精度预测模型，包括：基于所述搜索空间和所述搜索算法确定出候选神经网络；训练并获取所述候选神经网络的性能参数；基于所述候选神经网络的性能参数调整所述初始模型，得到所述精度预测模型。5.根据权利要求1所述的方法，其中，所述候选搜索空间集合基于以下方式获取：获取第二候选数据集、多个初始平台、初始搜索空间集合和初始基准模型集合；分别获取每个初始基准模型在所述初始平台中针对所述第二候选数据集的初始性能参数；基于所述初始性能参数，获取符合第二预设条件的初始基准模型对应的初始平台，并将所述对应的初始平台的初始搜索空间进行合并，得到候选搜索空间；基于所述候选搜索空间和所述初始搜索空间，生成候选搜索空间集合。6.根据权利要求1所述的方法，其中，所述基于所述目标搜索空间和所述目标搜索算法，搜索目标神经网络，包括：
获取所述目标搜索算法的搜索类型；基于所述目标搜索空间和所述目标搜索算法，利用与所述搜索类型对应的搜索方式进行搜索，得到多目标神经网络。7.根据权利要求6所述的方法，其中，所述基于所述目标搜索空间和所述目标搜...

【专利技术属性】
技术研发人员：薛超，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：