搜索方法、装置、设备和计算机可读存储介质制造方法及图纸

本申请实施例公开了一种搜索方法、装置、设备和计算机可读存储介质。该方法包括：在架构搜索空间对应的超网络中，选择满足固定约束的染色体，确定初始种群；超网络包括至少两个子网络，每个染色体对应一个子网络；基于初始种群和初始目标进化方向，确定父代种群，并对父代种群所包括的染色体进行变异和交叉，以确定目标种群；继续基于目标种群和下一目标进化方向，确定下一父代种群，并对下一父代种群所包括的下一染色体进行变异和交叉，以确定下一目标种群，直至达到迭代次数，实现多目标进化，得到最后一个目标种群；从最后一个目标种群中确定目标染色体，以实现多目标的架构搜索，得到目标染色体对应的目标子网络。到目标染色体对应的目标子网络。到目标染色体对应的目标子网络。

【技术实现步骤摘要】
搜索方法、装置、设备和计算机可读存储介质


[0001]本申请涉及计算机
，尤其涉及一种搜索方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]神经网络架构搜索技术(Neural Network Architecture Search，NAS)是指对于神经网络模型，通过算法自动化完成最优架构的设计，以替代算法工程师的手工设计。硬件感知的神经架构搜索技术(Hardware
‑
aware Neural Network Architecture Search，HW NAS)是指在NAS的基础上，加入了硬件感知的功能。在实际应用中，神经网络(Neural Network，NN)通常需要部署在特定的目标硬件上。例如，芯片需要在部署特定场景NN时，同时达到精确度、延时、功耗、存储等最优的状态。因此，在目标硬件上部署NN网络时，不仅需要考虑模型的性能表现，同时也要权衡模型在硬件上的延时、功耗等硬件指标，从而使产品达到最佳效果。
[0003]相关技术中，通过人工设置固定的硬件指标约束，利用进化算法(Evolution Algorithm，EA)在架构搜索中求取帕累托最优解(Pareto Optimal Solution)。
[0004]然而，在给定硬件指标约束c(例如，延迟)的架构搜索中，有可能出现某个搜索出来的模型x的性能Px，与另外一个模型y的性能Py一致：Px＝Py，或者Px仅略大于Py，但是，硬件约束明显有c>Cx>Cy，使得搜索出来的模型x并非用户最需要的。如果存在性能一致或差不多，而更低延迟的模型，用户往往更愿意选择更低延迟的模型，也就是选择模型y。因此，相关技术中的搜索方法，降低了搜索结果的准确性。

技术实现思路

[0005]本申请实施例提供一种搜索方法、装置、设备和计算机可读存储介质，提高了搜索结果的准确性。
[0006]本申请实施例的技术方案是这样实现的：
[0007]第一方面，本申请实施例提供一种搜索方法，所述方法包括：在架构搜索空间对应的超网络中，选择满足固定约束的染色体，确定初始种群；所述超网络包括至少两个子网络，每个染色体对应一个子网络；基于所述初始种群和初始目标进化方向，确定父代种群，并对所述父代种群所包括的染色体进行变异和交叉，以确定目标种群；继续基于所述目标种群和下一目标进化方向，确定下一父代种群，并对所述下一父代种群所包括的下一染色体进行变异和交叉，以确定下一目标种群，直至达到迭代次数，实现多目标进化，得到最后一个目标种群；从所述最后一个目标种群中确定目标染色体，以实现多目标的架构搜索，得到所述目标染色体对应的目标子网络。
[0008]第二方面，本申请实施例提供一种搜索装置，所述装置包括：种群确定模块，用于在架构搜索空间对应的超网络中，选择满足固定约束的染色体，确定初始种群；所述超网络包括至少两个子网络，每个染色体对应一个子网络；基于所述初始种群和初始目标进化方
向，确定父代种群；进化模块，用于对所述父代种群所包括的染色体进行变异和交叉，以确定目标种群；所述种群确定模块，还用于继续基于所述目标种群和下一目标进化方向，确定下一父代种群；所述进化模块，还用于对所述下一父代种群所包括的下一染色体进行变异和交叉，以确定下一目标种群，直至达到迭代次数，实现多目标进化，得到最后一个目标种群；目标子网络确定模块，用于从所述最后一个目标种群中确定目标染色体，以实现多目标的架构搜索，得到所述目标染色体对应的目标子网络。
[0009]第三方面，本申请实施例提供一种搜索设备，所述设备包括：存储器，用于存储可执行计算机程序；处理器，用于执行所述存储器中存储的可执行计算机程序时，实现上述第一方面所述的搜索方法。
[0010]第四方面，本申请实施例提供一种计算机可读存储介质，存储有计算机程序，用于被处理器执行时，实现上述第一方面所述的搜索方法。
[0011]本申请实施例提供了一种搜索方法、装置、设备和计算机可读存储介质。根据本申请实施例提供的方案，该方法包括：在架构搜索空间对应的超网络中，选择满足固定约束的染色体，确定初始种群；超网络包括至少两个子网络，每个染色体对应一个子网络；基于初始种群和初始目标进化方向，确定父代种群，初始种群中的初始染色体均满足固定约束，从初始种群中选择在初始目标进化方向上较优的染色体，构建父代种群。并对父代种群所包括的染色体进行变异和交叉，以确定目标种群，完成本轮中对于初始目标进化方向的进化过程。继续基于目标种群和下一目标进化方向，确定下一父代种群，并对下一父代种群所包括的下一染色体进行变异和交叉，以确定下一目标种群，完成下一轮关于下一目标进化方向的进化过程。直至达到迭代次数，通过多轮关于不同目标进化方向的进化过程，实现了多目标进化，得到最后一个目标种群，从最后一个目标种群中确定目标染色体，以实现多目标的架构搜索，得到目标染色体对应的目标子网络。通过本方案中多轮目标进化方向，搜索到的目标子网络能够在满足硬件需求的同时达到模型性能更优。在满足搜索效率的同时，实现了模型精确度、延时、功耗等多硬件目标的协同优化，从而在实际场景中满足多维度需求，提高了搜索结果的准确性。
附图说明
[0012]图1为本申请实施例提供的一种帕累托最优解的示例性的示意图；
[0013]图2为本申请实施例提供的一种单目标帕累托最优解的示例性的示意图；
[0014]图3为本申请实施例提供的一种搜索方法的可选的步骤流程图；
[0015]图4为本申请实施例提供的另一种搜索方法的可选的步骤流程图；
[0016]图5为本申请实施例提供的再一种搜索方法的可选的步骤流程图；
[0017]图6为本申请实施例提供的又一种搜索方法的可选的步骤流程图；
[0018]图7为本申请实施例提供的一种交叉变异比例自适应调整策略的示例性的示意图；
[0019]图8为本申请实施例提供的一种基于贪心策略的多目标进化算法的可选的步骤流程图；
[0020]图9为本申请实施例提供的一种搜索装置的可选的结构示意图；
[0021]图10为本申请实施例提供的一种搜索设备组成结构示意图。
具体实施方式
[0022]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解的是，此处所描述的一些实施例仅用以解释本申请的技术方案，并不用于限定本申请的技术范围。
[0023]为了更好地理解本申请实施例中提供的搜索方法，在对本申请实施例的技术方案进行介绍之前，先对应用背景和相关技术进行说明。
[0024]NAS的优势主要体现在以下几方面：一是能够大幅减少人工设计网络成本，这在场景复杂、任务数量巨大时尤为明显；二是NAS能够最大可能地通过自动化手段挖掘潜在最优模型；三是能够在很大程度上避免手工设计网络带来的弊端，例如，降低人类固有的知识体系和认知对模型设计带来的偏差。因此，NAS受到了越来越广泛地应用，NAS主要包含三个内容：搜索本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种搜索方法，其特征在于，所述方法包括：在架构搜索空间对应的超网络中，选择满足固定约束的染色体，确定初始种群；所述超网络包括至少两个子网络，每个染色体对应一个子网络；基于所述初始种群和初始目标进化方向，确定父代种群，并对所述父代种群所包括的染色体进行变异和交叉，以确定目标种群；继续基于所述目标种群和下一目标进化方向，确定下一父代种群，并对所述下一父代种群所包括的下一染色体进行变异和交叉，以确定下一目标种群，直至达到迭代次数，实现多目标进化，得到最后一个目标种群；从所述最后一个目标种群中确定目标染色体，以实现多目标的架构搜索，得到所述目标染色体对应的目标子网络。2.根据权利要求1所述的方法，其特征在于，所述基于所述初始种群和初始目标进化方向，确定父代种群，包括：对所述初始种群中各个初始染色体的各个指标进行预测，得到所述各个初始染色体的至少两个指标信息；指标包括子网络的模型性能和硬件需求；根据所述各个初始染色体的至少两个指标信息中与所述初始目标进化方向对应的指标信息，对所述初始种群所包括的初始染色体进行排序，确定排序结果；所述初始目标进化方向为任意一个指标，或者，为至少两个具有相关性或冲突性的指标；根据所述排序结果，按照预设顺序选择第一预设数量的染色体，构建所述父代种群。3.根据权利要求1所述的方法，其特征在于，所述父代种群包括第一预设数量的染色体；所述对所述父代种群所包括的染色体进行变异和交叉，以确定目标种群，包括：基于所述第一预设数量的染色体，按照初始变异比例系数进行变异，确定第一数量的变异染色体；所述第一数量为所述初始变异比例系数与第二预设数量之积；基于所述第一预设数量的染色体，按照初始交叉比例系数进行交叉，确定第二数量的交叉染色体；所述初始交叉比例系数为1与所述初始变异比例系数之差；根据所述第一数量的变异染色体和所述第二数量的交叉染色体，确定所述目标种群；所述目标种群包括所述第二预设数量的进化染色体。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述方法还包括：根据当前父代种群中各个当前染色体在当前目标进化方向上的指标信息，确定均值和方差；在所述均值小于预设均值、且所述方差小于预设方差的情况下，将初始变异比例系数调整为第一系数；所述第一系数大于所述初始变异比例系数；在所述均值大于所述预设均值、且所述方差小于所述预设方差的情况下，将初始交叉比例系数调整为第二系数；所述第二系数大于所述初始交叉比例系数；在所述均值小于所述预设均值、且所述方差大于所述预设方差的情况下，保留所述初始交叉比例系数和所述初始变异比例系数；在所述均值大于所述预设均值、且所述方差大于所述预设方差的情况下，保留所述初始交叉比例系数和所述初始变异比例系数。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据上一父代种群中各个上一染色体在所述当前目标进化方向上的指标信息，确定所述预设均值和所述预设方差。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：根据所述超网络中最大网络或最小网络在所述当前目标进化方向上的指标信息，确定所述预设均值。7.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述继续基于所述目标种群和下一目标进化方向，确定下一父代种群，包括：继续对所述目标种群中各个进化染色体的各个指标进行预测，得到所述各个进化染色体的至少两个指标信息；根据所述各个进化染色体的至少两个指标信息中与下一目标进化方向对应的指标信息，对所述目标种群所包括...

【专利技术属性】
技术研发人员：冯乾泰，赵娟萍，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：