【技术实现步骤摘要】
网络搜索方法及装置、电子设备、存储介质
[0001]本公开涉及机器学习
，具体而言，涉及一种网络搜索方法及装置、电子设备以及计算机可读存储介质。
技术介绍
[0002]网络架构搜索可以在预先设计好的搜索空间上，通过有效的搜索策略和评估方法，选取性能较好的网络结构。
[0003]相关技术中，可以基于精度预测算法进行神经网络搜索。上述方式中，在针对精度预测器的训练过程中，早期训练过的子网络会被遗忘，具有一定的局限性，且导致准确性较低。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开的目的在于提供一种网络搜索方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的准确性较低的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的第一方面，提供一种网络搜索方法，包括：从样本数据集中获取多个采样网络；将多个采样网络中的当前采样网络进行编码获取当前结构编码，并将所述当前结构编码与历史结构编码进行聚合，以获取模型均值；根据所述模型均值的优化精度损失获取优化结构编码；对所述优化结构编码进行解码获取优化网络结构，直至基于优化网络结构迭代获取到所有采样网络的优化网络结构为止确定目标网络结构，以基于所述目标网络结构对待处理对象进行处理操作。>[0008]根据本公开的第二方面，提供一种网络搜索装置，包括：采样模块，用于从样本数据集中获取多个采样网络；聚合模块，用于将多个采样网络中的当前采样网络进行编码获取当前结构编码，并将所述当前结构编码与历史结构编码进行聚合，以获取模型均值；解码模块，用于根据所述模型均值的优化精度损失获取优化结构编码；网络结构确定模块，用于对所述优化结构编码进行解码获取优化网络结构，直至基于优化网络结构迭代获取到所有采样网络的优化网络结构为止确定目标网络结构，以基于所述目标网络结构对待处理对象进行处理操作。
[0009]根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的网络搜索方法及其可能的实现方式。
[0010]根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的网络搜索方法及其可能的实现方式。
[0011]本公开实施例中提供的技术方案，一方面，由于可以将当前采样网络的当前结构编码与历史结构编码进行聚合得到模型均值，进而根据模型均值的优化精度损失确定优化结构编码，从而得到目标网络结构。其中，由于可以结合历史结构编码进行网络搜索，将所有历史结构编码的信息保留在模型中，改善了相关技术中精度预测模型的样本遗忘问题，避免了只获取当前采样网络的局限性，增加了信息的全面性。另一方面，由于可以将当前采样网络的当前结构编码与历史结构编码进行聚合，在训练时保留了历史结构编码的信息，同时在迭代过程中也考虑了当前结构编码的优化网络结构的信息，能够从多个维度的信息进行训练，提高了获取的优化精度损失的准确性，进而也提高了网络搜索的准确性，提高了目标网络结构的精准性。
[0012]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0013]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1示出了相关技术中进行网络搜索的流程图。
[0015]图2示出了可以应用本公开实施例的网络搜索方法及网络搜索装置的应用场景的示意图。
[0016]图3示意性示出本公开实施例一种网络搜索方法的示意图。
[0017]图4示意性示出本公开实施例中进行神经网络搜索的示意图。
[0018]图5示意性示出本公开实施例的获取模型均值的流程示意图。
[0019]图6示意性示出本公开实施例的迭代获取优化网络结构的示意图。
[0020]图7示意性示出本公开实施例中一种网络搜索方法的整体流程示意图。
[0021]图8示意性示出本公开实施例中一种网络搜索装置的框图。
[0022]图9示意性示出本公开实施例中电子设备的框图。
具体实施方式
[0023]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
[0024]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功
能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0025]相关技术中，基于精度预测的网络架构搜索方法由编码器、解码器和精度预测器组成。参考图1中所示，编码器负责将网络拓扑结构进行编码成为结构编码；解码器负责将网络结构编码解码为网络的拓扑结构；精度预测器针对输入的网络结构编码对其对应的真实精度进行预测。
[0026]相关技术中，在训练开始之前，首先随机采样指定数量的子网络，将这些子网络从头进行训练，得到其真实精度标签，作为带有标签的原始样本数据集。然后，开始基于精度预测的网络架构搜索过程，具体过程可以包括如下步骤，参考图1中所示，从数据集中随机采样得到子网络，输入精度预测器进行训练。优化精度预测器，得到优化精度。对优化精度值进行解码，得到更优的网络拓扑结构。
[0027]在上述搜索过程中，神经网络的学习过程可以被看做神经元之间建立连接的过程，或是对神经元之间现有的连接进行修改的过程。在学习过程中，神经网络的结构一旦确定，就很难进行调整。此外，在模型容量的限制下，为了学习新样本，模型可能会舍弃旧知识。由于精度预测器的每一次输入都是当前采样得到的子网络结构，因此，在学习了当前样本后，很容本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种网络搜索方法，其特征在于，包括：从样本数据集中获取多个采样网络；将多个采样网络中的当前采样网络进行编码获取当前结构编码，并将所述当前结构编码与历史结构编码进行聚合，以获取模型均值；根据所述模型均值的优化精度损失获取优化结构编码；对所述优化结构编码进行解码获取优化网络结构，直至基于根据优化网络结构迭代获取到所有采样网络的优化网络结构为止确定目标网络结构，以基于所述目标网络结构对待处理对象进行处理操作。2.根据权利要求1所述的网络搜索方法，其特征在于，所述从样本数据集中获取采样网络，包括：获取样本数据集；将所述样本数据集的精度区间划分为多个区间，对所述样本数据集在每个区间进行相同的均匀数量的采样，以确定多个采样网络。3.根据权利要求2所述的网络搜索方法，其特征在于，所述获取样本数据集，包括：在搜索空间中随机采样多个子网络，并将所述多个子网络进行训练得到带有真实精度标签的样本数据集。4.根据权利要求1所述的网络搜索方法，其特征在于，所述将所述当前结构编码与历史结构编码进行聚合，以获取模型均值，包括：对所述当前结构编码以及所述历史结构编码中的相同类型的结构，按照维度进行加权平均，获取所述模型均值。5.根据权利要求4所述的网络搜索方法，其特征在于，所述对所述当前结构编码以及所述历史结构编码中的相同类型的结构，按照维度进行加权平均，获取所述模型均值，包括：确定搜索任务的任务类型；根据所述任务类型确定对应的权重值，基于所述权重值将所述相同类型的结构按照维度进行加权平均，以确定所述模型均值。6.根据权利要求1所述的网络搜索方法，其特征在于，所述根据所述模型均值的优化精度损失获取优化结构编码，包括：对精度预测器的初始精度损失进行梯度优化，确定优化精度损失；基于所述优化精度损失进行模型训练，获取所述优化结构编码。7.根据权利要求1所...
【专利技术属性】
技术研发人员：才贺，冯天鹏，张召凯，王凡祎，
申请(专利权)人：OPPO重庆智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。