本公开实施例是关于一种网络搜索方法及装置、电子设备、存储介质，涉及网络搜索技术领域，该网络搜索方法包括：对超网络中进行训练获取中间网络，并基于核尺寸对所述中间网络进行训练，获取训练后的中间网络；通过确定学习率以及调整深度选择空间的自适应搜索模块，对所述训练后的中间网络进行深度搜索训练，获取深度网络；通过确定学习率以及调整宽度选择空间的自适应搜索模块，对所述深度网络进行宽度搜索训练，以进行网络搜索。本公开实施例中的技术方案，能够提高网络的精准性。能够提高网络的精准性。能够提高网络的精准性。
【技术实现步骤摘要】
网络搜索方法及装置、电子设备、存储介质
[0001]本公开涉及网络搜索
，具体而言，涉及一种网络搜索方法及装置、电子设备以及计算机可读存储介质。
技术介绍
[0002]网络架构搜索可以在预先设计好的搜索空间上，通过有效的搜索策略和评估方法，选取性能较好的网络结构。
[0003]相关技术中，搜索剪枝算法在最后的微调过程中，同时对超网络和子网络进行微调。上述方式中，并没有从根本上减少训练过程中子网络的干扰问题，具有一定的局限性，且导致准确性较低。
[0004]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0005]本公开的目的在于提供一种网络搜索方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的准确性较低的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的第一方面，提供一种网络搜索方法，包括：对超网络中进行训练获取中间网络，并基于核尺寸对所述中间网络进行训练，获取训练后的中间网络；通过确定学习率以及调整深度选择空间的自适应搜索模块，对所述训练后的中间网络进行深度搜索训练，获取深度网络；通过确定学习率以及调整宽度选择空间的自适应搜索模块，对所述深度网络进行宽度搜索训练，以进行网络搜索。
[0008]根据本公开的第二方面，提供一种网络搜索装置，包括：训练模块，用于对超网络中进行训练获取中间网络，并基于核尺寸对所述中间网络进行训练，获取训练后的中间网络；深度搜索训练模块，用于通过确定学习率以及调整深度选择空间的自适应搜索模块，对所述训练后的中间网络进行深度搜索训练，获取深度网络；宽度搜索训练模块，用于通过确定学习率以及调整宽度选择空间的自适应搜索模块，对所述深度网络进行宽度搜索训练，以进行网络搜索。
[0009]根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的网络搜索方法及其可能的实现方式。
[0010]根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的网络搜索方法及其可能的实现方式。
[0011]本公开实施例中提供的技术方案，一方面，结合学习率以及深度选择空间进行深度搜索训练，以及，结合学习率以及宽度选择空间进行宽度搜索训练，由于调整了深度选择
空间和深度选择空间，因此调整了训练程度，改变了进行深度训练和宽度训练的训练步骤，使得训练过程能够更充分，避免了训练不够充分的局限性。另一方面，由于通过确定学习率以及调整深度选择空间和宽度选择空间的自适应搜索模块来改善训练过程，通过对深度选择空间以及对宽度选择空间的调整，以及对学习率的调整，增加了超网络的训练程度，从根本上提高了超网络中子网络的性能与真实性能的一致性，减小了子网络之间的相互干扰，也减小了超网络训练对子网络的干扰，提升了超网络训练的准确性和训练效果，进一步提高了网络搜索的准确性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0012]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1示出了可以应用本公开实施例的网络搜索方法及网络搜索装置的应用场景的示意图。
[0014]图2示意性示出本公开实施例一种网络搜索方法的示意图。
[0015]图3示意性示出本公开实施例中进行深度搜索训练的示意图。
[0016]图4示意性示出本公开实施例的获取宽度搜索训练的示意图。
[0017]图5示意性示出本公开实施例的搜索剪枝训练的示意图。
[0018]图6示意性示出本公开实施例中超网络训练的整体流程示意图。
[0019]图7示意性示出本公开实施例中一种网络搜索装置的框图。
[0020]图8示意性示出本公开实施例中电子设备的框图。
具体实施方式
[0021]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
[0022]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0023]相关技术中，大型神经网络训练过程结束后，仍然不可避免地存在冗余部分，需要
耗费大量的计算资源，对网络性能的提升很小，甚至可以忽略不计。神经网络的剪枝技术可以在保证网络性能的前提下，移除网络中需要大量计算资源的多余部分。
[0024]剪枝问题核心的部分在于：应该对网络的什么部分进行剪枝；如何判断可以修剪的具体参数或结构；怎样可以尽量提高网络性能或不对网络性能造成影响。
[0025]对于如何判断可以修剪的具体参数或结构，在最小精度损失的约束下得到最轻量级的网络的问题，一般根据不同的剪枝方法来设置相应的剪枝标准。非结构化剪枝过程中通常将权重的大小看做剪枝标准，绝对值越小的权重，对于网络的性能影响越小。另外，梯度幅度也是剪枝的衡量参数对网络性能影响的重要指标，反向传播的梯度度量可以一定程度上表现出参数对于网络整体性能的重要性。结构化剪枝更加灵活，判断方法也更加多样，较为常见的有基于L1范数、贪心策略、回归等方法来进行通道剪枝。这些方法在性能上依然存在许多局限性，如上文提到的对稀疏网络加速效果差、在剪枝过程中浅层网络的变化对深层网络进行影响从而导致剪枝效果差等问题。基于此，可通过基于网络架构搜索的搜索式剪枝方法来进行剪枝。
[0026]网络架构搜索技术旨在根据一定的搜索条件和计算方法，找到符合标准的一个或一组最优网络。网络架构搜索通过强化学习、进本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种网络搜索方法，其特征在于，包括：对超网络中进行训练获取中间网络，并基于核尺寸对所述中间网络进行训练，获取训练后的中间网络；通过确定学习率以及调整深度选择空间的自适应搜索模块，对所述训练后的中间网络进行深度搜索训练，获取深度网络；通过确定学习率以及调整宽度选择空间的自适应搜索模块，对所述深度网络进行宽度搜索训练，以进行网络搜索。2.根据权利要求1所述的网络搜索方法，其特征在于，所述通过确定学习率以及调整深度选择空间的自适应搜索模块，对所述训练后的中间网络进行深度搜索训练，获取深度网络，包括：获取各阶段训练对应的深度选择空间；基于各阶段训练对应的起始学习率，对各阶段训练的深度选择空间对应的子网络进行训练，以对所述训练后的中间网络进行深度搜索训练获取所述深度网络。3.根据权利要求2所述的网络搜索方法，其特征在于，所述获取各阶段训练对应的深度选择空间，包括：将所述超网络的搜索空间按照深度划分为多段；确定最后一段之前的所有段的深度选择空间，并对最后一段的深度选择空间进行更新。4.根据权利要求3所述的网络搜索方法，其特征在于，所述确定最后一段之前的所有段的深度选择空间，并对最后一段的深度选择空间进行更新，包括：根据超网络的搜索空间中，最后一段之前的所有段的深度搜索范围，确定最后一段之前的所有段的深度选择空间；根据超网络的搜索空间中包含的最后一段的深度搜索范围，增加所述最后一段的深度选择空间。5.根据权利要求1所述的网络搜索方法，其特征在于，所述通过确定学习率以及调整宽度选择空间的自适应搜...
【专利技术属性】
技术研发人员：才贺，张召凯，冯天鹏，
申请(专利权)人：OPPO重庆智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。