神经网络架构的搜索方法及装置、电子设备、存储介质制造方法及图纸

本申请实施例公开了神经网络架构的搜索方法及装置、电子设备、存储介质，包括：确定第一节点和第二节点对应的多个算子，并确定多个算子分别对应的第一架构参数，第一节点和第二节点是从搜索空间中获取到的至少两个节点中的任意两个节点；对初始损失函数进行正则化处理，得到目标损失函数，并根据目标损失函数对多个算子对应的第一架构参数进行优化，得到多个算子分别对应的第二架构参数；在多个算子中确定第二架构参数最大的算子作为第一节点和第二节点对应的目标算子；根据至少两个节点，以及至少两个节点中的任意两个节点对应的目标算子确定出子网络，并根据多个子网络确定目标神经网络。实施本申请实施例，能够提高所生成的神经网络的性能。成的神经网络的性能。成的神经网络的性能。

【技术实现步骤摘要】
神经网络架构的搜索方法及装置、电子设备、存储介质


[0001]本申请涉及机器学习
，具体涉及一种神经网络架构的搜索方法及装置、电子设备、存储介质。

技术介绍

[0002]随着机器学习技术的发展，基于人工神经网络的机器学习算法在图像处理、自然语言处理等任务上都取得较高的准确性。其中，神经网络的设计是机器学习的一个重要课题，而为了提高神经网络的设计效率，相关技术中通常通过神经网络架构搜索方法来快速生成神经网络，但是传统的神经网络架构搜索方法存在一定的缺陷，从而将影响所生成的神经网络的性能。

技术实现思路

[0003]本申请实施例公开了一种神经网络架构的搜索方法及装置、电子设备、存储介质，能够提高所生成的神经网络的性能。
[0004]本申请实施例第一方面公开一种神经网络架构的搜索方法，包括：
[0005]确定第一节点和第二节点对应的多个算子，并确定所述多个算子分别对应的第一架构参数，所述第一节点和第二节点是从搜索空间中获取到的至少两个节点中的任意两个节点；
[0006]对初始损失函数进行正则化处理，以得到目标损失函数，并根据所述目标损失函数对所述多个算子分别对应的第一架构参数进行优化，以得到所述多个算子分别对应的第二架构参数；
[0007]在所述多个算子中确定第二架构参数最大的算子作为所述第一节点和第二节点对应的目标算子；
[0008]根据所述至少两个节点，以及所述至少两个节点中的任意两个节点对应的目标算子确定出子网络，并根据多个所述子网络确定目标神经网络。r/>[0009]本申请实施例第二方面公开一种神经网络架构的搜索装置，包括：
[0010]第一确定单元，用于确定第一节点和第二节点对应的多个算子分别对应的第一架构参数，所述第一节点和第二节点是从搜索空间中获取到的至少两个节点中的任意两个节点；
[0011]优化单元，用于对初始损失函数进行正则化处理，以得到目标损失函数，并根据所述目标损失函数对所述多个算子分别对应的第一架构参数进行优化，以得到所述多个算子分别对应的第二架构参数；
[0012]第二确定单元，用于在所述多个算子中确定第二架构参数最大的算子作为所述第一节点和第二节点对应的目标算子；
[0013]第三确定单元，用于根据所述至少两个节点，以及所述至少两个节点中的任意两个节点对应的目标算子确定出子网络，并根据多个所述子网络确定目标神经网络。
[0014]本申请实施例第三方面公开一种电子设备，包括：
[0015]存储有可执行程序代码的存储器；
[0016]与所述存储器耦合的处理器；
[0017]所述处理器调用所述存储器中存储的所述可执行程序代码，执行本申请实施例第一方面公开的神经网络架构的搜索方法。
[0018]本申请实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本申请实施例第一方面公开的神经网络架构的搜索方法。
[0019]本申请实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本申请实施例第一方面的任意一种方法的部分或全部步骤。
[0020]本申请实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本申请实施例第一方面的任意一种方法的部分或全部步骤。
[0021]与相关技术相比，本申请实施例具有以下有益效果：
[0022]通过本申请实施例提供的方法，可以先从搜索空间中获取到的至少两个节点，并确定第一节点和第二节点对应的多个算子分别对应的第一架构参数；进一步地，可以对初始损失函数进行正则化处理，以得到目标损失函数，并根据目标损失函数对多个算子分别对应的第一架构参数进行优化；其中，通过正则化处理后的目标损失函数对第一架构参数进行优化，可以使得优化后得到多个第二架构参数更加地离散，提高了各个第二架构参数之间的差异性，使得后续可以更加准确地在多个算子中确定出最大的第二架构参数；进一步地，可以将对应的第二架构参数最大的算子作为第一节点和第二节点的最优算子，从而提高了子网络内部的算子的质量，进而提高了后续根据多个子网络搭建的目标神经网络的性能。
附图说明
[0023]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是相关技术中网络架构搜索方法的流程示意图；
[0025]图2是本申请实施例公开的一种子网络的结构示意图；
[0026]图3是本申请实施例公开的一种用于说明如何构建子网络的示意图；
[0027]图4是本申请实施例公开的一种神经网络架构的搜索方法的流程示意图；
[0028]图5是本申请实施例公开的另一种神经网络架构的搜索方法的流程示意图；
[0029]图6是本申请实施例公开的又一种神经网络架构的搜索方法的流程示意图；
[0030]图7是本申请实施例公开的一种U型神经网络的示意图；
[0031]图8是本申请实施例公开的一种神经网络架构的搜索装置的结构示意图；
[0032]图9是本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
[0033]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0034]需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0035]本申请实施例公开了一种神经网络架构的搜索方法及装置、电子设备、存储介质，能够提高所生成的神经网络的性能。
[0036]下面将结合具体实施例对本申请技术方案进行详细说明。
[0037]为了更加清楚地说明本申请实施例公开的一种神经网络架构的搜索方法及装置、电子设备、存储介质，首先对相关技术中的网络架构搜索(Network Architecture Search，NAS)方法进行介绍。
[0038]请参阅图1，图1是相关技术中网络架构搜索方法的流程示意图。如图1所示，NAS方法大致可以分为三个步骤，即：(1)建立搜索空间(Search Space)100；(2)基于一定的搜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络架构的搜索方法，其特征在于，所述方法包括：确定第一节点和第二节点对应的多个算子分别对应的第一架构参数，所述第一节点和第二节点是从搜索空间中获取到的至少两个节点中的任意两个节点；对初始损失函数进行正则化处理，以得到目标损失函数，并根据所述目标损失函数对所述多个算子分别对应的第一架构参数进行优化，以得到所述多个算子分别对应的第二架构参数；在所述多个算子中确定第二架构参数最大的算子作为所述第一节点和第二节点对应的目标算子；根据所述至少两个节点，以及所述至少两个节点中的任意两个节点对应的目标算子确定出子网络，并根据多个所述子网络确定目标神经网络。2.根据权利要求1所述的方法，其特征在于，所述对初始损失函数进行正则化处理，以得到目标损失函数，包括：根据所述多个算子分别对应的第一架构参数确定正则化项，并根据所述正则化项对所述初始损失函数进行正则化处理，以得到目标损失函数。3.根据权利要求2所述的方法，其特征在于，所述根据所述正则化项对所述初始损失函数进行正则化处理，以得到目标损失函数，包括：计算所述正则化项和所述正则化项对应的权重系数的第一乘积；根据所述第一乘积和所述初始损失函数确定目标损失函数。4.根据权利要求1所述的方法，其特征在于，所述确定第一节点和第二节点对应的多个算子分别对应的第一架构参数，包括：从搜索空间中获取至少两个节点；根据归一化函数对第一节点和第二节点对应的多个算子进行松弛化处理，以得到所述第一节点和第二节点对应的多个算子分别对应的第一架构参数。5.根据权利要求4所述的方法，其特征在于，所述归一化函数包括sigmoid函数。6.根据权利要求1所述的方法，其特征在于，所述根据多个所述子网络确定目标神经网络，包括：获取待填充的网络框架，并利用多个所述子网络对所述待填充的网络框架进行填充，以得到目标神经网络。7.根据权利要求6所述的方法，其特征在于，所述网络框架包括U型网络框架；所述利用多个所述子网络对所述待填充的网络框架进行填充，以得到目标神经网络，包括：根据所述U型网络框架的框架信息，获取目标数量的所述子网络作为下采样层，以及获取目标数量的所述子网络作为上采样层，所述框架信息包括所述U型网络框架需要填充的上采样层和下采样层分别对应的目标数量；利...

【专利技术属性】
技术研发人员：赵娟萍，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：