神经网络的生成方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种神经网络的生成方法、装置、电子设备及存储介质。该方法通过在预训练出的超网络中选取多路节点，针对各多路节点，以当前多路节点的各输入边为竞争者，以对各输入边的保留和丢弃为策略，以及以超网络输出的预测结果的准确度为效用流行值，构建第一博弈，以实现超网络的拓扑结构博弈的构建，进而确定出第一博弈的包含各输入边分别对应的保留概率和丢弃概率的第一纳什均衡策略组合，并在第一纳什均衡策略组合中选取保留概率和丢弃概率满足预设条件的至少一个输入边，进而基于各多路节点选取的输入边生成神经网络，提高了确定的神经网络的准确度。提高了确定的神经网络的准确度。提高了确定的神经网络的准确度。

【技术实现步骤摘要】
神经网络的生成方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及人工智能
，尤其涉及一种神经网络的生成方法、装置、电子设备及存储介质。

技术介绍

[0002]在过去的几年里，大量的工作致力于神经网络搜索(NAS)算法的开发，以实现为特定任务找到最优神经网络结构。
[0003]目前常用的方法是首先将初始的神经网络结构松弛为超网络结构，然后使用差分方法计算出超网络结构中每个节点的每个输入边分别对应的网络权重值，最后将由每个节点以及每个节点的网络权重值最高的边组成的单路径网络结构，作为最优神经网络结构。
[0004]在实现本专利技术的过程中，发现现有技术中至少存在以下技术问题：
[0005]上述根据边的网络权重值确定最优神经网络结构的方法，其准确度有待提高。

技术实现思路

[0006]本专利技术实施例提供了一种神经网络的生成方法、装置、电子设备及存储介质，以提高确定的神经网络的准确度。
[0007]第一方面，本专利技术实施例提供了一种神经网络的生成方法，所述方法包括：
[0008]获取使用训练样本预训练出的超网络，并选取所述超网络中的多路节点；其中，所述多路节点是具有多个输入边的节点；
[0009]对于各所述多路节点，以当前多路节点的各输入边为竞争者、以对各所述输入边的保留和丢弃为策略、以及以所述超网络输出的预测结果的准确度为效用流形值，构建第一博弈；确定所述第一博弈的第一纳什均衡策略组合，选取所述第一纳什均衡策略组合中保留概率或丢弃概率满足预设条件的至少一个输入边；其中，所述第一纳什均衡策略组合中包含各所述输入边分别对应的保留概率和丢弃概率；
[0010]基于为各所述多路节点选取的输入边生成神经网络。
[0011]第二方面，本专利技术实施例还提供了一种神经网络的生成装置，所述装置包括：
[0012]节点选取模块，用于获取使用训练样本预训练出的超网络，并选取所述超网络中的多路节点；其中，所述多路节点是具有多个输入边的节点；
[0013]输入边选取模块，用于对于各所述多路节点，以当前多路节点的各输入边为竞争者、以对各所述输入边的保留和丢弃为策略、以及以所述超网络输出的预测结果的准确度为效用流形值，构建第一博弈；确定所述第一博弈的第一纳什均衡策略组合，选取所述第一纳什均衡策略组合中保留概率或丢弃概率满足预设条件的至少一个输入边；其中，所述第一纳什均衡策略组合中包含各所述输入边分别对应的保留概率和丢弃概率；
[0014]神经网络生成模块，用于基于为各所述多路节点选取的输入边生成神经网络。
[0015]第三方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括：
[0016]一个或多个处理器；
[0017]存储装置，用于存储一个或多个程序，
[0018]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例提供的神经网络的生成方法。
[0019]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例提供的神经网络的生成方法。
[0020]上述专利技术中的实施例具有如下优点或有益效果：
[0021]通过在预训练出的超网络中选取多路节点，针对各多路节点，以当前多路节点的各输入边为竞争者，以对各输入边的保留和丢弃为策略，以及以超网络输出的预测结果的准确度为效用流形值，构建第一博弈，以实现超网络的拓扑结构博弈的构建，进而确定出第一博弈的包含各输入边分别对应的保留概率和丢弃概率的第一纳什均衡策略组合，得到拓扑结构博弈的纳什均衡，并在第一纳什均衡策略组合中选取保留概率和丢弃概率满足预设条件的至少一个输入边，以选取保持连接可能性较高的输入边，进而基于各多路节点选取的输入边生成神经网络，提高了确定的神经网络的准确度。
附图说明
[0022]为了更加清楚地说明本专利技术示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本专利技术所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
[0023]图1A为本专利技术实施例一所提供的一种神经网络的生成方法的流程示意图；
[0024]图1B为本专利技术实施例一所提供的一种超网络中的细胞示意图；
[0025]图1C为本专利技术实施例一所提供的一种第一博弈的过程示意图；
[0026]图2为本专利技术实施例二所提供的一种神经网络的生成方法的流程示意图；
[0027]图3A为本专利技术实施例三所提供的一种神经网络的生成方法的流程示意图；
[0028]图3B为本专利技术实施例三所提供的一种第二博弈的过程示意图；
[0029]图4为本专利技术实施例四所提供的一种神经网络的生成装置的结构示意图；
[0030]图5为本专利技术实施例五所提供的一种电子设备的结构示意图。
具体实施方式
[0031]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0032]在对本申请提供的各实施例进行说明之前，先对本申请提供的神经网络的生成方法的应用场景进行示例性说明。示例性的，本申请提供的神经网络的生成方法可以应用于生成如图像分类网络、图像分割网络、图像特征提取网络、图像压缩网络、图像增强网络、图像降噪网络、图像标签生成网络、文本分类网络、文本翻译网络、文本摘要提取网络、文本预测网络、关键词转换网络、文本语义分析网络、语音识别网络、音频降噪网络、音频合成网络、音频均衡器转换网络、天气预测网络、商品推荐网络、文章推荐网路、动作识别网络、人脸识别网络、面部表情识别网络等神经网络。上述应用场景仅作为示例性说明，本申请对该
神经网络的生成方法的应用场景不进行限定。
[0033]实施例一
[0034]图1A为本专利技术实施例一提供的一种神经网络的生成方法的流程示意图，本实施例可适用于根据使用训练样本预训练出的超网络，通过构建拓补结构的第一博弈以及确定纳什均衡策略组合的方法生成神经网络的情况，该方法可以由神经网络的生成装置来执行，该装置可以由硬件和/或软件来实现，该方法具体包括如下步骤：
[0035]S110、获取使用训练样本预训练出的超网络，并选取超网络中的多路节点；其中，多路节点是具有多个输入边的节点。
[0036]其中，训练样本可以是用于训练超网络的训练数据集。例如，训练样本可以是图像数据，预测结果为图像处理结果；或者，训练样本为文本数据，预测结果为文本处理结果；或者，训练样本为音频数据，预测结果为音频处理结果。
[0037]示例性的，若训练样本为图像数据，则超网络可以是图像分类超网络，超网络输出的预测结果可以是图像分类结果；或者，超网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的生成方法，其特征在于，包括：获取使用训练样本预训练出的超网络，并选取所述超网络中的多路节点；其中，所述多路节点是具有多个输入边的节点；对于各所述多路节点，以当前多路节点的各输入边为竞争者、以对各所述输入边的保留和丢弃为策略、以及以所述超网络输出的预测结果的准确度为效用流形值，构建第一博弈；确定所述第一博弈的第一纳什均衡策略组合，选取所述第一纳什均衡策略组合中保留概率或丢弃概率满足预设条件的至少一个输入边；其中，所述第一纳什均衡策略组合中包含各所述输入边分别对应的保留概率和丢弃概率；基于为各所述多路节点选取的输入边生成神经网络。2.根据权利要求1所述的方法，其特征在于，所述训练样本为图像数据，所述预测结果为图像处理结果；或者，所述训练样本为文本数据，所述预测结果为文本处理结果；或者，所述训练样本为音频数据，所述预测结果为音频处理结果。3.根据权利要求1所述的方法，其特征在于，所述选取所述超网络中的多路节点，包括：选取所述超网络中输入边的数量大于N的多路节点；所述选取所述第一纳什均衡策略组合中保留概率或丢弃概率满足预设条件的至少一个输入边，包括：选取所述第一纳什均衡策略组合中保留概率或丢弃概率满足预设条件的N个输入边；其中，N为不小于1的整数。4.根据权利要求3所述的方法，其特征在于，所述选取所述第一纳什均衡策略组合中保留概率或丢弃概率满足预设条件的N个输入边，包括：选取所述第一纳什均衡策略组合中保留概率最高的N个输入边；或者，选取所述第一纳什均衡策略组合中丢弃概率最低的N个输入边。5.根据权利要求1所述的方法，其特征在于，所述确定所述第一博弈的第一纳什均衡策略组合，包括：获取当前多路节点的效用流形值；其中，所述当前多路节点的效用流形值包括：在将当前多路节点的任意i个输入边从所述超网络中删除后，所述超网络输出的预测结果的准确度；其中，所述i是在1到M中取值的整数，M为当前多路节点的输入边的数量；基于所述当前多路节点的效用流行值和纳什均衡求解算法确定所述第一博弈的第一纳什均衡策略组合。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述方法还包括：对于所述超网络中的各个边，以当前边包含的各候选操作算子为竞争者、以对各所述候选操作算子的保留和丢弃为策略、以及以所述超网络输出的预测结果的准确度为效用流形值，构建第二博弈；确定所述第二博弈的第二纳什均衡策略组合，选取所述第二纳什均衡策略组合中保留概率或丢弃概率满足预设条件的至少一个操作算子；其中，所述第二纳什均衡策略组合中包含各所述候选操作算子分别对应的保留概率和丢弃概率；所...

【专利技术属性】
技术研发人员：薛超，李乾，李明明，陶大程，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：