神经网络的生成方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种神经网络的生成方法、装置、电子设备及存储介质。该方法通过在预训练出的超网络中选取多路节点，针对各多路节点，以当前多路节点的各输入边为竞争者，以对各输入边的保留和丢弃为策略，以及以超网络输出的预测结果的准确度为效用流行值，构建第一博弈，以实现超网络的拓扑结构博弈的构建，进而确定出第一博弈的包含各输入边分别对应的保留概率和丢弃概率的第一纳什均衡策略组合，并在第一纳什均衡策略组合中选取保留概率和丢弃概率满足预设条件的至少一个输入边，进而基于各多路节点选取的输入边生成神经网络，提高了确定的神经网络的准确度。提高了确定的神经网络的准确度。提高了确定的神经网络的准确度。

【技术实现步骤摘要】
神经网络的生成方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及人工智能
，尤其涉及一种神经网络的生成方法、装置、电子设备及存储介质。

技术介绍

[0002]在过去的几年里，大量的工作致力于神经网络搜索(NAS)算法的开发，以实现为特定任务找到最优神经网络结构。
[0003]目前常用的方法是首先将初始的神经网络结构松弛为超网络结构，然后使用差分方法计算出超网络结构中每个节点的每个输入边分别对应的网络权重值，最后将由每个节点以及每个节点的网络权重值最高的边组成的单路径网络结构，作为最优神经网络结构。
[0004]在实现本专利技术的过程中，发现现有技术中至少存在以下技术问题：
[0005]上述根据边的网络权重值确定最优神经网络结构的方法，其准确度有待提高。

技术实现思路

[0006]本专利技术实施例提供了一种神经网络的生成方法、装置、电子设备及存储介质，以提高确定的神经网络的准确度。
[0007]第一方面，本专利技术实施例提供了一种神经网络的生成方法，所述方法包括：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的生成方法，其特征在于，包括：获取使用训练样本预训练出的超网络，并选取所述超网络中的多路节点；其中，所述多路节点是具有多个输入边的节点；对于各所述多路节点，以当前多路节点的各输入边为竞争者、以对各所述输入边的保留和丢弃为策略、以及以所述超网络输出的预测结果的准确度为效用流形值，构建第一博弈；确定所述第一博弈的第一纳什均衡策略组合，选取所述第一纳什均衡策略组合中保留概率或丢弃概率满足预设条件的至少一个输入边；其中，所述第一纳什均衡策略组合中包含各所述输入边分别对应的保留概率和丢弃概率；基于为各所述多路节点选取的输入边生成神经网络。2.根据权利要求1所述的方法，其特征在于，所述训练样本为图像数据，所述预测结果为图像处理结果；或者，所述训练样本为文本数据，所述预测结果为文本处理结果；或者，所述训练样本为音频数据，所述预测结果为音频处理结果。3.根据权利要求1所述的方法，其特征在于，所述选取所述超网络中的多路节点，包括：选取所述超网络中输入边的数量大于N的多路节点；所述选取所述第一纳什均衡策略组合中保留概率或丢弃概率满足预设条件的至少一个输入边，包括：选取所述第一纳什均衡策略组合中保留概率或丢弃概率满足预设条件的N个输入边；其中，N为不小于1的整数。4.根据权利要求3所述的方法，其特征在于，所述选取所述第一纳什均衡策略组合中保留概率或丢弃概率满足预设条件的N个输入边，包括：选取所述第一纳什均衡策略组合中保留概率最高的N个输入边；或者，选取所述第一纳什均衡策略组合中丢弃概率最低的N个输入边。5.根据权利要求1所述的方法，其特征在于，所述确定所述第一博弈的第一纳什均衡策略组合，包括：获取当前多路节点的效用流形值；其中，所述当前多路节点的效用流形值包括：在将当前多路节点的任意i个输入边从所述超网络中删除后，所述超网络输出的预测结果的准确度；其中，所述i是在1到M中取值的整数，M为当前多路节点的输入边的数量；基于所述当前多路节点的效用流行值和纳什均衡求解算法确定所述第一博弈的第一纳什均衡策略组合。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述方法还包括：对于所述超网络中的各个边，以当前边包含的各候选操作算子为竞争者、以对各所述候选操作算子的保留和丢弃为策略、以及以所述超网络输出的预测结果的准确度为效用流形值，构建第二博弈；确定所述第二博弈的第二纳什均衡策略组合，选取所述第二纳什均衡策略组合中保留概率或丢弃概率满足预设条件的至少一个操作算子；其中，所述第二纳什均衡策略组合中包含各所述候选操作算子分别对应的保留概率和丢弃概率；所...

【专利技术属性】
技术研发人员：薛超，李乾，李明明，陶大程，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：