神经网络结构搜索方法及装置、芯片、设备、存储介质制造方法及图纸

本申请提供了神经网络结构搜索方法及装置、芯片、设备、存储介质；其中，所述方法包括：对预设的第一神经网络进行迭代训练，得到训练好的第一神经网络；在所述训练好的第一神经网络中进行子网搜索，得到用于执行目标任务的目标子网；其中，所述迭代训练的每次迭代过程包括：从待训练的所述第一神经网络中采样得到多个第一子网；确定所述第一子网的采样分值，所述采样分值用于表征所述第一子网的收敛速度得分；从所述多个第一子网中选择所述采样分值满足可训练条件的第一子网，以及对所述满足可训练条件的第一子网进行训练。训练条件的第一子网进行训练。训练条件的第一子网进行训练。

【技术实现步骤摘要】
神经网络结构搜索方法及装置、芯片、设备、存储介质


[0001]本申请涉及人工智能技术，涉及但不限于神经网络结构搜索方法及装置、芯片、设备、存储介质。

技术介绍

[0002]人工智能领域，尤其是计算机视觉领域，针对不同任务需要设计不同的神经网络结构，以满足不同任务的需求。随着人工智能技术的发展，神经网络结构的设计，正在从手工设计转型为机器自动设计。神经网络结构搜索(Neural Network Architecture Search，NAS)是通过特定的算法自动搜索出表现优秀的深度学习网络结构。
[0003]然而，在神经网络结构搜索中，对于提高神经网络的准确度和收敛速度，依然存在一定的优化空间。

技术实现思路

[0004]有鉴于此，本申请提供的神经网络结构搜索方法及装置、芯片、设备、存储介质，能够提高第一神经网络的准确度和收敛速度，从而有益于提高目标子网的准确度和节约设备功耗。
[0005]根据本申请实施例的一个方面，提供一种神经网络结构搜索方法，包括：对预设的第一神经网络进行迭代训练，得到训练好的第一神经网络；在所述训练好的第一神经网络中进行子网搜索，得到用于执行目标任务的目标子网；其中，所述迭代训练的每次迭代过程包括：从待训练的所述第一神经网络中采样得到多个第一子网；确定所述第一子网的采样分值，所述采样分值用于表征所述第一子网的收敛速度得分；从所述多个第一子网中选择所述采样分值满足可训练条件的第一子网，以及对所述满足可训练条件的第一子网进行训练。
[0006]根据本申请实施例的一个方面，提供一种神经网络结构搜索装置，包括：训练模块，配置成对预设的第一神经网络进行迭代训练，得到训练好的第一神经网络；其中，所述迭代训练的每次迭代过程包括：从待训练的所述第一神经网络中采样得到多个第一子网；确定所述第一子网的采样分值，所述采样分值用于表征所述第一子网的收敛速度得分；从所述多个第一子网中选择所述采样分值满足可训练条件的第一子网，以及对所述满足可训练条件的第一子网进行训练；搜索模块，配置成在所述训练好的第一神经网络中进行子网搜索，得到用于执行目标任务的目标子网。
[0007]根据本申请实施例的一个方面，提供一种电子设备，包括第一存储器和第一处理器，所述第一存储器存储有可在第一处理器上运行的计算机程序，所述第一处理器执行所述程序时实现本申请实施例所述的方法。
[0008]根据本申请实施例的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。
[0009]在本申请实施例中，在对预设的第一神经网络进行迭代训练的过程中，不是直接
对采样得到的多个第一子网进行训练，而是对采样得到多个第一子网进行采样分值的确定，以评估各个第一子网的收敛速度的快慢，基于此筛选出满足可训练条件的第一子网，进而对满足可训练条件的第一子网进行训练；如此，由于待训练的第一子网的数量减少，因此可以节约训练带来的算力，从而节约设备功耗；以及，由于待训练的第一子网是基于表征收敛速度的采样分值而筛选出的，因此使得收敛速度慢的第一子网得到了更多的训练机会，确保了不同子网之间的训练的公平性，从而有益于提高第一神经网络的收敛精度(Accuracy)，进而有益于提高目标子网的收敛精度。
[0010]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0011]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0013]图1为本申请实施例提供的神经网络结构搜索方法的实现流程示意图；
[0014]图2为本申请实施例提供的第一神经网络的一种结构示意图；
[0015]图3为本申请实施例提供的参数量相同的两个子网(SubNet)的结构示意图；
[0016]图4为本申请实施例提供的实现步骤102的流程示意图；
[0017]图5为本申请实施例提供的降噪网络的类U
‑
Net整体结构示意图；
[0018]图6为Once
‑
For
‑
All技术的整体思路示意图；
[0019]图7为随机采样得到子网示意图；
[0020]图8为改进前后超网(SuperNet)收敛性能对比示意图；
[0021]图9为本申请实施例提供的神经网络结构搜索装置的结构示意图；
[0022]图10为本申请实施例提供的电子设备的硬件实体示意图；
[0023]图11为本申请实施例提供的芯片的硬件实体示意图。
具体实施方式
[0024]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0025]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0026]在以下的描述中，涉及到“一些实施例”、“本实施例”、“本申请实施例”以及举例等等，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例
的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0027]本申请实施例中出现的“第一、第二、第三”等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
[0028]本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
[0029]本申请实施例提供一种神经网络结构搜索方法，图1为本申请实施例提供的神经网络结构搜索方法的实现流程示意图，如图1所示，该方法可以包括以下步骤101至步骤102：
[0030]步骤101，对预设的第一神经网络进行迭代训练，得到训练好的第一神经网络；其中，所述迭代训练的每次迭代过程包括步骤1011至步骤1013：
[0031]步骤1011，从待训练的所述第一神经网络中采样得到多个第一子网；
[0032]步骤1012，确定所述第一子网的采样分值，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络结构搜索方法，其特征在于，所述方法包括：对预设的第一神经网络进行迭代训练，得到训练好的第一神经网络；在所述训练好的第一神经网络中进行子网搜索，得到用于执行目标任务的目标子网；其中，所述迭代训练的每次迭代过程包括：从待训练的所述第一神经网络中采样得到多个第一子网；确定所述第一子网的采样分值，所述采样分值用于表征所述第一子网的收敛速度得分；从所述多个第一子网中选择所述采样分值满足可训练条件的第一子网，以及对所述满足可训练条件的第一子网进行训练。2.根据权利要求1所述的方法，其特征在于，所述确定所述第一子网的采样分值，包括：根据所述第一子网中的神经网络层的影响因子和/或参数量，确定所述采样分值；其中，所述影响因子和所述神经网络层至输出层的距离呈正相关。3.根据权利要求2所述的方法，其特征在于，所述第一子网是从待训练的所述第一神经网络中随机采样得到的。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一子网中的神经网络层的影响因子和/或参数量，确定所述采样分值，包括：根据所述第一子网中的神经网络层的影响因子和/或参数量，确定所述第一子网的公平性分值；确定所述第一子网的随机性分值；根据所述第一子网的公平性分值和所述随机性分值，确定所述第一子网的采样分值。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一子网的公平性分值和所述随机性分值，确定所述第一子网的采样分值，包括：根据所述第一子网的公平性分值、所述随机性分值和控制系数，确定所述第一子网的采样分值；其中，所述控制系数用于控制所述随机性分值在所述采样分值中的比重。6.根据权利要求4所述的方法，其特征在于，所述根据所述第一子网中的神经网络层的影响因子和/或参数量，确定所述第一子网的公平性分值，包括：确定所述第一子网中的神经网络层的参数量占所述神经网络层在所述第一神经网络中的参数量的比例；根据所述第一子网中的神经网络层的影响因子和所述比例，确定所述第一子网的公平性分值。7.根据权利要求1至6任一项所述的方法，其特征在于，所述在所述训练好的第一神经网络中进行子...

【专利技术属性】
技术研发人员：赵亚西，
申请(专利权)人：哲库科技上海有限公司，
类型：发明
国别省市：