一种神经网络的构建方法及装置、存储介质制造方法及图纸

本公开是关于一种神经网络的构建方法及装置、存储介质。该方法包括：确定第n网络层所包含的备选子结构的网络参数，其中，n为小于或等于N的正整数，N为超网络所包含的网络层的层数；根据第m个备选子结构的网络参数，单独确定第m个所述备选子结构的权重系数；m小于或等于M，其中，M为所述第n网络层所包含的所述备选子结构的个数，M为正整数；根据所述权重系数，从所述第n网络层中选择至少一个所述备选子结构作为目标子结构；基于选择的所述至少一个目标子结构，构建目标神经网络的第n网络层。通过本公开实施例提供的技术方案，能够在超网络的各网络层中分别选择多个目标子结构，从而构建多样化的目标神经网络。

A construction method of neural network and its device and storage medium

【技术实现步骤摘要】
一种神经网络的构建方法及装置、存储介质
本公开涉及信息处理技术，尤其涉及一种神经网络的构建方法及装置、存储介质。
技术介绍
神经网络是一种模仿动物神经网络行为的特征，进行分布式并行信息处理的算法数学模型，主要依靠系统的负载程度，通过调整内部大量节点之间相互连接的关系，达到处理信息的目的。其在数据处理领域，例如，数据分类、语音分析和图像识别等领域有着广泛的应用。相关技术中，NAS(NeuralArchitectureSearch，神经网络架构搜索)逐渐取代人工设计成为神经网络设计的主要趋势。但现有的NAS方式通常只能实现较为单一的网络结构，难以满足人们对神经网络结构的多样性和灵活性的需求。
技术实现思路
本公开提供一种神经网络的构建方法及装置、存储介质。根据本公开实施例的第一方面，提供一种神经网络的构建方法，包括：确定第n网络层所包含的备选子结构的网络参数，其中，n为小于或等于N的正整数，N为超网络所包含的网络层的层数，且N为大于1的正整数；根据第m个备选子结构的网络参数，单独确定第m个所述备选子结构的权重系数本文档来自技高网...

【技术保护点】
1.一种神经网络的构建方法，其特征在于，包括：/n确定第n网络层所包含的备选子结构的网络参数，其中，n为小于或等于N的正整数，N为超网络所包含的网络层的层数，且N为大于1的正整数；/n根据第m个备选子结构的网络参数，单独确定第m个所述备选子结构的权重系数；m小于或等于M，其中，M为所述第n网络层所包含的所述备选子结构的个数，M为正整数；/n根据所述权重系数，从所述第n网络层中选择至少一个所述备选子结构作为目标子结构；/n基于对所述第n网络层所选择的所述至少一个目标子结构，确定目标神经网络的第n网络层，以构建包含N层结构的目标神经网络。/n

【技术特征摘要】
1.一种神经网络的构建方法，其特征在于，包括：
确定第n网络层所包含的备选子结构的网络参数，其中，n为小于或等于N的正整数，N为超网络所包含的网络层的层数，且N为大于1的正整数；
根据第m个备选子结构的网络参数，单独确定第m个所述备选子结构的权重系数；m小于或等于M，其中，M为所述第n网络层所包含的所述备选子结构的个数，M为正整数；
根据所述权重系数，从所述第n网络层中选择至少一个所述备选子结构作为目标子结构；
基于对所述第n网络层所选择的所述至少一个目标子结构，确定目标神经网络的第n网络层，以构建包含N层结构的目标神经网络。


2.根据权利要求1所述的方法，其特征在于，所述根据第m个备选子结构的网络参数，单独确定第m个所述备选子结构的权重系数，包括：
将第m个备选子结构的网络参数作为预设函数的输入参数，确定对应的所述预设函数的输出参数为所述第m个所述备选子结构的权重系数。


3.根据权利要求2所述的方法，其特征在于，所述预设函数为sigmoid函数；所述将第m个备选子结构的网络参数作为预设函数的输入参数，确定对应的所述预设函数的输出参数为所述第m个所述备选子结构的权重系数，包括：
将所述第m个备选子结构的网络参数作为所述sigmoid函数的输入参数确定所述sigmoid函数的输出为所述第m个所述备选子结构的权重系数。


4.根据权利要求1所述的方法，其特征在于，所述根据所述权重系数，从所述第n网络层中选择至少一个所述备选子结构作为目标子结构，包括：
如果第m个所述备选子结构的权重系数tm大于或等于系数阈值，则选择所述第m个所述备选子结构作为所述目标子结构。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
确定第n网络层所包含的备选子结构的所述系数阈值，其中，所述超网络的不同网络层的所述系数阈值不同。


6.根据权利要求1至5任一所述的方法，其特征在于，所述确定第n网络层所包含的备选子结构的网络参数的步骤前，所述方法还包括：
通过梯度下降法对所述超网络进行训练，得到所述超网络中各网络层所包含的备选子结构的权重系数。


7.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：
在所述目标神经网络的所述第n网络层与第n+1网络层之间设定传递节点；
根据所述第n网络层的第s个所述目标子结构的权重系数，确定所述传递节点对第s个所述目标子结构的输出结果进行加权的S个加权系数；s小于或等于S为正整数，S为所述第n网络层包含的目标子结构的总个数，且S为正整数；
其中，所述传递节点，用于基于所述S个加权系数对第n网络层所包含的S个目标子结构的输出进行加权求和之后输入到所述第n+1网络层。


8.一种神经网络的构建装置，其特征在于，包括：
第一确定模块，用于确定第n网络层所包含的备选子结构的网络参数，其中，n为小于或等于N的正整数，N为超网络所包含的...

【专利技术属性】
技术研发人员：初祥祥，许瑞军，张勃，李吉祥，王斌，
申请(专利权)人：北京小米智能科技有限公司，
类型：发明
国别省市：北京;11