【技术实现步骤摘要】
神经网络的训练方法、装置及存储介质
本公开涉及神经网络
，尤其涉及一种神经网络的训练方法、装置及存储介质。
技术介绍
神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，主要依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。其在数据处理，例如，数据分类、语音分析和图像识别等领域有着广泛的应用。在使用神经网络之前，需要对神经网络进行训练，而目前训练神经网络的方式，不仅运算量大，且效率也很低。
技术实现思路
本公开提供一种神经网络的训练方法、装置及存储介质。根据本公开实施例的第一方面，提供一种神经网络的训练方法，包括：对超网络进行训练，得到所述超网络的网络参数，其中，所述超网络的每个网络层包括：并列的多个备选网络子结构；从所述超网络的每个网络层的多个备选网络子结构中，选择一个所述备选网络子结构作为目标网络子结构；基于各层所选的所述目标网络子结构，构成子网络；将从所述超网络继承的网络参数作为所述子网络的初始...
【技术保护点】
1.一种神经网络的训练方法，其特征在于，包括：/n对超网络进行训练，得到所述超网络的网络参数，其中，所述超网络的每个网络层包括：并列的多个备选网络子结构；/n从所述超网络的每个网络层的多个备选网络子结构中，选择一个所述备选网络子结构作为目标网络子结构；/n基于各层所选的所述目标网络子结构，构成子网络；/n将从所述超网络继承的网络参数作为所述子网络的初始化参数，训练所述子网络得到所述子网络的网络参数。/n
【技术特征摘要】
1.一种神经网络的训练方法，其特征在于，包括：
对超网络进行训练，得到所述超网络的网络参数，其中，所述超网络的每个网络层包括：并列的多个备选网络子结构；
从所述超网络的每个网络层的多个备选网络子结构中，选择一个所述备选网络子结构作为目标网络子结构；
基于各层所选的所述目标网络子结构，构成子网络；
将从所述超网络继承的网络参数作为所述子网络的初始化参数，训练所述子网络得到所述子网络的网络参数。
2.根据权利要求1所述的方法，其特征在于，
所述超网络包括：N个网络层；每一个所述网络层包括：M个备选网络子结构，其中，N为不小于2的正整数，M为不小于2的正整数；
所述从所述超网络的每个网络层的多个备选网络子结构中，选择一个所述备选网络子结构作为目标网络子结构，包括：
选择所述超网络的第n个网络层的第m个备选网络子结构，作为构成所述子网络的第n个网络层的所述目标网络子结构，其中，n为小于或等于N的正整数，m为小于或等于M的正整数。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在得到所述超网络的网络参数之后，对应存储各所述备选网络子结构的结构标识与各所述备选网络子结构的网络参数之间的映射关系。
4.根据权利要求3所述的方法，其特征在于，所述将从所述超网络继承的网络参数作为所述子网络的初始化参数，训练所述子网络得到所述子网络的网络参数，包括：
基于所述子网络所包含的备选网络子结构的结构标识，查询所述映射关系得到对应的备选网络子结构的网络参数；
基于得到的所述备选网络子结构的网络参数，训练所述子网络得到所述子网络的网络参数。
5.根据权利要求1所述的方法，其特征在于，所述从所述超网络的每个网络层的多个备选网络子结构中，选择一个所述备选网络子结构作为目标网络子结构，包括：
从所述超网络的每个网络层的多个备选网络子结构中，基于设定搜索算法选择一个所述备选网络子结构作为目标网络子结构；
所述设定搜索算法包括以下至少之一：随机搜索算法、贝叶斯搜索算法、进化学习算法、强化学习算法、进化和强化学习结合算法、以及基于梯度的算法。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
基于训练后的子网络，对输入数据进行数据处理；
其中，所述输入数据的类型包括以下至少之一：图像数据类型、文本数据类型和音频数据类型。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
基于测试数据集对训练后的子网络进行性能评估，得到评估结果；
其中，所述测试数据集中测试数据的类型包括以下至少之一：图像数据类型、业务数据类型和音频数据类型。
8.一种神经网络的训练装置，其特征在于，包括：
第一训练模块，配置为对超网络进行训练，得到所述超网络的网络参数，其中，所述超网络的每个网络层包...
【专利技术属性】
技术研发人员：初祥祥，许瑞军，张勃，李吉祥，李庆源，王斌，
申请(专利权)人：北京小米智能科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。