【技术实现步骤摘要】
超网络训练方法及装置、电子设备、存储介质
本公开涉及深度学习
，尤其涉及一种超网络训练方法及装置、电子设备、存储介质。
技术介绍
目前，现有神经网络架构搜索(NAS)中，通常采用单路径神经子网络来实现，即从超网络中每一层仅采样一个子模块，并将采样的子模块顺序串联，可以组成一个单路径神经子网络；然后，从超网络中共享各层子模块的参数；之后，对该单路径神经子网络进行单步训练。在该单路径神经子网络训练结束后，将各子模块的参数再共享给超网络。这样，循环“采样-共享参数-单步训练-更新参数”步骤，直到超网络训练收敛。上述神经网络架构搜索方案中，每次采样训练的单路径神经子网络中，为保证所采样子模块的公平性，每层中只能采样一个子结构，但是这样会限制神经网络的表征能力。
技术实现思路
本公开提供一种超网络训练方法及装置、电子设备、存储介质，以解决相关技术的不足。根据本公开实施例的第一方面，提供一种超网络训练方法，所述方法包括：基于预先构建的初始超网络获取多路径神经子网络；对所述多路径神...
【技术保护点】
1.一种超网络训练方法，其特征在于，所述方法包括：/n基于预先构建的初始超网络获取多路径神经子网络；/n对所述多路径神经子网络进行训练，以更新各子结构的权重参数；/n将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络；/n判断所述初始超网络是否收敛，若不收敛，则返回执行基于预先构建的初始超网络获取多路径神经子网络的步骤；若收敛则结束训练并得到目标超网络。/n
【技术特征摘要】
1.一种超网络训练方法，其特征在于，所述方法包括：
基于预先构建的初始超网络获取多路径神经子网络；
对所述多路径神经子网络进行训练，以更新各子结构的权重参数；
将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络；
判断所述初始超网络是否收敛，若不收敛，则返回执行基于预先构建的初始超网络获取多路径神经子网络的步骤；若收敛则结束训练并得到目标超网络。
2.根据权利要求1所述的超网络训练方法，其特征在于，所述基于预先构建的初始超网络获取多路径神经子网络包括：
针对预先构建的超网络的各层，从所述各层中采样出至少一个子结构，并增加用于对所述至少一个子结构的输出结果进行相加的输出端，得到包含所述至少一个子结构和所述输出端的子结构单元；
按照所述各层的顺序串联每个子结构单元，得到初始的多路径神经子网络；
对所述初始超网络和初始的多路径神经子网络中相同子结构进行参数共享，获得最终的多路径神经子网络。
3.根据权利要求2所述的超网络训练方法，其特征在于，从所述各层中采样出至少一个子结构的步骤中，采用伯努利采样方法依次采样子结构，且所述各层中各子结构被采样到的概率均等。
4.根据权利要求1所述的超网络训练方法，其特征在于，所述对所述多路径神经子网络进行训练，包括：
获取训练集合中第一数量个训练样本；
将所述训练样本依次输入到所述多路径神经子网络，以训练所述多路径神经子网络，直至所述第一数量的训练样本全部使用。
5.根据权利要求1所述的超网络训练方法，其特征在于，所述方法还包括：
基于所述目标超网络对新获取的多个多路径神经子网络进行评估，得到评估结果；
根据所述评估结果确定出满足设定条件的多路径神经子网络，以将其应用到目标场景。
6.根据权利要求5所述的超网络训练方法，其特征在于，所述基于所述目标超网络对新获取的多个多路径神经子网络进行评估，得到评估结果包括：
基于所述目标超网络，获取多个多路径神经子网络；
将所述目标超网络中各子结构的权重参数共享至所述多路径神经子网络中对应的子结构；
对所述多个多路径神经子网络进行评估，得到各个多路径神经子网络的评估结果。
7.根据权利要求5所述的超网络训练方法，其特征在于，所述目标场景包括以下至少一种：图像分类、目标检测、语义分割、文本转语音、自然语言翻译、语音增强。
8.一种超网络训练装置，其特征在于，所述装置包括：
子网络获取模块，用于基于预先构建的初始超网络获取多路径神经子网络；
子网络训练模块，用于对所述多路径...
【专利技术属性】
技术研发人员：初祥祥，张勃，许瑞军，王斌，
申请(专利权)人：北京小米智能科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。