【技术实现步骤摘要】
神经网络结构搜索方法、装置、计算机设备及存储介质
本专利技术涉及人工智能
，尤其是一种神经网络结构搜索方法、装置、计算机设备及存储介质。
技术介绍
近年来，人工智能技术飞速发展，神经网络模型在图像分类、人脸识别、自动驾驶等领域均取得了良好的应用效果。因神经网络模型的网络结构(简称为神经网络结构)对其任务执行的效果起着关键性的作用，所以在神经网络模型的搭建过程中，如何构建高效的神经网络结构非常重要，这就需要技术人员具备大量的神经网络结构设计及参数调整经验，不断尝试、调整，整个设计过程复杂，十分耗费精力；而且多次更换、实验不同结构的神经网络需要耗费大量的硬件资源，得到的神经网络结构性能也可能无法达到理想的效果。
技术实现思路
本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。为此，本申请实施例的一个目的在于提供一种神经网络结构搜索方法，该方法能够有效提高神经网络结构搜索的效率和提高搜索到的神经网络结构的性能。为了达到上述技术目的，本申请实施例所采取的技术方案包括：
【技术保护点】
1.一种神经网络结构搜索方法，其特征在于，包括以下步骤：/n通过控制器在具有预设节点个数的超网络中采样生成批量的第一子网络；各个所述第一子网络在两个相同节点间的同种类型的隐藏层具有共享权重参数；/n依序对各个所述第一子网络进行训练，并约束所述第一子网络更新所述共享权重参数造成的差异值小于预设阈值；所述差异值为更新前后训练好的所述第一子网络输出的差异值；/n对训练好的各个所述第一子网络的性能进行评估，得到对应的评估得分；/n根据所述第一子网络的网络结构和对应的所述评估得分，对所述控制器进行训练，得到训练好的所述控制器；/n通过训练好的所述控制器从所述超网络中得到所需的神经网络结构。/n
【技术特征摘要】
1.一种神经网络结构搜索方法，其特征在于，包括以下步骤：
通过控制器在具有预设节点个数的超网络中采样生成批量的第一子网络；各个所述第一子网络在两个相同节点间的同种类型的隐藏层具有共享权重参数；
依序对各个所述第一子网络进行训练，并约束所述第一子网络更新所述共享权重参数造成的差异值小于预设阈值；所述差异值为更新前后训练好的所述第一子网络输出的差异值；
对训练好的各个所述第一子网络的性能进行评估，得到对应的评估得分；
根据所述第一子网络的网络结构和对应的所述评估得分，对所述控制器进行训练，得到训练好的所述控制器；
通过训练好的所述控制器从所述超网络中得到所需的神经网络结构。
2.根据权利要求1所述的方法，其特征在于，所述通过控制器在具有预设节点个数的超网络中采样生成批量的第一子网络，包括：
通过所述控制器在所述超网络中采样所述节点间的连接关系和所述节点间的隐藏层类型；根据所述连接关系和所述隐藏层类型的随机组合，生成批量的第一子网络。
3.根据权利要求1所述的方法，其特征在于，所述依序对各个所述第一子网络进行训练，包括：
获取训练数据集；
依序通过所述训练数据集对所述第一子网络进行训练，并将当前训练好的所述第一子网络的所述共享权重参数更新到其他的所述第一子网络中。
4.根据权利要求3所述的方法，其特征在于，所述将当前训练好的所述第一子网络的所述共享权重参数更新到其他的所述第一子网络中，包括：
将当前训练好的所述第一子网络的所述共享权重参数更新到所述超网络；
根据其他的所述第一子网络的网络结构，从所述超网络中迁移得到所述共享权重参数。
5.根据权利要求3所述的方法，其特征在于，所述训练数据集中的训练数据带有第一标签；所述通过所述训练数据集对所述第一子网络进行训练，包括：
将所述训练数据输入到所述第一子网络，得到第一预测结果；
根据所述第一预测结果和所述第一标签确定训练的第一损失值；
根据所述第一损失值对所述第一子网络的权重参数进行更新。
6.根据权利要求5所述的方法，其特征在于，所述约束所述第一子网络更新所述共享权重参数造成的差异值小于预设阈值，包括：
根据所述训练数据集，确定前序训练好的所述第一子网络的输入特征矩阵；
根据所述输入特征矩阵，建立梯度投影矩阵；
将所述训练数据输入到后序训练的所述第一子网络，得到第二预测结果；
根据所述第二预测结果和所述第一标签确定训练的第二损失值；
根据所述梯度投影矩阵和所述第二损失值更新所述共享权重参数，使得前序训练好的所述第一子网络输出的所述差异值小于...
【专利技术属性】
技术研发人员：牛帅程，吴家祥，谭明奎，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。