基于图价值网络的神经网络架构搜索方法技术

本申请提供了一种基于图价值网络的神经网络架构搜索方法，涉及神经网络架构搜索技术领域，旨在提供一种学习已搜索过的架构，以推理得到其他网络架构的神经网络架构搜索方法。所述方法包括：获取神经细胞的当前架构；以图价值网络为价值函数，以所述神经细胞的当前架构为状态，以改变所述神经细胞的当前架构的多种规定行为为动作，进行强化学习训练，得到目标神经细胞的架构；将多个相同的所述目标神经细胞的架构进行堆叠，得到神经网络的架构。得到神经网络的架构。得到神经网络的架构。

【技术实现步骤摘要】
基于图价值网络的神经网络架构搜索方法


[0001]本申请涉及神经网络架构搜索
，特别是涉及一种基于图价值网络的神经网络架构搜索方法。

技术介绍

[0002]设计神经网络的架构一直以来是一个难题。神经网络架构搜索旨在让计算机通过搜索算法自动得出搜索空间中的最优架构。
[0003]相关技术中的搜索方法着重于搜索策略，对于如何从已搜索过的网络架构的表现中学习到知识，从而推理得到其它网络架构的表现的考虑不足，而将其简单化，往往假设网络中不同操作相互独立，不能学习到已搜索过的网络架构。

技术实现思路

[0004]鉴于上述问题，本专利技术实施例提供了一种基于图价值网络的神经网络架构搜索方法，以便克服上述问题或者至少部分地解决上述问题。
[0005]本专利技术实施例提供的一种基于图价值网络的神经网络架构搜索方法，所述方法包括：
[0006]获取神经细胞的当前架构；
[0007]以图价值网络为价值函数，以所述神经细胞的当前架构为状态，以改变所述神经细胞的当前架构的多种规定行为为动作，进行强化学习训练，得到目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图价值网络的神经网络架构搜索方法，其特征在于，所述方法包括：获取神经细胞的当前架构；以图价值网络为价值函数，以所述神经细胞的当前架构为状态，以改变所述神经细胞的当前架构的多种规定行为为动作，进行强化学习训练，得到目标神经细胞的架构；将多个相同的所述目标神经细胞的架构进行堆叠，得到神经网络的架构。2.根据权利要求1所述的方法，其特征在于，以图价值网络为价值函数，以所述神经细胞的当前架构为状态，以改变所述神经细胞的当前架构的多种规定行为为动作，进行强化学习训练，得到目标神经细胞的架构，包括：步骤1：对所述神经细胞的当前架构执行多种规定行为，得到所述神经细胞的多个搜索架构；步骤2：获取所述图价值网络对所述神经细胞的多个搜索架构的评分；步骤3：以所述神经细胞的多个搜索架构中评分最高的架构，更新所述神经细胞的当前架构；重复步骤1
‑
3，在满足预设条件时，停止更新所述神经细胞的当前架构，将最后一次更新的当前架构作为所述目标神经细胞的架构。3.根据权利要求2所述的方法，其特征在于，所述预设条件包括：所述神经细胞上一次更新后的架构为被执行终止动作后的架构；和/或所述图价值网络对所述神经细胞的多个搜索架构的评分，低于所述图价值网络对所述神经细胞的上一次更新后的架构的评分。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取神经细胞的多个样本架构；将所述多个样本架构作为预设图价值网络的输入，对所述预设图价值网络进行训练，所述预设图价值网络输出所述多个样本架构的预测评分，其中，所述损失函数是根据每个样本架构的预测评分和超网络的评分确定的；当所述损失函数收敛到最小值时，结束对所述预设图价值网络的训练，得到所述图价值网络；获取所述图价值网络对所述神经细胞的多个搜索架构的评分，包括...

【专利技术属性】
技术研发人员：朱文武，王鑫，秦一鉴，
申请(专利权)人：清华大学，
类型：发明
国别省市：