一种并行可微分神经网络架构搜索方法技术

本发明专利技术公开了一种并行可微分神经网络架构搜索方法，首先构建带有二进制门的双路径超级网络；然后利用sigmoid函数，进行搜索空间连续化；接下来运用梯度下降的方式对所述超级网络进行优化，得到最优基本单元，包括普通单元和归约单元；最后利用得到的基本单元进行堆叠，得到所需的深度神经网络，对深度神经网络进行重训练至网络收敛。通过设计快速并行的可微分神经网络架构搜索方法，显著提高了神经网络架构搜索的速度和性能。络架构搜索的速度和性能。络架构搜索的速度和性能。

【技术实现步骤摘要】
一种并行可微分神经网络架构搜索方法


[0001]本专利技术属于深度学习
，具体涉及一种并行可微分神经网络架构搜索方法。

技术介绍

[0002]深度学习的快速发展证明了其在人工智能与深度学习领域的主导地位。得益于研究人员的不懈努力，深度神经网络的性能不断提升。然而，由于手动设计神经网络需要不断的试错过程，且严重依赖专家的设计经验，使得手动创建神经网络结构需要消耗大量的时间和资源。为了减少人力和成本，神经网络架构搜索(NAS)技术被提出。NAS作为一种借助算法自动搜索神经网络架构，以满足不同任务需求的技术，成为自动化机器学习领域的研究热点。
[0003]NAS方法的核心是构建一个巨大的搜索空间，然后采用一种高效的搜索算法来挖掘这个空间，并在一系列训练数据和约束条件下发现最佳架构。早期的工作主要是基于强化学习和进化算法。他们在寻找高性能神经网络架构方面展示出了巨大潜力。然而，基于强化学习和进化算法的神经网络架构搜索方法通常承受着沉重的计算负担，这严重阻碍了NAS的广泛应用和研究。为了减轻繁重的计算负担，提出了权重共享算法，它将搜索空间制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种并行可微分神经网络架构搜索方法，其特征在于，包括如下步骤：步骤1：构建带有二进制门的双路径超级网络；所述超级网络是由L个基本单元堆叠而成的；所述基本单元包括普通单元和归约单元；所述普通单元和归约单元均是由7个节点组成的有向无环图，其中包括2个输入节点、4个中间节点和1个输出节点，节点之间的连接代表着不同的操作，普通单元和归约单元内部节点的连接关系不同；步骤1
‑
1：设操作池为O，操作池O包含8个基本的操作算子，分别是：sep
‑
conv
‑3×
3,sep
‑
conv
‑5×
5,dil
‑
conv
‑3×
3,dil
‑
conv
‑5×
5,max
‑
pool
‑3×
3,avg
‑
pool
‑3×
3,skip
‑
connection和none；操作池O通过随机抽样分解为两个算子子集O1和O2，其中O1和O2满足|O1|＝|O2|,|O1|+|O2|＝|O|且O1和O2分别用于构建两个子网络；整个网络的输入通道中采样了两组通道，分别被两个子网络采用，这两个子网络最终再通过加法运算合并为一个；对于超级网络一个基本单元中的两个不同节点x
i
到x
j
的信息传播，描述为：传播，描述为：传播，描述为：其中，x
i
和x
j
表示不同的节点，且0≤i<j≤5，和分别表示O1和O2中不同操作的权重；和是两组通道采样掩码，掩码仅由0和1组成；和分别代表选定和未选定的通道；和两组选定的通道同时被两个操作算子子集采用；超级网络以两条并行路径的形式覆盖所有的架构；步骤1
‑
2：在训练超级网络的过程中，利用二进制门控来选择性的激活每条路径参与训练；对于一个基本单...

【专利技术属性】
技术研发人员：张秀伟，王文娜，尹翰林，邢颖慧，崔恒飞，张艳宁，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：