网络结构搜索的方法及装置、计算机存储介质和计算机程序产品制造方法及图纸

一种网络结构搜索的方法包括：(步骤S12)确定待进行网络结构搜索的神经网络模型的搜索空间，搜索空间定义了神经网络模型中每两个节点之间的操作层上的多种操作；(步骤S14)根据第一网络结构在搜索空间的每个操作层采样一个操作以得到目标网络结构；(步骤S16)低比特化目标网络结构以得到第二网络结构；(步骤S18)确定第二网络结构的反馈量；(步骤S19)根据反馈量更新第一网络结构。本申请还公开了一种网络结构搜索的装置、计算机存储介质和计算机程序产品。

【技术实现步骤摘要】
【国外来华专利技术】网络结构搜索的方法及装置、计算机存储介质和计算机程序产品
本申请涉及机器学习领域，特别涉及一种网络结构搜索的方法及装置、计算机存储介质和计算机程序产品。
技术介绍
相关技术在移动端应用深度学习模型时，需要在电脑或者服务器上训练模型，然后将模型部署在移动端的芯片。而目前高性能的深度学习模型往往参数量巨大，并且参数为32bit浮点参数，这在电脑或者服务器等计算力丰富的设备上训练没有问题，但是直接部署在计算资源有限的移动端则非常困难。而低比特网络存储空间小，运算速度快，对计算资源需求少，因此低比特网络成为近年来研究的热点之一。然而，网络结构对低比特网络有着较大的影响，如何设计一个适用于低比特网络的网络结构是亟待解决的问题。
技术实现思路
本申请的实施方式提供一种网络结构搜索的方法及装置、计算机存储介质和计算机程序产品。本申请实施方式的网络结构搜索的方法包括：确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述神经网络模型中每两个节点之间的操作层上的多种操作；r>根据第一网络结构本文档来自技高网...

【技术保护点】
1.一种网络结构搜索的方法，其特征在于，包括：/n确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述神经网络模型中每两个节点之间的操作层上的多种操作；/n根据第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到目标网络结构；/n低比特化所述目标网络结构以得到第二网络结构；/n确定所述第二网络结构的反馈量；/n根据所述反馈量更新所述第一网络结构。/n

【技术特征摘要】
【国外来华专利技术】1.一种网络结构搜索的方法，其特征在于，包括：
确定待进行网络结构搜索的神经网络模型的搜索空间，所述搜索空间定义了所述神经网络模型中每两个节点之间的操作层上的多种操作；
根据第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到目标网络结构；
低比特化所述目标网络结构以得到第二网络结构；
确定所述第二网络结构的反馈量；
根据所述反馈量更新所述第一网络结构。


2.根据权利要求1所述的网络结构搜索的方法，其特征在于，确定所述第二网络结构的反馈量，包括：
将所述第二网络结构训练至收敛以确定所述反馈量。


3.根据权利要求2所述的网络结构搜索的方法，其特征在于，将所述第二网络结构训练至收敛以确定所述反馈量，包括：
利用训练集将所述第二网络结构训练至收敛；
利用测试集预测收敛后的所述第二网络结构以确定所述反馈量。


4.根据权利要求1所述的网络结构搜索的方法，其特征在于，确定所述第二网络结构的反馈量，包括：
根据所述第二网络结构确定所述反馈量，所述第二网络结构未被训练至收敛。


5.根据权利要求4所述的网络结构搜索的方法，其特征在于，根据第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到目标网络结构，包括：
利用训练集训练所述搜索空间的总图，所述总图由所述操作连接而成；
根据第一网络结构对训练后的所述总图进行采样以得到所述目标网络结构；
根据所述第二网络结构确定所述反馈量，包括：
利用测试集预测所述第二网络结构以确定所述反馈量。


6.根据权利要求5所述的网络结构搜索的方法，其特征在于，利用训练集训练所述搜索空间的总图，包括：
在所述搜索空间的每个所述操作层采样一个所述操作以得到所述总图的子图；
利用所述训练集的一批数据训练所述子图。


7.根据权利要求1所述的网络结构搜索的方法，其特征在于，所述第一网络结构是根据长短期记忆人工神经网络来构建，根据所述反馈量更新所述第一网络结构，通过以下公式实现：



其中，Rk为第k个所述反馈量，θc为所述长短期记忆人工神经网络的参数，at为在第t个所述操作层采样到的所述操作，为采样到所述操作的概率。m为所述反馈量的总数量，T为所述第一网络结构预测的超参数的数量。


8.根据权利要求1所述的网络结构搜索的方法，其特征在于，所述第一网络结构是根据长短期记忆人工神经网络来构建，所述搜索空间的每个所述操作层对应于所述长短期记忆人工神经网络的一个时间步，对于每个所述时间步，所述长短期记忆人工神经网络的细胞输出一个隐状态，根据第一网络结构在所述搜索空间的每个所述操作层采样一个所述操作以得到目标网络结构，包括：
将所述隐状态映射为特征向量，所述特征向量的维度与每个所述操作层上的操作数量相同；
根据所述特征向量在每个所述操作层采样一个所述操作以得到所述目标网络结构。


9.根据权利要求8所述的网络结构搜索的方法，其特征在于，根据所述特征向量在每个所述操作层采样一个所述操作以得到所述目标网络结构，包括：
将所述特征向量进行归一化以得到每个所述操作层的每个所述操作的概率；
根据所述概率在每个所述操作层采样一个所述操作以得到所述目标网络结构。


10.根据权利要求1所述的网络结构搜索的方法，其特征在于，所述第一网络结构根据卷积神经网络或循环神经网络构建。

【专利技术属性】
技术研发人员：蒋阳，庞磊，胡湛，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44