一种神经网络结构确定方法及其装置制造方法及图纸

本申请公开了一种神经网络结构确定方法，包括：获取第一神经网络中主干网络的结构参数，以及所述第一神经网络的任务处理精度，所述第一神经网络用于实现目标任务；至少根据所述主干网络的结构参数以及所述任务处理精度，确定目标编码，所述目标编码用于表示所述目标任务；根据所述目标编码，确定主干网络的多种候选网络的结构参数的概率；以及根据所述多种候选网络的结构参数的概率，确定目标神经网络，所述目标神经网络包括所述多种候选网络结构中的一种，且所述目标神经网络的任务处理精度大于阈值，所述目标神经网络用于实现所述目标任务。本申请不需要很多的迭代次数，就可以选择出适配于神经网络需要实现的任务类型的网络结构。

【技术实现步骤摘要】
一种神经网络结构确定方法及其装置
本申请涉及人工智能领域，尤其涉及一种神经网络结构确定方法及其装置。
技术介绍
机器学习(machinelearning，ML)近年来取得了相当大的成功，越来越多机器学习衍生的产品正在使人们的生活发生翻天覆地的变化。但是当前机器学习的进展依赖于ML专家手动对模型进行繁冗的设计和调试，这不仅限制了机器学习的广泛应用，也延长了产品的迭代周期。随着人工智能技术的快速发展，一个性能优良的神经网络往往拥有精妙的网络结构，而这需要具有高超技能和丰富经验的人类专家花费大量精力进行构建。为了更好地构建神经网络，人们提出了通过神经网络结构搜索(neuralarchitecturesearch，NAS)的方法来搭建神经网络，通过自动化地搜索神经网络结构，从而得到性能优异的神经网络结构。神经网络架构搜索(NAS)在很多任务上(如图片分类、物体检测、语义分割等)取得了巨大的成功。然而，NAS算法在实际应用中将会遇到各种各样的数据集或任务，现有的实现中，每次针对不同的任务的神经网络进行NAS时，需要重新搜索，迭代过程较多，本文档来自技高网...

【技术保护点】
1.一种神经网络结构确定方法，其特征在于，所述方法包括：/n获取第一神经网络中主干网络的结构参数，以及所述第一神经网络的任务处理精度，所述第一神经网络用于实现目标任务；/n至少根据所述主干网络的结构参数以及所述任务处理精度，确定目标编码，所述目标编码用于表示所述目标任务；/n根据所述目标编码，确定主干网络的多种候选网络的结构参数的概率；以及/n根据所述多种候选网络的结构参数的概率，确定目标神经网络，所述目标神经网络包括所述多种候选网络结构中的一种，且所述目标神经网络的任务处理精度大于阈值，所述目标神经网络用于实现所述目标任务。/n

【技术特征摘要】
1.一种神经网络结构确定方法，其特征在于，所述方法包括：
获取第一神经网络中主干网络的结构参数，以及所述第一神经网络的任务处理精度，所述第一神经网络用于实现目标任务；
至少根据所述主干网络的结构参数以及所述任务处理精度，确定目标编码，所述目标编码用于表示所述目标任务；
根据所述目标编码，确定主干网络的多种候选网络的结构参数的概率；以及
根据所述多种候选网络的结构参数的概率，确定目标神经网络，所述目标神经网络包括所述多种候选网络结构中的一种，且所述目标神经网络的任务处理精度大于阈值，所述目标神经网络用于实现所述目标任务。


2.根据权利要求1所述的方法，其特征在于，所述根据所述多种候选网络的结构参数的概率，确定目标神经网络，包括：
根据所述多种候选网络的结构参数的概率，采样M个候选结构，以得到M个第二神经网络；其中，每种候选结构用于作为一个第二神经网络的主干网络，所述第二神经网络用于实现所述目标任务；
获取所述M个第二神经网络的任务处理精度，并根据所述M个第二神经网络的任务处理精度从所述M个第二神经网络中选择所述目标神经网络。


3.根据权利要求1或2所述的方法，其特征在于，所述目标任务包括如下的至少一种：图片分类、物体检测、语义分割、室内布局(roomlayout)、图片补全或自动编码。


4.根据权利要求1至3任一所述的方法，其特征在于，所述主干网络的结构参数包括如下的至少一种：主干网络的深度、主干网络的宽度、主干网络生成的特征图的尺寸的数量、主干网络生成相同尺寸特征图的神经网络层数量、主干网络的神经网络层之间的连接关系或主干网络的神经网络层的类型。


5.根据权利要求1至4任一所述的方法，其特征在于，所述候选网络的结构参数包括如下的至少一种：主干网络的深度、主干网络的宽度、主干网络生成的特征图的尺寸的数量、主干网络生成相同尺寸特征图的神经网络层数量、主干网络的神经网络层之间的连接关系或主干网络的神经网络层的类型。


6.根据权利要求1至5任一所述的方法，其特征在于，所述第一神经网络为基于目标训练数据训练得到的，所述目标编码用于表示所述目标任务和所述目标训练数据。


7.根据权利要求1至6任一所述的方法，其特征在于，所述目标神经网络为当前迭代过程中选择的，所述方法还包括：
对所述目标神经网络进行训练，得到训练后的目标神经网络；所述训练后的目标神经网络用于作为下一次迭代过程中，目标编码的确定依据。


8.根据权利要求1至7任一所述的方法，其特征在于，所述至少根据所述主干网络的结构参数以及所述任务处理精度，确定目标编码，包括：
至少根据所述主干网络的结构参数以及所述任务处理精度，获取分布参数，所述分布参数表示编码的概率分布；根据所述编码的概率分布，采样得到所述目标编码。


9.根据权利要求1至8任一所述的方法，其特征在于，所述至少根据所述主干网络的结构参数以及所述任务处理精度，获取分布参数，包括：
获取预先训练好的任务编码网络；
至少将所述主干网络的结构参数以及所述任务处理精度作为所述任务编码网络的输入数据，得到所述分布参数。


10.根据权利要求8或9所述的方法，其特征在于，所述分布参数包括高斯分布的平均值和方差。


11.根据权利要求1至10任一所述的方法，其特征在于，所述根据所述目标编码，确定主干网络的多种候选网络的结构参数的概率，包括：
获取预先训练好的概率分布生成网络；
将所述目标编码作为所述概率分布生成网络的输入数据，得到所述主干网络的多种候选网络的结构参数的概率。


12.根据权利要求2至11任一所述的方法，其特征在于，所述获取所述M个第二神经网络的任务处理精度，包括：
获取预训练的精度评估网络；
将所述M个第二神经网络中包括的主干网络的结构参数和所述目标编码作为所述精度评估网络的输入数据，得到所述M个第二神经网络的任务处理精度。


13.根据权利要求2至12任一所述的方法，其特征在于，所述根据所述M个第二神经网络的任务处理精度从所述M个第二神经网络中选择所述目标神经网络，包括：
根据所述M个第二神经网络的任务处理精度，从所述M个第二神经网络中选择任务处理精度最高的第二神经网络作为所述目标神经网络。


14.根据权利要求9至13任一所述的方法，其特征在于，所述任务编码网络、所述概率分布生成网络和所述精度评估网络为服务器训练得到的。


15.根据权利要求9至14任一所述的方法，其特征在于，所述方法还包括：
接收服务器发送的所述任务编码网络、所述概率分布生成网络和所述精度评估网络。


16.一种神经网络结构确定装置，其特征在于，所述...

【专利技术属性】
技术研发人员：陈泽伟，徐航，李震国，梁小丹，张潼，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44