神经网络架构搜索方法、图像处理方法、装置和存储介质制造方法及图纸

本申请提供了神经网络架构的搜索方法、图像处理方法、装置和存储介质。涉及人工智能领域，具体涉及计算机视觉领域。该方法包括：确定搜索空间和多个构建单元，并对该多个构建单元进行堆叠，以得到第一阶段的初始神经网络架构，然后对第一阶段的初始神经网络架构进行优化，直至收敛；在得到第一阶段优化后的初始神经网络架构之后，再对第二阶段的初始神经网络架构进行优化，直至收敛，以得到优化后的构建单元，最后再根据优化后的构建单元搭建目标神经网络。其中，第一阶段的初始神经网络架构和第二阶段的初始神经网络架构中的每条边分别对应一类操作和多种操作组成的混合操作符，本申请能够搜索得到性能更好的目标神经网络。申请能够搜索得到性能更好的目标神经网络。申请能够搜索得到性能更好的目标神经网络。

【技术实现步骤摘要】
神经网络架构搜索方法、图像处理方法、装置和存储介质


[0001]本申请涉及人工智能领域，并且更具体地，涉及一种神经网络架构的搜索方法、图像处理方法、装置和存储介质。

技术介绍

[0002]人工智能(artificial intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索， AI基础理论等。
[0003]随着人工智能技术的快速发展，神经网络(例如，深度神经网络)近年来在图像、视频以及语音等多种媒体信号的处理与分析中取得了很大的成就。一个性能优良的神经网络往往拥有精妙的网络结构，而这需要具有高超技能和丰富经验的人类专家花费大量精力进行构建。为了更好地构建神经网络，人们提出了通过神经网络架构(结构)搜索(neural architecture search，NAS)的方法来搭建神经网络，通过自动化地搜索神经网络架构，从而得到性能优异的神经网络架构。因此，如何通过神经网络架构搜索得到一个性能较好的神经网络架构是一个比较重要的问题。

技术实现思路

[0004]本申请提供一种神经网络架构的搜索方法、图像处理方法、装置和存储介质，以搜索得到性能更好的神经网络。
[0005]第一方面，提供了一种神经网络架构的搜索方法，该方法包括：确定搜索空间和多个构建单元；对上述多个构建单元进行堆叠，以得到第一阶段的初始神经网络架构；接下来，对第一阶段的初始神经网络架构进行优化，直至收敛，以得到第一阶段优化后的初始神经网络架构；获取第二阶段的初始神经网络架构，并对第二阶段的初始神经网络架构进行优化，直至收敛，以得到优化后的构建单元；最后再根据优化后的构建单元搭建目标神经网络。
[0006]其中，上述搜索空间包括多组备选操作符，每组备选操作符包括至少一个操作符，并且每组备选操作符包括的操作符的种类相同(每组操作符中的至少一个操作符属于同一种类的操作符)。
[0007]上述多个构建单元中的每个构建单元是由多个节点之间通过神经网络的基本操作符连接得到的网络结构，上述多个构建单元中的每个构建单元的节点之间的连接形成边。
[0008]上述第一阶段的初始神经网络架构和第二阶段的初始神经网络架构的结构相同，
具体地，上述第一阶段的初始神经网络架构包括的构建单元的种类和数量与第二阶段的初始神经网络架构包括的构建单元的种类和数量相同，并且第一阶段的初始神经网络架构中的第 i个构建单元的结构与第二阶段的初始神经网络架构中的第i个构建单元的结构完全相同， i为正整数。
[0009]上述第一阶段的初始神经网络架构和第二阶段的初始神经网络架构的区别在于对应构建单元中相应边对应的备选操作符不同。
[0010]具体地，上述第一阶段的初始神经网络架构中的每个构建单元的每条边对应多个备选操作符，该多个备选操作符中的每一个备选操作符对应来自多组备选操作符中的一组。
[0011]可选地，上述搜索空间由M组备选操作符组成(搜索空间共包括M组备选操作符)，上述第一阶段的初始神经网络架构中的每个构建单元的每条边对应M个备选操作符，该 M个备选操作符分别来自搜索空间中的M组备选操作符。
[0012]也就是说，从M组备选操作符的每组备选操作符中选择一个备选操作符，从而得到 M个备选操作符。上述M为大于1的整数。
[0013]例如，上述搜索空间共包括4组备选操作符，那么，第一阶段的初始神经网络架构中的每个构建单元的每条边可以对应4个备选操作符，该4个备选操作符分别来自于上述4 组备选操作符(每组备选操作符中选择1个备选操作符，以得到该4个备选操作符)。
[0014]上述第二阶段的初始神经网络架构中的第i个构建单元中的第j条边对应的混合操作符由上述第一阶段优化后的初始神经网络架构中的第k组备选操作符中的全部操作符组成，该第k组备选操作符为上述第一阶段优化后的初始神经网络架构中的第i个构建单元中的第j条边对应的多个备选操作符中权重最大的操作符所在的一组备选操作符，i、j和 k均为正整数；
[0015]上述优化后的构建单元可以称为最优构建单元，该优化后的构建单元用于搭建或者堆叠需要的目标神经网络。
[0016]本申请中，在进行神经网络架构搜索的过程中，通过在第一个阶段的优化过程中确定每个构建单元的每条边应该采用哪一类备选操作符，在第二个阶段中优化过程中确定每个构建单元的每条边应该采用具体哪一个备选操作符，能够避免出现多重共线性的问题，可以根据优化后的构建单元搭建出性能更好的目标神经网络。
[0017]结合第一方面，在第一方面的某些实现方式中，上述多组备选操作符包括：
[0018]第一组备选操作符：3x3最大池化操作，3x3平均池化操作；
[0019]第二组备选操作符：跳连操作；
[0020]第三组备选操作符：3x3分离卷积操作，5x5分离卷积操作；
[0021]第四组备选操作符：3x3空洞可分离卷积操作，5x5空洞可分离卷积操作。
[0022]例如，对于上述第一阶段的初始神经网络架构来说，每个构建单元的每条边对应的多个备选操作符可以包括3x3最大池化操作，跳连操作，3x3分离卷积操作和3x3空洞可分离卷积操作。
[0023]再如，对于第一阶段优化后的初始神经网络架构来说，第i个构建单元中的第j条边中权重最大的操作符为3x3最大池化操作，那么，对于第二阶段优化后的初始神经网络架构来说，第i个构建单元中的第j条边对应的备选操作符是3x3最大池化操作和3x3平均池化
操作组成的混合操作符。
[0024]接下来，在对第二阶段的初始神经网络架构进行优化的过程中，要确定第二阶段的初始神经网络架构中的第i个构建单元中的第j条边上的3x3最大池化操作和3x3平均池化操作各自的权重，然后再选择权重最大的操作符作为第i个构建单元中的第j条边上的操作符。
[0025]结合第一方面，在第一方面的某些实现方式中，上述方法还包括：对所述搜索空间中的多个备选操作符进行聚类处理，以得到所述多组备选操作符。
[0026]上述对搜索空间中的多个备选操作符进行聚类处理可以是将搜索空间中的多个备选操作符划分成不同的类别，每个类别的备选操作符构成一组备选操作符。
[0027]可选地，上述对搜索空间中的多个备选操作符进行聚类处理，以得到多组备选操作符，包括：对搜索空间中的多个备选操作符进行聚类处理，以得到搜索空间中的多个备选操作符之间的相关关系；根据搜索空间中的多个备选操作符之间的相关关系对搜索空间中的多个备选操作符进行分组，以得到上述多组备选操作符。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络架构的搜索方法，其特征在于，包括：确定搜索空间和多个构建单元，所述搜索空间包括多组备选操作符，每组备选操作符包含的操作符的种类相同，所述多个构建单元中的每个构建单元是由多个节点之间通过神经网络的基本操作符连接得到的网络结构，所述多个构建单元中的每个构建单元的节点之间的连接形成边；对所述多个构建单元进行堆叠，以得到第一阶段的初始神经网络架构，所述第一阶段的初始神经网络架构中的每个构建单元的每条边对应多个备选操作符，所述多个备选操作符中的每一个备选操作符对应来自所述多组备选操作符中的一组；对所述第一阶段的初始神经网络架构进行优化，直至收敛，以得到第一阶段优化后的初始神经网络架构；获取第二阶段的初始神经网络架构，所述第二阶段的初始神经网络架构中的第i个构建单元中的第j条边对应的混合操作符由所述第一阶段优化后的初始神经网络架构中的第k组备选操作符中的全部操作符组成，所述第k组备选操作符为所述第一阶段优化后的初始神经网络架构中的第i个构建单元中的第j条边对应的多个备选操作符中权重最大的操作符所在的一组备选操作符，i、j和k均为正整数；对第二阶段的初始神经网络架构进行优化，直至收敛，以得到优化后的构建单元；根据所述优化后的构建单元搭建目标神经网络。2.如权利要求1所述的搜索方法，其特征在于，所述搜索方法还包括：对所述搜索空间中的多个备选操作符进行聚类处理，以得到所述多组备选操作符。3.如权利要求1或2所述的搜索方法，其特征在于，所述搜索方法还包括：从所述多组备选操作符的每组备选操作符中选择一个操作符，以得到所述第一阶段的初始神经网络架构中的每个构建单元的每条边对应的所述多个备选操作符。4.如权利要求3所述的搜索方法，其特征在于，所述搜索方法还包括：确定所述第一阶段的初始神经网络架构中的每个构建单元的每条边中权重最大的操作符；将所述第一阶段的初始神经网络架构中的第i个构建单元中的第j条边中权重最大的操作符所在的一组备选操作符中的全部备选操作符组成的混合操作符，确定为所述第二阶段的初始神经网络架构中的第i个构建单元中的第j条边对应的备选操作符。5.如权利要求1-4中任一项所述的搜索方法，其特征在于，所述多组备选操作符包括：第一组备选操作符：3x3最大池化操作，3x3平均池化操作；第二组备选操作符：跳连操作；第三组备选操作符：3x3分离卷积操作，5x5分离卷积操作；第四组备选操作符：3x3空洞可分离卷积操作，5x5空洞可分离卷积操作。6.如权利要求1-5中任一项所述的搜索方法，其特征在于，所述对所述第一阶段的初始神经网络架构进行优化，直至收敛，以得到优化后的构建单元，包括：采用相同的训练数据对所述第一阶段的初始神经网络架构中的构建单元的网络架构参数和网络模型参数分别进行优化，直至收敛，以得到第一阶段优化后的初始神经网络架构；和/或所述对所述第二阶段的初始神经网络架构进行优化，直至收敛，以得到优化后的构建
单元，包括：采用相同的训练数据对所述第二阶段的初始神经网络架构中的构建单元的网络架构参数和网络模型参数分别进行优化，直至收敛，以得到优化后的构建单元。7.一种神经网络架构的搜索方法，其特征在于，包括：确定搜索空间和多个构建单元，所述多个构建单元中的每个构建单元是由多个节点之间通过神经网络的基本操作符连接得到的网络结构；堆叠所述多个构建单元，得到搜索网络；在所述搜索空间内采用相同的训练数据对所述搜索网络中的构建单元的网络架构参数和网络模型参数分别进行优化，得到优化后的构建单元；根据所述优化后的构建单元搭建目标神经网络。8.如权利要求7所述的搜索方法，其特征在于，在所述搜索空间内采用相同的训练数据对所述搜索网络中的构建单元的网络架构参数和网络模型参数分别进行优化，得到优化后的构建单元，包括：根据相同的训练数据并采用公式确定所述搜索网络中的构建单元优化后的网络架构参数和优化后的网络模型参数；参数和优化后的网络模型参数；其中，α
t
和w
t
分别表示对所述搜索网络中的构建单元进行第t步优化后的网络架构参数和网络模型参数，α
t-1
和w
t-1
分别表示对所述搜索网络中的构建单元进行第t-1步优化后的网络架构参数和网络模型参数，η
t
和δ
t
分别表示对所述搜索网络中的构建单元进行第t步优化时网络架构参数和网络模型参数的学习率，L
train
(w
t-1
,α
t-1
)表示测试集上损失函数在第t步优化时的损失函数值，表示测试集上损失函数在第t步优化时对α的梯度，表示测试集上损失函数在第t步优化时对w的梯度。9.一种神经网络架构搜索装置，其特征在于，包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行以下过程：确定搜索空间和多个构建单元，所述搜索空间包括多组备选操作符，每组备选操作符包含的操作符的种类相同，所述多个构建...

【专利技术属性】
技术研发人员：李桂林，李震国，张星，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：