网络架构搜索方法、图像分类方法、装置和电子设备制造方法及图纸

本发明专利技术涉及人工智能领域，提供一种网络架构搜索方法、图像分类方法、装置和电子设备，其中搜索方法包括：获取初始网络结构，并基于所述初始网络结构的各结构参数，确定搜索空间；基于所述搜索空间搭建超网络，并基于第一样本图像对所述超网络进行预训练，得到预训练超网络的预训练权重；基于当前演化代数下候选突变操作的自适应概率分布，采用演化算法对当前演化代数下的网络结构进行搜索优化，得到下一演化代数下的网络结构，直至停止演化，得到目标网络结构。本发明专利技术提供的网络架构搜索方法、图像分类方法、装置和电子设备，提高了搜索效率，可以稳定且高效地实现对高性能的小规模ViT网络的优化。络的优化。络的优化。

【技术实现步骤摘要】
网络架构搜索方法、图像分类方法、装置和电子设备


[0001]本专利技术涉及人工智能
，尤其涉及一种网络架构搜索方法、图像分类方法、装置和电子设备。

技术介绍

[0002]网络架构搜索(Neural Architecture Search，NAS)是一种构造神经网络模型的方法，该方法能够自动进行调参，大大缩减了人工调节超参数时间。
[0003]ViT(Vision Transformer)网络结构通常是将图像划分为多个固定大小的图像块，然后通过自注意力机制学习各图像块之间的关系，提取与目标任务相关的特征信息，从而在多个视觉任务中展现了出色的图像理解能力。然而，ViT网络结构在模型参数较小的情况下依然表现欠佳。
[0004]因此，亟需一种网络架构搜索方法实现对高性能的小规模ViT网络结构的优化。

技术实现思路

[0005]本专利技术提供一种网络架构搜索方法、图像分类方法、装置和电子设备，用以解决现有技术中ViT网络结构在模型参数较小的情况下依然表现欠佳的缺陷。
[0006]本专利技术提供一种网络架构搜索方法，包括：
[0007]获取初始网络结构，并基于所述初始网络结构的各结构参数，确定搜索空间；
[0008]基于所述搜索空间搭建超网络，并基于第一样本图像对所述超网络进行预训练，得到预训练超网络的预训练权重；
[0009]基于当前演化代数下候选突变操作的自适应概率分布，采用演化算法对当前演化代数下的网络结构进行搜索优化，得到下一演化代数下的网络结构，直至停止演化，得到目标网络结构；
[0010]其中，所述当前演化代数下候选突变操作的自适应概率分布，基于所述预训练权重，对上一演化代数下的网络结构进行性能评测确定；首次演化代数下的网络结构候基于所述演化算法的初始化种群和所述超网络确定。
[0011]根据本专利技术提供的网络架构搜索方法，所述当前演化代数下候选突变操作的自适应概率分布的确定步骤包括：
[0012]基于所述预训练权重，对上一演化代数下的网络结构进行性能评测，得到上一演化代数下的性能评测结果；
[0013]基于所述上一演化代数下的性能评测结果，更新上一演化代数下候选突变操作的排序概率分布，得到当前演化代数下候选突变操作的排序概率分布；
[0014]基于所述当前演化代数下候选突变操作的排序概率分布，确定当前演化代数下候选突变操作的自适应概率分布。
[0015]根据本专利技术提供的网络架构搜索方法，所述基于所述上一演化代数下的性能评测结果，更新上一演化代数下候选突变操作的排序概率分布，得到当前演化代数下候选突变
操作的排序概率分布，包括：
[0016]对所述上一演化代数下的性能评测结果进行排序，基于排序结果确定预设数量个候选网络结构；
[0017]基于各候选突变操作在所述预设数量个候选网络结构中出现的次数，确定当前演化代数下的排序概率分布。
[0018]根据本专利技术提供的网络架构搜索方法，所述基于所述当前演化代数下候选突变操作的排序概率分布，确定当前演化代数下候选突变操作的自适应概率分布，包括：
[0019]基于所述当前演化代数下候选突变操作的排序概率分布、均匀概率分布和当前演化代数，确定当前演化代数下候选突变操作的自适应概率分布，所述均匀概率分布基于候选突变操作的数量确定。
[0020]根据本专利技术提供的网络架构搜索方法，所述初始网络结构包括Transformer编码器和宽度注意力模块，所述Transformer编码器包括多个Transformer模块，所述宽度注意力模块包括宽度连接和无参数注意力。
[0021]根据本专利技术提供的网络架构搜索方法，所述搜索空间包括注意力头数量、Transformer模块的数量、特征维度、多层感知机比率和宽度连接参数。
[0022]本专利技术还提供一种图像分类方法，包括：
[0023]确定待分类图像；
[0024]基于图像分类模型，对所述待分类图像进行图像分类，得到分类结果；
[0025]其中，所述图像分类模型基于第二样本图像，对目标网络结构进行训练得到，所述目标网络结构是基于所述的网络架构搜索方法确定。
[0026]本专利技术还提供一种网络架构搜索装置，包括：
[0027]搜索空间确定单元，用于获取初始网络结构，并基于所述初始网络结构的各结构参数，确定搜索空间；
[0028]预训练单元，用于基于所述搜索空间搭建超网络，并基于第一样本图像对所述超网络进行预训练，得到预训练超网络的预训练权重；
[0029]搜索优化单元，用于基于当前演化代数下候选突变操作的自适应概率分布，采用演化算法对当前演化代数下的网络结构进行搜索优化，得到下一演化代数下的网络结构，直至停止演化，得到目标网络结构；
[0030]其中，所述当前演化代数下候选突变操作的自适应概率分布，基于所述预训练权重，对上一演化代数下的网络结构进行性能评测确定；首次演化代数下的网络结构候基于所述演化算法的初始化种群和所述超网络确定。
[0031]本专利技术还提供一种图像分类装置，包括：
[0032]图像确定单元，用于确定待分类图像；
[0033]图像分类单元，用于基于图像分类模型，对所述待分类图像进行图像分类，得到分类结果；
[0034]其中，所述图像分类模型基于第二样本图像，对目标网络结构进行训练得到，所述目标网络结构是基于所述网络架构搜索方法确定。
[0035]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述网络架构搜索
方法，或图像分类方法。
[0036]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述网络架构搜索方法，或图像分类方法。
[0037]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述网络架构搜索方法，或图像分类方法。
[0038]本专利技术提供的网络架构搜索方法、图像分类方法、装置和电子设备，在传统演化算法的基础上，加入候选突变操作概率分布的自适应学习，相比于传统演化算法提高了搜索效率，可以稳定且高效地实现对高性能的小规模ViT网络的优化。
附图说明
[0039]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是本专利技术提供的网络架构搜索方法的流程示意图之一；
[0041]图2是本专利技术提供的金字塔型宽度ViT中的宽度连接范式；
[0042]图3是本专利技术提供的网络架构搜索方法的流程示意图之二；
[0043]图4是本专利技术提供的网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络架构搜索方法，其特征在于，包括：获取初始网络结构，并基于所述初始网络结构的各结构参数，确定搜索空间；基于所述搜索空间搭建超网络，并基于第一样本图像对所述超网络进行预训练，得到预训练超网络的预训练权重；基于当前演化代数下候选突变操作的自适应概率分布，采用演化算法对当前演化代数下的网络结构进行搜索优化，得到下一演化代数下的网络结构，直至停止演化，得到目标网络结构；其中，所述当前演化代数下候选突变操作的自适应概率分布，基于所述预训练权重，对上一演化代数下的网络结构进行性能评测确定；首次演化代数下的网络结构候基于所述演化算法的初始化种群和所述超网络确定。2.根据权利要求1所述的网络架构搜索方法，其特征在于，所述当前演化代数下候选突变操作的自适应概率分布的确定步骤包括：基于所述预训练权重，对上一演化代数下的网络结构进行性能评测，得到上一演化代数下的性能评测结果；基于所述上一演化代数下的性能评测结果，更新上一演化代数下候选突变操作的排序概率分布，得到当前演化代数下候选突变操作的排序概率分布；基于所述当前演化代数下候选突变操作的排序概率分布，确定当前演化代数下候选突变操作的自适应概率分布。3.根据权利要求2所述的网络架构搜索方法，其特征在于，所述基于所述上一演化代数下的性能评测结果，更新上一演化代数下候选突变操作的排序概率分布，得到当前演化代数下候选突变操作的排序概率分布，包括：对所述上一演化代数下的性能评测结果进行排序，基于排序结果确定预设数量个候选网络结构；基于各候选突变操作在所述预设数量个候选网络结构中出现的次数，确定当前演化代数下的排序概率分布。4.根据权利要求2所述的网络架构搜索方法，其特征在于，所述基于所述当前演化代数下候选突变操作的排序概率分布，确定当前演化代数下候选突变操作的自适应概率分布，包括：基于所述当前演化代数下候选突变操作的排序概率分布、均匀概率分布和当前演化代数，确定当前演化代数下候选突变操作的自适应概率分布，所述均匀概率分布基于候选突变操作的数量确定。5.根据权利要求1
‑
4中任一项所述的网络架构搜索方法，其特征在于，所述初始网络结构包括T...

【专利技术属性】
技术研发人员：陈亚冉，李楠楠，赵冬斌，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：