一种跨领域的神经评价方法、电子设备及可读储存介质技术

本发明专利技术公开了一种跨领域的神经评价方法、电子设备及可读储存介质，涉及神经架构搜索领域，方法包括步骤：构建编码源架构空间、助教架构空间和目标架构空间；通过编码源架构空间、助教架构空间和目标架构空间对跨领域神经评价器进行训练；将目标架构空间中的神经架构作为训练后的跨领域神经评价器的输入，评价目标架构空间中全部神经架构的性能值，完成跨领域神经评价。本方法采用助教架构空间作为源架构空间和目标架构空间之间的桥梁，使得源架构空间迁移到目标空间更加顺畅，通过子空间划分方式，最终实现跨领域神经评价，同时使得评价更加准确。加准确。加准确。

【技术实现步骤摘要】
一种跨领域的神经评价方法、电子设备及可读储存介质


[0001]本专利技术涉及神经架构搜索领域，具体涉及一种跨领域的神经评价方法、电子设备及可读储存介质。

技术介绍

[0002]神经架构搜索(NAS)可以自动地为手头任务设计有希望的架构用于实际应用的深度神经网络，例如在图像分类、语言建模和医学图像分割等应用领域。近年来，许多通过NAS方法搜索的架构都可以超越那些人工设计的网络性能。通常，执行NAS方法通常需要上百个GPU运行一周甚至一个月，这些时间都是花费在了神经架构的性能评估上。很不幸的是，这么多的计算资源不是大多数感兴趣的研究人员和企业都可以得到的。因此，NAS研究人员越来越关注通过开发加速评估方法来提高NAS的搜索速率，使得在可接受的搜索成本内完成搜索。
[0003]一般来说，现有的大部分加速方法的设计基于以下几种策略：减少搜索空间，搜索一个小型代理数据集，利用蒙特卡罗在有前景的区域中搜索树，以及共享权重(即权重共享)。其中，权重共享是NAS社区中最为广泛使用的加速方法。它预先训练一个手动设计的超网络，然后在超网络中搜索子网络。相同分量的权重可以在不同子网络和训练的超网络之间共享而无需进一步训练，从而使NAS的效率大大提高。在权重共享的帮助下，许多NAS方法将他们的计算开销从数千GPU Days减少到几个GPU Days，例如DARTS。甚至没有超过一个GPU Day，例如，PC
‑
DARTS。然而，权重共享还遭受性能不稳定和强烈的性能崩溃，严重限制了它的应用。
[0004]神经评价器是另一种类型的加速方法，它可以直接估计神经架构的性能而不需要任何训练。这是一个很有前景的研究方向，并研究学者在这方面开展了大量的相关研究。例如，E2EPP采用随机森林作为神经评价器并大大减少了NAS中所需的时间。SSANA使用图卷积网络(GCN)作为神经评价器并充分利用未标记的架构，以改进评价精度。一般来说，神经评价器需要首先在目标搜索空间中采样足够的架构，即在NAS方法的搜索空间采样，然后完全训练这些架构以获得它们的性能。最后，使用架构及其性能组成训练数据集以构建评价器。在实践中，至少需要采样数百个带标注的架构以保证较为准确的评价。因此，神经评价器仍然需要大量的计算成本，这主要来源于需要采样架构并对它们进行训练。
[0005]目前有很多用于NAS研究的基准数据集，例如NAS
‑
Bench
‑
101，NAS
‑
Bench
‑
201，NAS
‑
Bench
‑
nlp，NAS
‑
Bench
‑
ASR等。这些数据集拥有大量的从头开始训练的架构的实际性能，具备不需要其他标注数据就能构建神经评价器的潜力。然而，这些数据集的搜索空间相对较小，也不同于当前流行的搜索空间，即最先进的NAS算法的搜索空间，如DARTS和ProxylessNAS这些搜索空间。因此，这些训练好的基准架构不能直接用于构建神经评价器，更不能应用在跨领域的神经架构的评价上。

技术实现思路

[0006]针对现有技术中的上述不足，本专利技术提供的一种跨领域的神经评价方法、电子设备及可读储存介质解决了现有架构不能应用在跨领域的神经架构的评价上的问题。
[0007]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0008]提供一种跨领域的神经评价方法，其包括以下步骤：
[0009]S1、确定目标领域，分别构建源架构空间、助教架构空间和目标架构空间，记世代次数为1，初始化特征提取网络和回归假设模型；
[0010]其中源架构空间、助教架构空间和目标架构空间中均包含若干神经架构；源架构空间中的神经架构为用于目标领域中已知性能值的神经架构；助教架构空间和目标架构空间中的神经架构均为用于其他领域中的神经架构；
[0011]S2、对源架构空间、助教架构空间和目标架构空间中的神经架构进行统一编码，分别得到编码后的源架构、编码后的助教架构和编码后的目标架构；
[0012]S3、判断当前世代次数是否小于等于第一设定值，若是则进入步骤S4；否则进入步骤S11；
[0013]S4、通过当前特征提取网络分别获取编码后的源架构的特征和编码后的助教架构的特征；即分别得到源架构特征和助教架构特征；
[0014]S5、基于源架构特征和助教架构特征，通过当前回归假设模型分别评价源架构空间和助教架构空间中各架构的性能值，得到源架构空间和助教架构空间中各架构的性能评价值；
[0015]S6、根据当前的世代数分别更新源架构空间和助教架构空间中神经架构的类别数；根据类别数和性能评价值分别将源架构空间和助教架构空间划分为若干子空间；其中神经架构所在子空间的类别数为该神经架构的类别数值；
[0016]S7、基于子空间中神经架构的类别数值获取对应架构特征的权重；
[0017]S8、将源架构特征、助教架构特征和架构特征的权重进行LMMD计算，得到LMMD计算值；
[0018]S9、根据架构特征的性能值和对应的LMMD计算值构建目标函数，以目标函数最小为目的更新特征提取网络和回归假设模型中的参数；
[0019]S10、将当前世代次数加1，返回步骤S3；
[0020]S11、将编码后的助教架构替换为编码后的目标架构，将助教架构空间替换为目标架构空间，采用与步骤S3至步骤S10相同的方法更新当前特征提取网络和回归假设模型中的参数，直至当前世代次数达到第二设定值，将当前特征提取网络和回归假设模型作为训练后的跨领域神经评价器；
[0021]S12、将目标架构空间中的神经架构作为训练后的跨领域神经评价器的输入，评价目标架构空间中全部神经架构在目标领域中的性能值，完成跨领域神经评价。
[0022]进一步地，步骤S1中目标领域包括：图像分类、图像识别、情感分析、语义分析、文本分类、语音识别和机器翻译；
[0023]步骤S1中分别构建源架构空间、助教架构空间和目标架构空间的具体方法为：
[0024]根据目标领域获取设计神经架构的目的，选择用于实现该目的同类型的已知性能值的神经架构，得到源架构空间；
[0025]将DARTS空间作为目标架构空间；
[0026]将DARTS空间中架构的中间节点数从4调整到3，得到助教架构空间。
[0027]进一步地，步骤S2中进行统一编码的具体方法包括以下子步骤：
[0028]S2
‑
1、统一不同神经架构中输入操作的数量：将具有2个及以上输入操作的神经架构通过删除输入操作的方式调整为多个单输入神经架构；
[0029]S2
‑
2、获取通过调整得到的单输入神经架构的拓扑结构；
[0030]S2
‑
3、通过单输入神经架构的拓扑结构获取对应的模板邻接矩阵；
[0031]S2
‑
4、通过跳过连接和归零操作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨领域的神经评价方法，其特征在于，包括以下步骤：S1、确定目标领域，分别构建源架构空间、助教架构空间和目标架构空间，记世代次数为1，初始化特征提取网络和回归假设模型；其中源架构空间、助教架构空间和目标架构空间中均包含若干神经架构；源架构空间中的神经架构为用于目标领域中已知性能值的神经架构；助教架构空间和目标架构空间中的神经架构均为用于其他领域中的神经架构；S2、对源架构空间、助教架构空间和目标架构空间中的神经架构进行统一编码，分别得到编码后的源架构、编码后的助教架构和编码后的目标架构；S3、判断当前世代次数是否小于等于第一设定值，若是则进入步骤S4；否则进入步骤S11；S4、通过当前特征提取网络分别获取编码后的源架构的特征和编码后的助教架构的特征；即分别得到源架构特征和助教架构特征；S5、基于源架构特征和助教架构特征，通过当前回归假设模型分别评价源架构空间和助教架构空间中各架构的性能值，得到源架构空间和助教架构空间中各架构的性能评价值；S6、根据当前的世代数分别更新源架构空间和助教架构空间中神经架构的类别数；根据类别数和性能评价值分别将源架构空间和助教架构空间划分为若干子空间；其中神经架构所在子空间的类别数为该神经架构的类别数值；S7、基于子空间中神经架构的类别数值获取对应架构特征的权重；S8、将源架构特征、助教架构特征和架构特征的权重进行LMMD计算，得到LMMD计算值；S9、根据架构特征的性能值和对应的LMMD计算值构建目标函数，以目标函数最小为目的更新特征提取网络和回归假设模型中的参数；S10、将当前世代次数加1，返回步骤S3；S11、将编码后的助教架构替换为编码后的目标架构，将助教架构空间替换为目标架构空间，采用与步骤S3至步骤S10相同的方法更新当前特征提取网络和回归假设模型中的参数，直至当前世代次数达到第二设定值，将当前特征提取网络和回归假设模型作为训练后的跨领域神经评价器；S12、将目标架构空间中的神经架构作为训练后的跨领域神经评价器的输入，评价目标架构空间中全部神经架构在目标领域中的性能值，完成跨领域神经评价。2.根据权利要求1所述的跨领域的神经评价方法，其特征在于，步骤S1中目标领域包括：图像分类、图像识别、情感分析、语义分析、文本分类、语音识别和机器翻译；步骤S1中分别构建源架构空间、助教架构空间和目标架构空间的具体方法为：根据目标领域获取设计神经架构的目的，选择用于实现该目的同类型的已知性能值的神经架构，得到源架构空间；将DARTS空间作为目标架构空间；将DARTS空间中架构的中间节点数从4调整到3，得到助教架构空间。3.根据权利要求1所述的跨领域的神经评价方法，其特征在于，步骤S2中进行统一编码的具体方法包括以下子步骤：S2
‑
1、统一不同神经架构中输入操作的数量：将具有2个及以上输入操作的神经架构通
过删除输入操作的方式调整为多个单输入神经架构；S2
‑
2、获取通过调整得到的单输入神经架构的拓扑结构；S2
‑
3、通过单输入神经架构的拓扑结构获取对应的模板邻接矩阵；S2
‑
4、通过跳过连接和归零操作修剪模板邻接矩阵，得到预处理后的邻接矩阵；S2
‑
5、在预处理后的邻接矩阵的倒数第二行和倒数第二列中填零，使填零后的所有邻接矩阵大小相同，得到与每个神经架构对应的邻接矩阵；S2
‑
6、采用独热编码对输入、输出、1
×
1卷积、3
×
3卷积、最大池化、平均池化和归零操作进行映射编码；对其余操作类型采用全零编码；得到与每个神经架构对应的操作编码矩阵；其中，同一个神经架构对应的操作编码矩阵中的顺序与该神经架构对应的邻接矩阵每一行每一列的顺序相对应；操作编码矩阵和邻接矩阵构成编码后的架构空间。4.根据权利要求1所述的跨领域的神经评价方法...

【专利技术属性】
技术研发人员：孙亚楠，刘渝桥，吕泽琼，李思毅，
申请(专利权)人：四川大学，
类型：发明
国别省市：