一种网络架构搜索方法和装置制造方法及图纸

本发明专利技术公开了一种网络架构搜索方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：从搜索空间中选取多个网络架构，网络架构包括多个节点以及多种操作类型；根据权重系数分别对拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量；根据第一特征向量确定网络架构对应的性能参数；根据损失函数、性能参数以及网络架构对应的实际性能参数确定目标网络架构。该实施方式缩短了确定目标网络架构的搜索耗时，节约了存储空间、提升了搜索效果，保障了所确定的目标网络架构具备良好的性能、并通过设置节点之间向量信息传送过程中的权重，提高了所确定的网络架构性能时的可解释性、鲁棒性以及可信度。鲁棒性以及可信度。鲁棒性以及可信度。

【技术实现步骤摘要】
一种网络架构搜索方法和装置


[0001]本专利技术涉及计算机
，尤其涉及一种网络架构搜索方法和装置。

技术介绍

[0002]网络架构搜索(Neural Architecture Search，NAS)指在一个预先定义好的搜索空间里，按照指定的策略搜索一个网络结构A。把该网络A用指定的性能评估策略进行评估，然后返回这个网络的评估性能给搜索策略，如此往复，最终找到一个性能优异的网络。其简化了神经网络的设计过程，降低了使用门槛，由此得到的网络，有的可以媲美人类专家，甚至得到一些新型的网络结构。现有的NAS方法主要分为基于强化学习的NAS、基于遗传算法的NAS、基于梯度下降的NAS以及基于预测器的NAS。
[0003]现有技术中至少存在如下问题：
[0004]现有的网络架构搜索方法主要存在搜索时间较长(确定性能较佳的网络架构的耗时较长)、占用较大的存储空间、搜索效果较差(所确定的目标网络架构的性能效果较差)、在预测网络架构的性能时的可解释性、鲁棒性以及可信度较低。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种网络架构搜索方法和装置，能够缩短确定目标网络架构(即性能较佳的网络架构)的搜索耗时，节约存储空间、提升搜索效果，保障所确定的目标网络架构具备良好的性能、并通过设置节点之间向量信息传送过程中的权重，提高所预测(所确定)的网络架构性能时的可解释性、鲁棒性以及可信度。
[0006]为实现上述目的，根据本专利技术实施例的第一方面，提供了一种网络架构搜索方法，包括：r/>[0007]从搜索空间中选取多个网络架构，网络架构包括多个节点以及多种操作类型；其中，网络架构对应的拓扑图中，以操作类型作为拓扑图中连接两节点的边；
[0008]根据权重系数分别对拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量；其中，权重系数是根据进行向量信息传送的节点之间的特征向量的相似度进行确定的；
[0009]根据第一特征向量确定网络架构对应的性能参数；
[0010]根据损失函数、性能参数以及网络架构对应的实际性能参数确定目标网络架构。
[0011]进一步地，根据权重系数分别对拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量，包括：
[0012]根据拓扑图中节点之间向量信息发送的顺序，根据权重系数对第一前驱节点的特征向量进行加权聚合处理，得到第一中间特征向量；
[0013]利用激活函数对第一前驱节点与第一后续节点之间的操作类型进行映射处理；其中，第一后续节点为第一前驱节点对应的向量信息接受方，第一后续节点的数量为至少一个；
[0014]将映射处理结果与第一中间特征向量进行再次加权聚合处理，作为第一后续节点对应的第一特征信息。
[0015]进一步地，在利用激活函数对第一前驱节点与第一后续节点之间的操作类型进行映射处理的步骤之前，方法还包括：
[0016]根据权重矩阵对第一前驱节点与第一后续节点之间的操作类型进行转换处理。
[0017]进一步地，根据权重系数分别对拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量，还包括：
[0018]根据拓扑图中节点之间向量信息发送的顺序，针对第二后续节点，利用激活函数对第二后续节点与第二前驱节点之间的操作类型进行映射处理后，与第二前驱节点的特征向量进行加权聚合处理，得到第二中间信息；其中，第二前驱节点为第二后续节点的向量信息发送方，第二后续节点的数量为至少一个；
[0019]将至少一个第二中间特征向量分别与权重系数进行加权聚合，以确定加权聚合处理后各节点对应的第一特征向量。
[0020]进一步地，在根据权重系数分别对拓扑图中的各节点进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量之后，方法还包括：
[0021]以第一特征向量作为各节点对应的初始特征向量，根据迭代次数阈值对拓扑图中的各节点对应的特征向量进行迭代处理，以实现对第一特征向量的迭代更新。
[0022]进一步地，根据第一特征向量确定网络架构对应的性能参数，包括：
[0023]根据每个网络架构对应的拓扑图中各节点的第一特征向量确定网络架构对应的均值向量；
[0024]利用感知器对均值向量进行处理，以确定网络架构对应的性能参数。
[0025]进一步地，当第一特征向量是经过多次迭代处理时，以每次迭代后的网络架构为一层；根据第一特征向量确定网络架构对应的性能参数，还包括：
[0026]针对任一网络架构，分别根据每一层网络架构对应的拓扑图中各节点的第一特征向量确定网络架构对应的均值向量；
[0027]将每一层网络架构对应的均值向量与层权重进行加权，利用多层感知器对加权结果进行处理，以确定网络架构对应的性能参数。
[0028]根据本专利技术实施例的第二方面，提供了一种网络架构搜索装置，包括：
[0029]选取模块，用于从搜索空间中选取多个网络架构，网络架构包括多个节点以及多种操作类型；其中，网络架构对应的拓扑图中，以操作类型作为拓扑图中连接两节点的边；
[0030]加权聚合模块，用于根据权重系数分别对拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量；其中，权重系数是根据进行向量信息传送的节点之间的特征向量的相似度进行确定的；
[0031]性能参数确定模块，用于根据第一特征向量确定网络架构对应的性能参数；
[0032]目标网络架构确定模块，用于根据损失函数、性能参数以及网络架构对应的实际性能参数确定目标网络架构。
[0033]根据本专利技术实施例的第三方面，提供了一种电子设备，包括：
[0034]一个或多个处理器；
[0035]存储装置，用于存储一个或多个程序，
[0036]当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述任一种网络架构搜索方法。
[0037]根据本专利技术实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一种网络架构搜索方法。
[0038]上述专利技术中的一个实施例具有如下优点或有益效果：因为采用从搜索空间中选取多个网络架构，网络架构包括多个节点以及多种操作类型；网络架构对应的拓扑图中，以操作类型作为拓扑图中连接两节点的边；根据权重系数分别对拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量；其中，权重系数是根据进行向量信息传送的节点之间的特征向量的相似度进行确定的；根据第一特征向量确定网络架构对应的性能参数；根据损失函数、性能参数以及网络架构对应的实际性能参数确定目标网络架构的技术手段，所以克服了现有的网络架构搜索方法存在的确定性能较佳的网络架构的耗时较长、占用较大的存储空间、所确定的目标网络架构的性能效果较差、在预测网络架构的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络架构搜索方法，其特征在于，包括：从搜索空间中选取多个网络架构，所述网络架构包括多个节点以及多种操作类型；其中，所述网络架构对应的拓扑图中，以所述操作类型作为所述拓扑图中连接两节点的边；根据权重系数分别对所述拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量；其中，所述权重系数是根据进行向量信息传送的节点之间的特征向量的相似度进行确定的；根据所述第一特征向量确定所述网络架构对应的性能参数；根据损失函数、所述性能参数以及所述网络架构对应的实际性能参数确定目标网络架构。2.根据权利要求1所述的网络架构搜索方法，其特征在于，所述根据权重系数分别对所述拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量，包括：根据所述拓扑图中节点之间向量信息发送的顺序，根据权重系数对第一前驱节点的特征向量进行加权聚合处理，得到第一中间特征向量；利用激活函数对所述第一前驱节点与第一后续节点之间的操作类型进行映射处理；其中，所述第一后续节点为所述第一前驱节点对应的向量信息接受方，所述第一后续节点的数量为至少一个；将映射处理结果与所述第一中间特征向量进行再次加权聚合处理，作为所述第一后续节点对应的第一特征信息。3.根据权利要求2所述的网络架构搜索方法，其特征在于，在所述利用激活函数对所述第一前驱节点与第一后续节点之间的操作类型进行映射处理的步骤之前，所述方法还包括：根据权重矩阵对所述第一前驱节点与第一后续节点之间的操作类型进行转换处理。4.根据权利要求1所述的网络架构搜索方法，其特征在于，所述根据权重系数分别对所述拓扑图中的各节点对应的特征向量进行加权聚合处理，确定加权聚合处理后各节点对应的第一特征向量，还包括：根据所述拓扑图中节点之间向量信息发送的顺序，针对第二后续节点，利用激活函数对第二后续节点与第二前驱节点之间的操作类型进行映射处理后，与所述第二前驱节点的特征向量进行加权聚合处理，得到第二中间信息；其中，所述第二前驱节点为所述第二后续节点的向量信息发送方，所述第二后续节点的数量为至少一个；将所述至少一个所述第二中间特征向量分别与所述权重系数进行加权聚合，以确定加权聚合处理后各节点对应的第一特征向量。5.根据权利要求1至4中任一项所述的网络架构搜索方法，其特征在...

【专利技术属性】
技术研发人员：詹忆冰，陈紫业，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：