基于张量的超网络优化方法和系统技术方案

提供了一种基于张量的超网络优化方法和系统。所述方法包括：构建与超网络对应的张量网络；基于构建的张量网络来确定超网络的至少一个子网络之中的具有最佳结构的最佳子网络；对所述最佳子网络的学习模型进行训练；利用经过训练的学习模型获得所述最佳子网络的嵌入表示。表示。表示。

【技术实现步骤摘要】
基于张量的超网络优化方法和系统


[0001]本申请涉及人工智能领域中的图网络技术，更具体地讲，涉及一种基于张量的超网络优化方法和系统。

技术介绍

[0002]随着信息网络技术的快速发展，各种信息网络数据内容呈现爆炸式增长的态势。这样的内容通常具有大规模、异质多元、组织结构松散的特点，给人们有效获取信息和知识提出了挑战。
[0003]在现实生活领域和科学研究领域中，通常可利用图(Graph)来表示数据。例如，利用图来表示交通网络，利用图来表示社交网络，利用图来表示知识图谱，利用图来表示分子结构等。图可包括图节点和边，其中，边表示两个或更多个图节点之间的关系。
[0004]超网络(supernet)是一种特殊的图网络，其中的每对节点可以同时被多条边所连接。许多不同领域中的问题均可被建模为一个超网络优化问题(即，在节点对的多条边中选择其中最好的一条边)，例如，神经架构搜索(neural architecture search)、元路径(meta
‑
path)设计、逻辑链推断(logic chain inference)等。由于超网络上可能的子网络个数随超网络的边数增加而指数增长，需要根据应用的特点分别对超网络进行建模，以便更高效地解决超网络优化问题。此外，由于超网络的拓扑结构高度依赖于任务并且多样，现有技术的解决方案较为低效。因此，需要一种既能够反映超网络的拓扑结构，又能够高效地实现对超网络的优化的超网络优化方案。

技术实现思路

[0005]根据本专利技术的实施例，提供了一种基于张量的超网络优化方法，所述方法包括：构建与超网络对应的张量网络；基于构建的张量网络来确定超网络的至少一个子网络之中的具有最佳结构的最佳子网络；对所述最佳子网络的学习模型进行训练；利用经过训练的学习模型获得所述最佳子网络的嵌入表示，其中，超网络中的每对节点之间的边具有至少一种边选择，其中，子网络的节点是超网络的节点中的至少部分节点，并且子网络中的每对节点之间的边的边选择是超网络中该对节点之间的边的边选择之中的一种边选择，并且其中，张量网络的张量网络节点与超网络中的边对应并且由与对应边相应的核张量指示，两个张量网络节点连接的张量网络边指示超网络中与该两个张量网络节点分别对应的边所共同连接到的节点，并且每个张量网络节点上的无连接边指示超网络中与该张量网络节点对应的边的边选择。
[0006]可选地，构建张量网络的步骤可包括：使用超网络的节点之中的与至少两个节点连接的节点以及对应连接的边来构建张量网络。
[0007]可选地，构建与超网络对应的张量网络的步骤可包括通过以下表达式(1)来确定张量网络的张量元素：
[0008][0009]其中，是张量网络的由索引i_指示的张量元素并且与超网络的子网络对应，索引i_是超网络中的所有边上的所选边选择的索引的集合，t是超网络中的边e
t
的索引并且t∈{1，2，...，T},T是超网络中的边的总数量，i
t
是超网络中的边e
t
的所选边选择的索引，N1(t)和N2(t)分别是超网络中的边e
t
所连接的节点和的索引且且节点索引集合是超网络中的节点的索引的集合，是张量网络中与边e
t
对应的节点的核张量，R是超网络中的节点的维度大小，C
t
是超网络中的边e
t
的全部边选择的数量。
[0010]可选地，确定具有最佳网络结构的子网络的步骤可包括基于以下表达式(2)来确定具有最佳网络结构的最佳子网络
[0011][0012][0013]其中，子网络由指示并且对应张量元素为指示并且对应张量元素为表示具有子网络和参数w的学习模型，是验证数据集，是训练数据集，是用于测量模型f在验证数据集上的性能的性能函数，是用于测量模型f在训练数据集上的损失的损失函数，是使用训练数据集对学习模型进行模型训练所获得的在训练数据集上具有最小损失的学习模型的最佳模型参数，是使基于最佳模型参数的学习模型在验证数据集上具有最大性能的子网络。
[0014]所述方法还可包括：基于以下表达式(3)对张量网络的张量元素进行参数化来获得参数化张量网络
[0015][0016]其中，softmax(.)是柔性最大传输函数，用于替换中的并且β是连续参数，指示超网络的节点的索引。
[0017]可选地，确定具有最佳网络结构的子网络的步骤可包括基于以下表达式(4)来确定具有最佳网络结构的最佳子网络
[0018][0019][0020]其中，子网络由指示并且对应张量元素为指示并且对应张量元素为表示具有子网络和参数w的学习模型，是验证数据集，是训练数据集，是用于测量模型f在验证数据集上的性能的性能函数，是用于测量模型f在训练数据集上的损失的损失函数，w
*
(β)是使用训练数据集对学习模型进行模型训练所获得的在训练数据集上具有最小损失的学习模型的最佳模型参数，β
*
是使基于最佳模型参数w
*
(β)的模型在验证数据集上具有最大性能的参数。具有最佳网络结构的最佳子网络可以是基于β
*
确定的子网络。
[0021]可选地，可通过执行至少一次迭代更新操作来从表达式(4)确定β
*
，其中，每次迭代更新操作包括：基于当前参数化张量网络获得子网络使用训练数据集对与该子网络对应的学习模型进行训练，以获得最佳模型参数w
*
(β)；基于所述最佳模型参数w
*
(β)，通过基于性能函数对参数β进行优化来更新参数β，其中，β
*
被确定为最后一次迭代更新操作中所更新得到的β。
[0022]可选地，确定具有最佳网络结构的最佳子网络的步骤可包括：基于参数β
*
来获得优化的参数化张量网络获得与优化的参数化张量网络的各个张量元素之中的具有最大值的张量元素对应的索引i_
*
；将具有与该索引i_
*
对应的网络结构的子网络确定为所述具有最佳网络结构的最佳子网络
[0023]根据本专利技术的另一实施例，提供了一种基于张量的超网络优化系统，所述系统包括：张量网络构建装置，被配置为构建与超网络对应的张量网络；子网络确定装置，被配置为基于构建的张量网络来确定超网络的至少一个子网络之中的具有最佳结构的最佳子网络；模型训练装置，被配置为对所述最佳子网络的学习模型进行训练；表示装置，被配置为利用经过训练的学习模型获得所述最佳子网络的嵌入表示，其中，超网络中的每对节点之间的边具有至少一种边选择，其中，子网络的节点是超网络的节点中的至少部分节点，并且子网络中的每对节点之间的边的边选择是超网络中该对节点之间的边的边选择之中的一种边选择，并且其中，张量网络的张量网络节点与超网络中的边对应并且由与对应边相应的核张量指示，两个张量网络节点连接的张量网络边指示超网络中与该两个张量网络节点分别对应的边所共同连接到的节点，并且每个张量网络节点上的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于张量的超网络优化方法，所述方法包括：构建与超网络对应的张量网络；基于构建的张量网络来确定超网络的至少一个子网络之中的具有最佳结构的最佳子网络；对所述最佳子网络的学习模型进行训练；利用经过训练的学习模型获得所述最佳子网络的嵌入表示，其中，超网络中的每对节点之间的边具有至少一种边选择，其中，子网络的节点是超网络的节点中的至少部分节点，并且子网络中的每对节点之间的边的边选择是超网络中该对节点之间的边的边选择之中的一种边选择，并且其中，张量网络的张量网络节点与超网络中的边对应并且由与对应边相应的核张量指示，两个张量网络节点连接的张量网络边指示超网络中与该两个张量网络节点分别对应的边所共同连接到的节点，并且每个张量网络节点上的无连接边指示超网络中与该张量网络节点对应的边的边选择。2.如权利要求1所述的方法，其中，构建张量网络的步骤包括：使用超网络的节点之中的与至少两个节点连接的节点以及对应连接的边来构建张量网络。3.如权利要求2所述的方法，其中，构建与超网络对应的张量网络的步骤包括通过以下表达式(1)来确定张量网络的张量元素：其中，是张量网络的由索引i_指示的张量元素并且与超网络的子网络对应，索引i_是超网络中的所有边上的所选边选择的索引的集合，t是超网络中的边e
t
的索引并且t∈{1，2，...，T}，T是超网络中的边的总数量，i
t
是超网络中的边e
t
的所选边选择的索引，N1(t)和N2(t)分别是超网络中的边e
t
所连接的节点和的索引并且且节点索引集合是超网络中的节点的索引的集合，合，是张量网络中与边e
t
对应的节点的核张量，R是超网络中的节点的维度大小，C
t
是超网络中的边e
t
的全部边选择的数量。4.如权利要求3所述的方法，其中，确定具有最佳网络结构的子网络的步骤包括基于以下表达式(2)来确定具有最佳网络结构的最佳子网络下表达式(2)来确定具有最佳网络结构的最佳子网络下表达式(2)来确定具有最佳网络结构的最佳子网络其中，子网络由指示并且对应张量元素为指示并且对应张量元素为表示具有子网络和参数w的学习模型，是验证数据集，是训练数据集，是用于测量模型f在验证数据集上的性能的性能函数，是用于测量模型f在训练数据集上的损失的损失函数，
是使用训练数据集对学习模型进行模型训练所获得的在训练数据集上具有最小损失的学习模型的最佳模型参数，是使基于最佳模型参数的学习模型在验证数据集上具有最大性能的子网络。5.如权利要求3所述的方法，还包括：基于以下表达式(3)对张量网络的张量元素进行参数化来获得参数化张量网络进行参数化来获得参数化张量网络其中，softmax(.)是柔性最大传输函数，用于替换中...

【专利技术属性】
技术研发人员：姚权铭，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：