一种动态异构图注意力神经架构搜索方法及产品技术

本申请实施例涉及数据处理技术领域，公开了一种动态异构图注意力神经架构搜索方法及产品，包括：获取输入的动态异构图的异构信息，根据所述异构信息，构建基于动态异构图注意力的搜索空间；对所述搜索空间进行多阶段可微搜索，输出多个候选神经架构以及每个候选神经架构的性能评分；根据所述每个候选神经架构的性能评分，确定动态异构图注意力神经架构。本申请能够根据动态异构图自动化设计出动态异构图注意力神经架构，且将时间戳信息纳入异构邻域中构建的搜索空间具有通用性和灵活性，可以自动搜索适应于不同的数据集和应用场景的动态异构图注意力神经架构，使得到的动态异构图注意力神经架构在处理下游任务时达到更好的效果。效果。效果。

【技术实现步骤摘要】
一种动态异构图注意力神经架构搜索方法及产品


[0001]本申请实施例涉及数据处理
，具体而言，涉及一种动态异构图注意力神经架构搜索方法及产品。

技术介绍

[0002]动态异构图在现实世界的应用中无处不在，包括社交网络、电子商务网络、学术引文网络等。与静态同质图相比，动态异构图包含更丰富的异构信息，表现为节点和边的类型，以及随时间演变的图结构等动态信息。异质性和时间演化模式的建模对于动态异构图的应用至关重要，包括对未来链接、节点标签和属性的预测。
[0003]然而，虽然动态异构图神经网络最近在挖掘图动态和异构信息方面取得了显著进展，但是它们的架构都是手动设计，这就导致了架构的设计需要大量的人工努力和专家知识，而且由于手工设计的架构是固定的，不能自动适应于不同的数据集和应用场景。因此，如何根据不同应用场景搜索适用的动态异构图模型从而达到更好的效果，是现在亟待解决的问题。

技术实现思路

[0004]本申请实施例在于提供一种动态异构图注意力神经架构搜索方法及产品，旨在解决根据不同应用场景搜索适用的动态异构图模型从而达到更好的效果的问题。
[0005]本申请实施例第一方面提供一种动态异构图注意力神经架构搜索方法，包括：
[0006]获取输入的动态异构图的异构信息，根据所述异构信息，构建基于动态异构图注意力的搜索空间，所述搜索空间包括定位空间和参数化空间；
[0007]对所述搜索空间进行多阶段可微搜索，输出多个候选神经架构以及每个候选神经架构的性能评分；
[0008]根据所述每个候选神经架构的性能评分，确定动态异构图注意力神经架构，所述动态异构图注意力神经架构用于对动态异构图进行处理，并输出所述动态异构图的节点表征。
[0009]可选地，获取输入的动态异构图的异构信息，根据所述异构信息，构建基于动态异构图注意力的搜索空间，包括：
[0010]按照时间戳对输入的动态异构图进行分解，得到多张不同时间戳对应的静态异构图；
[0011]获取每张静态异构图的异构信息，所述异构信息包括节点类型、边类型和时间戳；
[0012]对所述异构信息按照注意力进行组合，得到基于动态异构图注意力的搜索空间。
[0013]可选地，对所述搜索空间进行多阶段可微搜索，输出多个候选神经架构以及每个候选神经架构的性能评分，包括：
[0014]将定位空间和参数化空间中对应异构信息的动态异构邻域的连接定位和动态异构邻域的映射函数进行组合，得到候选神经架构；
[0015]将所述候选神经架构以可微的方式进行多阶段训练，并在验证集上进行验证，得到所述每个候选神经架构的性能评分。
[0016]可选地，在确定动态异构图注意力神经架构之后，包括：
[0017]将动态异构图输入所述动态异构图注意力神经架构，输出动态异构图上所有节点的表征；
[0018]将所述动态异构图上所有节点的表征输入动态异构图注意力神经架构的下游任务，输出结果准确率；
[0019]根据所述结果准确率，在所述动态异构图注意力架构搜索空间进行搜索，得到最优动态异构图注意力神经架构。
[0020]可选地，对所述异构信息按照注意力进行组合，得到基于动态异构图注意力的搜索空间，包括：
[0021]将所述异构信息按照注意力进行连接，得到多种动态异构邻域的连接定位，作为输入的动态异构图对应的定位空间；
[0022]将所述异构信息与预设注意力计算函数进行映射，得到多种动态异构邻域的映射函数，作为输入的动态异构图对应的参数化空间，所述预设注意力计算函数包括节点映射函数和关系映射函数；
[0023]将所述定位空间和所述参数化空间作为所述基于动态异构图注意力的搜索空间。
[0024]可选地，将所述候选神经架构以可微的方式进行多阶段训练，并在验证集上进行验证，得到所述每个候选神经架构的性能评分，包括：
[0025]对每个候选神经架构中动态异构邻域的映射函数依次进行关于节点映射和关系映射的连续选择，并以可微的方式进行训练，输出节点映射权重和关系映射权重，基于所述节点映射权重和关系映射权重在验证集上进行验证，得到每个候选神经架构的映射函数性能评分；
[0026]对每个候选神经架构中动态异构邻域的连接定位以可微的方式进行训练，输出定位权重，基于所述定位权重在验证集上进行验证，得到每个候选神经架构的定位性能评分；
[0027]将每个候选神经架构的映射函数性能评分和定位性能评分组合，得到所述每个候选神经架构的性能评分。
[0028]本申请实施例第二方面提供了一种动态异构图注意力神经架构搜索装置，包括：
[0029]搜索空间构建模块，用于获取输入的动态异构图的异构信息，根据所述异构信息，构建基于动态异构图注意力的搜索空间，所述搜索空间包括定位空间和参数化空间；
[0030]搜索模块，用于对所述搜索空间进行多阶段可微搜索，输出多个候选神经架构以及每个候选神经架构的性能评分；
[0031]确定模块，用于根据所述每个候选神经架构的性能评分，确定动态异构图注意力神经架构，所述动态异构图注意力神经架构用于对动态异构图进行处理，并输出所述动态异构图的节点表征。
[0032]其中，所述搜索空间构建模块，包括：
[0033]分解子模块，用于按照时间戳对输入的动态异构图进行分解，得到多张不同时间戳对应的静态异构图；
[0034]异构信息获取子模块，用于获取每张静态异构图的异构信息，所述异构信息包括
节点类型、边类型和时间戳；
[0035]搜索空间构建子模块，用于对所述异构信息按照注意力进行组合，得到基于动态异构图注意力的搜索空间。
[0036]其中，所述搜索模块，包括：
[0037]候选架构子模块，用于将定位空间和参数化空间中对应异构信息的动态异构邻域的连接定位和动态异构邻域的映射函数进行组合，得到候选神经架构；
[0038]多阶段可微训练子模块，用于将所述候选神经架构以可微的方式进行多阶段训练，并在验证集上进行验证，得到所述每个候选神经架构的性能评分。
[0039]在确定动态异构图注意力神经架构之后，所述装置，还包括：
[0040]节点表征模块，用于将动态异构图输入所述动态异构图注意力神经架构，输出动态异构图上所有节点的表征；
[0041]任务处理模块，用于将所述动态异构图上所有节点的表征输入动态异构图注意力神经架构的下游任务，输出结果准确率；
[0042]优化模块，用于根据所述结果准确率，在所述动态异构图注意力架构搜索空间进行搜索，得到最优动态异构图注意力神经架构。
[0043]所述搜索空间构建子模块，包括：
[0044]定位空间子单元，用于将所述异构信息按照注意力进行连接，得到多种动态异构邻域的连接定位，作为输入的动态异构图对应的定位空间；
[0045]参数化空间子单元，用于将所述异构信息与预设注意力计算函数进行映射，得到多种动态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态异构图注意力神经架构搜索方法，其特征在于，包括：获取输入的动态异构图的异构信息，根据所述异构信息，构建基于动态异构图注意力的搜索空间，所述搜索空间包括定位空间和参数化空间；对所述搜索空间进行多阶段可微搜索，输出多个候选神经架构以及每个候选神经架构的性能评分；根据所述每个候选神经架构的性能评分，确定动态异构图注意力神经架构，所述动态异构图注意力神经架构用于对动态异构图进行处理，并输出所述动态异构图的节点表征。2.根据权利要求1所述的动态异构图注意力神经架构搜索方法，其特征在于，获取输入的动态异构图的异构信息，根据所述异构信息，构建基于动态异构图注意力的搜索空间，包括：按照时间戳对输入的动态异构图进行分解，得到多张不同时间戳对应的静态异构图；获取每张静态异构图的异构信息，所述异构信息包括节点类型、边类型和时间戳；对所述异构信息按照注意力进行组合，得到基于动态异构图注意力的搜索空间。3.根据权利要求1所述的动态异构图注意力神经架构搜索方法，其特征在于，对所述搜索空间进行多阶段可微搜索，输出多个候选神经架构以及每个候选神经架构的性能评分，包括：将定位空间和参数化空间中对应异构信息的动态异构邻域的连接定位和动态异构邻域的映射函数进行组合，得到候选神经架构；将所述候选神经架构以可微的方式进行多阶段训练，并在验证集上进行验证，得到所述每个候选神经架构的性能评分。4.根据权利要求1所述的动态异构图注意力神经架构搜索方法，其特征在于，在确定动态异构图注意力神经架构之后，包括：将动态异构图输入所述动态异构图注意力神经架构，输出动态异构图上所有节点的表征；将所述动态异构图上所有节点的表征输入动态异构图注意力神经架构的下游任务，输出结果准确率；根据所述结果准确率，在所述动态异构图注意力架构搜索空间进行搜索，得到最优动态异构图注意力神经架构。5.根据权利要求2所述的动态异构图注意力神经架构搜索方法，其特征在于，对所述异构信息按照注意力进行组合，得到基于动态异构图注意力的搜索空间，包括：将所述异构信息按照注意力进行连接，得到多种动态异构邻域的连接定位，作为输入的动态异构图对应的定位空间；将所述异构信息与预设注意力计算函数进行映射，得到多种动态异构邻域的映射函数，作为输入的动态异构图...

【专利技术属性】
技术研发人员：朱文武，王鑫，张子威，张泽阳，
申请(专利权)人：清华大学，
类型：发明
国别省市：