【技术实现步骤摘要】
本专利技术属于信息，具体涉及一种结合特征预训练和知识蒸馏的时序图学习方法。
技术介绍
1、图数据在现实世界的各种场景中广泛存在，许多现象都可以被表示为图结构。这些场景的例子包括论文引用、电子邮件交流、物品购买、电影评分和用户交易等。这些数据集的规模可能非常庞大，因此图深度学习成为高效挖掘大规模图数据的首选技术。图学习涉及训练高维稀疏的图结构，并将每个节点表示为低维稠密的向量，称为节点嵌入。这些嵌入可以方便地用于各种下游任务和应用，如链路预测、节点分类、兴趣推荐和社区检测等。
2、时序图学习是图深度学习的一个重要方面，旨在捕捉现实世界图数据中节点或边的动态模式和演化规律。与经典的图学习(称为静态图学习)使用邻接矩阵表示图结构不同，时序图方法将节点之间的交互以邻接序列的形式存储。数据结构的变化源于邻接矩阵的限制。如图1(a)所示，随着节点数量的增加，邻接矩阵的规模呈指数级增长，导致存储需求问题严重。相比之下，图1(b)突出了交互序列的优势。在邻接矩阵中，两个节点之间的重复交互被记录为单个事件，表示为"1"，而不管实际交互次数。在...
【技术保护点】
1.一种结合特征预训练和知识蒸馏的时序图学习方法，其特征在于，该方法将时序图中的信息分为时序级别、邻域级别、社区级别和全图级别；在训练过程中将时序级别的信息与一阶邻居结合起来，称为时序级结合；对于其他级别的信息，使用node2vec作为预训练模块生成预训练嵌入，这些嵌入作为获取附加信息的基础知识；该方法实现了跨不同模式的知识蒸馏，包括邻居级别的蒸馏、社区级别的分布和全图级别的传播。
2.根据权利要求1所述的结合特征预训练和知识蒸馏的时序图学习方法，特征预训练借鉴了当前大语言模型热门的预训练-微调技术，该技术指的是，首先在大规模数据集上训练模型，而后在特定任...
【技术特征摘要】
1.一种结合特征预训练和知识蒸馏的时序图学习方法，其特征在于，该方法将时序图中的信息分为时序级别、邻域级别、社区级别和全图级别；在训练过程中将时序级别的信息与一阶邻居结合起来，称为时序级结合；对于其他级别的信息，使用node2vec作为预训练模块生成预训练嵌入，这些嵌入作为获取附加信息的基础知识；该方法实现了跨不同模式的知识蒸馏，包括邻居级别的蒸馏、社区级别的分布和全图级别的传播。
2.根据权利要求1所述的结合特征预训练和知识蒸馏的时序图学习方法，特征预训练借鉴了当前大语言模型热门的预训练-微调技术，该技术指的是，首先在大规模数据集上训练模型，而后在特定任务上微调模型。在特征预训练过程中，首先选择经典模型在同一数据集上进行训练，得到的输出作为有先验知识的特征。从而进一步借鉴知识蒸馏的思想，用教师模型输出的先验知识特征代替先验参数，来辅助学生模型的训练和学习，能够从教师模型提供的更丰富、更细致的信息中学习。
3.根据权利要求2所述的结合特征预训练和知识蒸馏的时序图学习方法，其特征在于，该方法的输入是时序图，表示为：
4.根据权利要求3所述的结合特征预训练和知识蒸馏的时序图学习方法，其特征在于，预训练嵌入在训练过程中用于多层次的信息提炼，包括时序级结合、邻居级蒸馏、社区级分布和全图级传播。
5.根据权利要求4所述的结合特征预训练和知识蒸馏的时序图学习方法，其特征在于，在训练过程中，给定一个节点x，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。