文本属性图的表征模型、预训练的自监督方法、节点表示更新的模型框架技术

本发明专利技术的目的是提供一种文本属性图的表征模型，用于预训练的自监督方法、以及一种节点表示更新的模型框架，所述方法包括：通过将文本属性图中的单词与基础的图结构解耦，并将单词作为节点建模到原有的图结构中，建模为层次文本属性图；进一步通过针对层次文本属性图中不同层级的自监督任务，捕捉原数据中的语义信息和结构信息；在模型训练阶段，通过均值聚合器对节点的表示进行更新，并使用更新后的节点表示作为输入，利用自监督任务继续进行预训练，从而得到层次文本属性图中的节点、单词的表示，完成图中的节点分类和链接预测任务。

【技术实现步骤摘要】

本专利技术涉及计算机领域，尤其涉及一种文本属性图的表征模型，预训练的自监督方法、以及节点表示更新的模型框架。

技术介绍

1、文本属性图在现实生活中随处可见，例如，在论文引用网络中，每篇论文都附有文本内容，而在社交网络中，每个用户都可以通过文本描述进行描述。对文本属性图的学习技术的研究在图学习、信息检索和自然语言处理等领域引起了相当大的关注，反映了在基于图的结构背景下理解和分析文本信息的重要性。

2、对文本属性图的研究一般分为三个范式：1)只用语言模型；2)只用图模型；3)使用语言模型和图模型的组合。目前的研究会遇到一些问题，如忽略节点或单词之间的关系、可扩展性限制和缺乏一般性。

技术实现思路

1、本说明书实施方式的目的是提供一种文本属性图表征模型，预训练的自监督方法、以及一种节点表示更新的模型框架。本说明书实施方式所提供的新的文本属性图表征模型和预训练的自监督方法，可以对初始节点的表征和词节点的表征同时进行优化学习。进一步，本说明书实施方式提供了基于聚合器的节点更新模型框架，该方法引入了多个自监督本文档来自技高网...

【技术保护点】

1.一种文本属性图的表征模型的生成方法，其特征在于，包括：

2.如权利要求1所述方法，其特征在于，在步骤“将原始的所述文本属性图与所述词网络联合在一起构成层次文本属性图”包括：

3.如权利要求1所述方法，其特征在于，在步骤“通过异构图神经网络对层次文本属性图进行表征学习从而生成文本属性图的表征模型”包括：

4.一种文本属性图的表征模型，其特征在于，该表征模型包括层次文本属性图，其中，所述层次文本属性图的上层为原始的所述文本属性图，所述层次文本属性图的下层为词网络，其中，对于词节点处的属性而言，通过一个预训练语言模型产生的表示作为其特征；对于初始节点处的...

【技术特征摘要】

1.一种文本属性图的表征模型的生成方法，其特征在于，包括：

2.如权利要求1所述方法，其特征在于，在步骤“将原始的所述文本属性图与所述词网络联合在一起构成层次文本属性图”包括：

3.如权利要求1所述方法，其特征在于，在步骤“通过异构图神经网络对层次文本属性图进行表征学习从而生成文本属性图的表征模型”包括：

4.一种文本属性图的表征模型，其特征在于，该表征模型包括层次文本属性图，其中，所述层次文本属性图的上层为原始的所述文本属性图，所述层次文本属性图的下层为词网络，其中，对于词节点处的属性而言，通过一个预训练语言模型产生的表示作为其...

【专利技术属性】
技术研发人员：魏忠钰，旷皓予，
申请(专利权)人：复旦大学，
类型：发明
国别省市：