基于近似矩阵重构自编码器的自监督图表示方法技术

本发明专利技术提出一种基于近似矩阵重构自编码器的自监督图表示方法，包括如下步骤：输入原始图，根据原始图生成近似矩阵作为重构目标；在编码阶段，采用图增强生成结构视图和属性视图，将结构视图和属性视图输入解耦编码器，分别生成结构编码和属性编码，所述图增强包括：边删除和属性掩盖；在解码阶段，将结构编码和属性编码输入余弦解码器，基于随机子矩阵重构机制生成重构矩阵；基于随机子矩阵重构机制计算重构损失，逐层反向传播重构损失，调整模型参数；冻结模型参数，将原始图输入解耦编码器得到节点表示，并采用和池化得到图表示

【技术实现步骤摘要】
基于近似矩阵重构自编码器的自监督图表示方法


[0001]本专利技术涉及深度学习
，尤其是一种基于近似矩阵重构自编码器的自监督图表示方法
。

技术介绍

[0002]图表示学习旨在提取图数据中节点属性和拓扑结构等复杂信息，生成高质量的
、
低维的图表示
(
图嵌入
)。
图表示可以处理图的多种任务，例如节点分类
、
链接预测
、
图分类
、
图聚类等
。
自监督图表示学习不依赖于标签，可以基于图数据自有信息设计有效的辅助任务完成训练过程，生成图表示
。
[0003]现有自监督图表示学习大致可以分为两类：对比方法和生成方法
。
[0004]对比方法基于对比学习的思想设计辅助任务完成训练，对比方法生成的图表示通常在节点分类或图分类等下游任务上表现出色，但在链接预测等任务中表现欠佳，并且对比方法依赖于复杂的图增强和对比策略
。
生成方法通过重构图数据自有信息这一策略设计辅助任务，能够避免对比方法的不足
。
[0005]图自编码器是一种主要的生成方法，根据图中重构目标的差异，图自编码器可以分为三类：基于特征重构的图自编码器
、
基于结构重构的图自编码
、
以及组合重构的图自编码器
。
基于特征重构的图自编码器对节点属性进行重构，该类方法需要设计复杂的属性重构过程，确保最终得到的图嵌入中包含有效的图信息
。
基于结构重构的图自编码器通常重构邻接矩阵等结构信息，该类方法强调对图结构信息的学习，因此处理链接预测等下游任务时表现出色，但通常在节点分类
、
图分类等任务中表现欠佳
。
基于组合重构的方法同时重构图的结构信息和属性信息，因此可以从图数据中学习更为丰富的内容，可以处理多种下游任务
。
但现有方法在学习时往往忽略了一个问题，即在学习过程中究竟应该更侧重于图属性信息的学习还是图结构信息的学习？针对这一问题，目前还没有一个较为成熟的方法能够在自监督训练过程中控制属性信息和结构信息的学习程度
。

技术实现思路

[0006]为此，需要提供一种基于近似矩阵重构自编码器的自监督图表示方法，用以解决在自监督训练过程中控制属性信息和结构信息的学习比例控制问题
。
[0007]为实现上述目的，本专利技术提供了一种基于近似矩阵重构自编码器的自监督图表示方法，包括如下步骤：输入原始图，根据原始图生成近似矩阵作为重构目标；在编码阶段，采用图增强生成结构视图和属性视图，将结构视图和属性视图输入解耦编码器，分别生成结构编码和属性编码，所述图增强包括：边删除和属性掩盖；在解码阶段，将结构编码和属性编码输入余弦解码器，基于随机子矩阵重构机制生成重构矩阵；基于随机子矩阵重构机制计算重构损失，逐层反向传播重构损失，调整模型参数；冻结模型参数，将原始图输入解耦编码器得到节点表示，并采用和池化得到图表示
。
[0008]其具体采用以下技术方案：
[0009]一种基于近似矩阵重构自编码器的自监督图表示方法，其特征在于，包括以下步骤：
[0010]输入原始图，根据原始图生成近似矩阵作为重构目标；
[0011]在编码阶段，采用图增强生成结构视图和属性视图，将结构视图和属性视图输入解耦编码器，分别生成结构编码和属性编码，所述图增强包括：边删除和属性掩盖；
[0012]在解码阶段，将结构编码和属性编码输入余弦解码器，基于随机子矩阵重构机制生成重构矩阵；
[0013]基于随机子矩阵重构机制计算重构损失，逐层反向传播重构损失，调整模型参数；
[0014]冻结模型参数，将原始图输入解耦编码器得到节点表示，并采用和池化得到图表示
。
[0015]进一步地，所述输入原始图，根据原始图生成近似矩阵作为重构目标具体包括以下步骤：
[0016]根据节点特征矩阵生成原始图的
k
近邻图，
k
近邻图的邻接矩阵作为
k
近邻属性近似矩阵，通过
k
的取值控制属性信息和结构信息比例；
[0017]使用原始图的邻接矩阵作为结构近似矩阵；
[0018]采用
and
‑
or
融合机制融合结构近似矩阵和属性近似矩阵中的结构信息和属性信息，生成近似矩阵
A
sf
。
[0019]进一步地，所述在编码阶段，采用图增强生成结构视图和属性视图，将结构视图和属性视图输入解耦编码器，分别生成结构编码和属性编码具体包括以下步骤：
[0020]边删除根据增强率
λ
随机删除原始图的部分边，生成属性视图
G
f
；
[0021]属性掩盖根据增强率
λ
随机将节点特征的部分维度设为0，生成结构视图
G
s
；
[0022]使用两个图卷积网络构建双通道的解耦编码器，将结构视图
G
s
和属性视图
G
f
分别输入两个图卷积网络，分别生成结构编码
H
s
和属性编码
H
f
。
[0023]进一步地，所述在解码阶段，将结构编码和属性编码输入余弦解码器，基于随机子矩阵重构机制生成重构矩阵具体包括以下步骤：
[0024]假设原始图的节点
ID
集合为其中
N
为节点数量；随机子矩阵重构机制根据重构率
α
从中随机选择部分节点
ID
生成节点
ID
子集其中
m
＝
α
N
；根据从结构编码
H
s
和属性编码
H
f
中选择相应节点的结构编码子矩阵和属性编码子矩阵
[0025]再将结构编码子矩阵和属性编码子矩阵输入余弦解码器，余弦解码器首先单位化和分别生成和之后基于和生成结构重构矩阵
Z
s
、
属性重构矩阵
Z
f
、
约束耦合矩阵
Z
sf
；三个矩阵按元素取平均值生成重构矩阵
Z。
[0026]进一步地，所述基于随机子矩阵重构机制计算重构损失，逐层反向传播重构损失，调整模型参数具体包括以下步骤：
[0027]根据节点
ID
子集从近似矩阵
A
sf
中选择相应的元素以生成近似子矩阵
[0028]之后使用均方误差损失计算重构的矩阵
Z
和近似子矩阵之间的重构损失；
[0029]再逐层反向传播实重构损失，调整模型参数，训练近似矩阵重构自编码器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于近似矩阵重构自编码器的自监督图表示方法，其特征在于，包括以下步骤：输入原始图，根据原始图生成近似矩阵作为重构目标；在编码阶段，采用图增强生成结构视图和属性视图，将结构视图和属性视图输入解耦编码器，分别生成结构编码和属性编码，所述图增强包括：边删除和属性掩盖；在解码阶段，将结构编码和属性编码输入余弦解码器，基于随机子矩阵重构机制生成重构矩阵；基于随机子矩阵重构机制计算重构损失，逐层反向传播重构损失，调整模型参数；冻结模型参数，将原始图输入解耦编码器得到节点表示，并采用和池化得到图表示
。2.
根据权利要求1所述的基于近似矩阵重构自编码器的自监督图表示方法，其特征在于：所述输入原始图，根据原始图生成近似矩阵作为重构目标具体包括以下步骤：根据节点特征矩阵生成原始图的
k
近邻图，
k
近邻图的邻接矩阵作为
k
近邻属性近似矩阵，通过
k
的取值控制属性信息和结构信息比例；使用原始图的邻接矩阵作为结构近似矩阵；采用
and
‑
or
融合机制融合结构近似矩阵和属性近似矩阵中的结构信息和属性信息，生成近似矩阵
A
sf
。3.
根据权利要求2所述的基于近似矩阵重构自编码器的自监督图表示方法，其特征在于：所述在编码阶段，采用图增强生成结构视图和属性视图，将结构视图和属性视图输入解耦编码器，分别生成结构编码和属性编码具体包括以下步骤：边删除根据增强率
λ
随机删除原始图的部分边，生成属性视图
G
f
；属性掩盖根据增强率
λ
随机将节点特征的部分维度设为0，生成结构视图
G
s
；使用两个图卷积网络构建双通道的解耦编码器，将结构视图
G
s
和属性视图
G
f
分别输入两个图卷积网络，分别生成结构编码
H
s
和属性编码
H
f
。4.
根据权利要求3所述的基于近似矩阵重构自编码器的自监督图表示方法，其特征在于：所述在解码阶段，将结构编码和属性编码输入余弦解码器，基于随机子矩阵重构机制生成重构矩阵具体包括以下步骤：假设原始图的节点
ID
集合为其中
N
为节点数量；随机子矩阵重构机制根据重构率
α
从中随机选择部分节点
ID
生成节点
ID
子集其中
m
＝
α
N
；根据从结构编码
H
s
和属性编码
H
f
中选择相应节点的结构编码子矩阵和属性编码子矩阵再将结构编码子矩阵和属性编码子矩阵输入余弦解码器，余弦解码器首先单位化和分别生成和之后基于和生成结构重构矩阵
Z
s
、
属性重构矩阵
Z
f
、
约束耦合矩阵
Z
sf
；三个矩阵按元素取平均值生成重构矩阵
Z。5.
根据权利要求4所述的基于近似矩阵重构自编码器的自监督图表示方法，其特征在于：
所述基于随机子矩阵重构机制计算重构损失，逐层反向传播重构损失，调整模型参数具体包括以下步骤：根据节点
ID
子集从近似矩阵
A
sf
中选择相应的元素以生成近似子矩阵之后使用均方误差损失计算重构的矩阵
Z
和近似子矩阵之间的重构损失；再逐层反向传播实重构损失，调整模型参数，训练近似矩阵重构自编码器
。6.
根据权利要求5所述的基于近似矩阵重构自编码器的自监督图表示方法，其特征在于：所述冻结近似矩阵重构自编码器的参数，将原始图输入解耦编码器得到节点表示，并采用和池化得到图表示具体包括以下步骤...

【专利技术属性】
技术研发人员：罗海峰，李欢欢，黄添强，黄丽清，
申请(专利权)人：福建师范大学，
类型：发明
国别省市：