一种超图卷积网络模型及其半监督分类方法技术

本发明专利技术提供一种超图卷积网络模型及其半监督分类方法包括如下步骤：包括如下步骤：步骤1：对非欧式结构的样本数据特征进行稀疏编码，形成样本表示系数矩阵；步骤2：依据样本的相似性构建超边，计算超边权重，构建超图模型；步骤3：借助于超图谱理论，定义超图上的卷积运算，构建超图卷积网络模型；步骤4：定义超图卷积网络上的半监督学习方法，设计损失函数，旨在利用少量标定样本的类别信息，预测所有样本的类别标签；步骤5：分别制作训练、验证和测试的半给定标签矩阵，设置网络超参数，训练网络模型，依据随机梯度下降算法学习网络的卷积核以及正则性因子参数；步骤6：对于给定数据，用训练好的模型预测未知的样本类别，实现半监督分类。

A Hypergraph Convolution Network Model and Semi-supervised Classification Method

The invention provides a hypergraph convolution network model and a semi-supervised classification method, which includes the following steps: step 1: sparse coding of sample data characteristics of non-Euclidean structure to form a sample representation coefficient matrix; step 2: constructing a hypergraph model by calculating the weight of the hypergraph according to the similarity of samples; step 3: determining the hypergraph model with the help of hypergraph theory; The convolution operation on hypergraph is defined to construct hypergraph convolution network model; Step 4: Define semi-supervised learning method on Hypergraph convolution network and design loss function to predict the class labels of all samples by using a small amount of class information of calibrated samples; Step 5: Make semi-given label matrices for training, verification and testing respectively, set network hyperparameters, and train network model. According to the stochastic gradient descent algorithm, the convolution kernel and regularity factor parameters of the network are learned. Step 6: For a given data, the trained model is used to predict the unknown sample categories, and semi-supervised classification is realized.

【技术实现步骤摘要】
一种超图卷积网络模型及其半监督分类方法
本专利技术属于数据信息处理
，具体的涉及一种超图卷积网络模型及其半监督分类方法。
技术介绍
最近深度卷积神经网络在机器学习、计算机视觉等任务中取得了很大的成功，其中主要原因是各网络层其中定义的离散卷积操作，计算中心像素点以及相邻像素点的加权和来实现图像空间特征的提取，通过在训练过程中优化各层的卷积核参数，使得网络能够自适应学习图像的深度特征，所以卷积神经网络能够在各种识别任务中得到广泛的应用。经典的深度卷积网络处理的通常是具有规整近邻结构的欧式结构数据，如图像、视频等，然而在现实问题中，还有很多具有非规整近邻结构的数据，比如社交网络，信息网络、基因数据、蛋白质结构、交通路网等等，往往具有复杂的拓扑结构，不同样本具有不同的近邻个数，经典的卷积神经网络并不能够有效分析这类非欧式结构数据。超图模型将数据样本间的拓扑结构表示为顶点及其多个关联顶点间的超边连接，是表示非欧结构数据间关联关系的一个有效工具。相比于两两连接的图模型而言，超图模型将具有相似属性的顶点共同纳入一个超边，比如在科技论文引用关系网络中，可将当前论文和所有引用该论文的其他论文共同纳入一个超边，从而可以有效表示样本间的高阶复杂关联关系。
技术实现思路
针对于上述现有技术的不足，本专利技术的目的在于提供一种超图卷积网络模型及其半监督分类方法，建立超图上的深度学习模式，形成多层的自适应特征学习与表示方法。为达成上述目的，本专利技术采用如下技术方案：一种超图卷积网络模型及其半监督分类方法包括如下步骤：步骤1：对非欧式结构的样本数据特征进行稀疏编码，形成样本表示系数矩阵；步骤2：依据样本的相似性构建超边，计算超边权重，构建超图模型；步骤3：借助于超图谱理论，定义超图上的卷积运算，构建超图卷积网络模型；步骤4：定义超图卷积网络上的半监督学习方法，设计损失函数，利用少量标定样本的类别信息，预测所有样本的类别标签；步骤5：分别制作训练、验证和测试的半给定标签矩阵，设置超参数，利用随机梯度下降算法训练网络模型的卷积核参数以及正则性因子参数；步骤6：对于给定数据，用训练好的模型预测未知的样本类别，实现半监督分类。优选地，步骤3包括如下步骤：步骤3.1：借助于超图谱理论，在频域定义超图上的卷积预算，并进一步简化卷积运算操作，只需中心节点以及一阶近邻节点参与卷积操作，以有效降低运算复杂度；步骤3.2：在超图上级联卷积滤波操作，引入非线性激活函数，定义超图上的深度卷积操作，通过多个卷积层的叠加处理，形成样本特征的逐层抽象表达，实现特征的自适应学习与表示。优选地，步骤4包括如下步骤：步骤4.1：定义超图卷积网络上的半监督学习方法，在网络的最后级联softmax层输出分类结果，步骤4.2：建立半监督分类任务定义损失函数，如交叉熵，约束在标定样本上网络预测的分类标签与真实标签保持一致。优选地，在步骤2中，依据样本的表示系数矩阵计算样本间的相似性，构建超边，计算超边权重，进而构建超图模型G＝(V,E,w)，其中V为顶点集合，E为超边集合，w为超边权重，计算超图的拉普拉斯矩阵其中Dv为顶点的度矩阵，De为超边的度矩阵，H为超图的入射矩阵，表示各超边的构成，A为超边权重构成的对角矩阵。相较于现有技术，本专利技术提供的技术方案具有如下有益效果：本专利技术提出的超图卷积网络模型及其半监督分类方法中，对于非欧式结构的数据构建超边，拟建超图模型，借助图谱理论定义超图上的卷积运算，构建深度超图卷积网络，在网络中设计图形结构化数据的半监督分类方法，对于超图中的每个节点，首先将该节点原始的特征转化为所有包含该节点的超边内的所有节点的融合特征，通过层级的卷积运算提取节点的高阶特征，再结合半监督学习任务构建损失函数并进行训练，最终训练完的模型可用于实现目标数据集的半监督分类。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术提供的超图卷积网络模型及其半监督分类方法的流程示意图；图2是半监督节点分类的超图卷积模型的示意图。图3是超图卷积模型中实现节点半监督分类的形象示意图。图4是本方法(HGCN)与其他方法分别在Citeseer、Cora和Pubmed数据集上的比较示意图。具体实施方式为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本专利技术的权利要求书、说明书及上述附图中，除非另有明确限定，如使用术语“第一”、“第二”或“第三”等，都是为了区别不同对象，而不是用于描述特定顺序。本专利技术的权利要求书、说明书及上述附图中，如使用术语“包括”、“具有”以及它们的变形，意图在于“包含但不限于”。如图1所示，本专利技术提供的超图卷积网络模型及其半监督分类方法包括以下步骤：S101、对非欧式结构的样本数据特征进行稀疏编码形成样本表示系数矩阵。具体地，不同于经典的卷积深度网络模型，只能够处理具有规整近邻结构的欧式空间数据，本专利技术所建立的超图卷积网络可有效处理非欧结构数据，如社交网络，论文引用网络等。以Citeseer数据集为例，它是一个使用Citeseer数据库构建的论文引用说明数据集。具体包括3327篇计算机领域的论文，可以分为6类，每篇论文出现个数少于10次的单词将被剔除，最终统计出3703个独立的特定词汇。在进行编码时，样本总数为3327，每个样本有3703维特征，特征值为每个特定词汇在论文中出现的二进制值(出现为1，不出现为0)，可得样本矩阵X∈R3327×3703。S102、依据样本的相似性构建超边，计算超边权重，构建超图模型。具体地，依据样本的真实标签构建超边，拟建超图模型G＝(V,E,w)，其中V为顶点集合，E为超边集合，w为超边权重，计算超图的拉普拉斯矩阵其中Dv为顶点的度矩阵，De为超边的度矩阵，H为超图的入射矩阵，表示各超边的构成，A为超边权重构成的对角矩阵。以Citeseer数据集为例，将当前论文与所有引用该论文的其余论文共同建立一个超边，超边权重记为当前超边的节点个数的倒数。例如，记共有论文a～g分别对应超图的顶点v1～v7,其中论文b、c、f均引用了论文a,则可将针对顶点v1，将v1，v2，v3和v6建立为超边e1，本专利针对每个顶点建立一个超边。在Citeseer数据集中，共有3327篇论文，按上述方式，可建3327条超边，可得关联矩阵H∈R3327×3327。S103、借助于超图谱理论，定义超图上的卷积运算，构建超图卷积网络模型。具体的，步骤S103包括：S1031、借助于超图谱理论，在频域定义超图上的卷积预算，并进一步简化卷积运算操作，只需中心节点以及一阶近邻节点参与卷积操作，以有效降低运算复杂度。具体地，在步骤S1031中，针对超图上的卷积运算问题，借助于超谱图理论，在频域定义超图上的卷积为X*Gθ＝U(UTCθ⊙UTx)，其中x∈RN为定义在超图模型上的特征矩阵，U为超图拉普拉斯矩阵L的特征向量组成的矩阵，为相应特征值构成的对角矩阵，UTx为x的超图傅里叶变换。根据卷积定理，Gθ为超图拉普拉斯矩阵特本文档来自技高网...

【技术保护点】
1.一种超图卷积网络模型及其半监督分类方法，其特征在于：包括如下步骤：步骤1：对非欧式结构的样本数据特征进行稀疏编码，形成样本表示系数矩阵；步骤2：依据样本的相似性构建超边，计算超边权重，构建超图模型；步骤3：借助于超图谱理论，定义超图上的卷积运算，构建超图卷积网络模型；步骤4：定义超图卷积网络上的半监督学习方法，设计损失函数，旨在利用少量标定样本的类别信息，预测所有样本的类别标签；步骤5：分别制作训练、验证和测试的半给定标签矩阵，设置超参数，利用Adam随机梯度下降算法训练网络模型；步骤6：对于给定数据，用训练好的模型预测未知的样本类别，实现半监督分类。

【技术特征摘要】
1.一种超图卷积网络模型及其半监督分类方法，其特征在于：包括如下步骤：步骤1：对非欧式结构的样本数据特征进行稀疏编码，形成样本表示系数矩阵；步骤2：依据样本的相似性构建超边，计算超边权重，构建超图模型；步骤3：借助于超图谱理论，定义超图上的卷积运算，构建超图卷积网络模型；步骤4：定义超图卷积网络上的半监督学习方法，设计损失函数，旨在利用少量标定样本的类别信息，预测所有样本的类别标签；步骤5：分别制作训练、验证和测试的半给定标签矩阵，设置超参数，利用Adam随机梯度下降算法训练网络模型；步骤6：对于给定数据，用训练好的模型预测未知的样本类别，实现半监督分类。2.根据权利要求1所述的超图卷积网络模型及其半监督分类方法，其特征在于：步骤3包括如下步骤：步骤3.1：借助于超图谱理论，在频域定义超图上的卷积预算，并进一步简化卷积运算操作，只需中心节点以及一阶近邻节点参与卷积操作，以有效降低运算复杂度；步骤3.2：在超图上级联卷积滤波操作，引...

【专利技术属性】
技术研发人员：孙玉宝，徐宏伟，刘青山，陈基伟，陈逸，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32