基于对比学习的GCN-GRU文本分类方法技术

本发明专利技术属于人工智能与文本分类领域，公开了一种基于对比学习的GCN

【技术实现步骤摘要】
基于对比学习的GCN
‑
GRU文本分类方法


[0001]本专利技术属于人工智能与文本分类领域，具体涉及一种基于对比学习的GCN
‑
GRU文本分类方法。

技术介绍

[0002]随着信息化和大数据时代的到来，互联网上时时刻刻都在产生文本信息。这些文本信息分布于各行各业，从这些实时海量的文本中快速准确挖掘出有价值的信息有广泛的现实意义和应用场景。例如，在社交媒体中，虚假信息时时刻刻在网络传播，快速准确识别出其中的虚假信息有助于稳定社会秩序，为公众树立正确的价值观。因此，对海量文本进行有效的文本分类具有现实意义和广泛的应用场景。
[0003]文本分类是自然语言处理中最基本的一项任务，其根据文本的内容等特征按照特定的分类体系标准将其划分到预定义的类别中，能大大提高文本处理、文本挖掘的效率。文本分类有广泛的应用场景，例如情感分类、人机对话、主题分类等。文本分类本身也由不同的子任务组成。从类别角度看，文本分类可以分为多类别分类、多标签分类。多类别分类是指分类任务包含两个及以上的类别标签，每个分类样本只对应一个类别标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的GCN
‑
GRU文本分类方法，其特征在于，包括以下步骤：S1：构建语料库级图学习具有全局结构的节点表示；S2：采用互信息计算单词对之间的权重值；S3：采用词频
‑
逆文档词频计算单词和文本之间的权重值；S4：初始化节点表示；S5：GCN更新节点表示，学习具有全局结构信息的文本表示global(v)；S6：构建GRU学习具有局部信息的文本表示local(v)；S7：采用注意力机制将全局结构信息的文本表示和局部语义信息的文本表示融合；S8：训练阶段预测文本标签，对文本进行分类；S9：引入对比学习，将GCN模块的输出作为模型的正例样本，用正例样本约束修正GRU的输出，将全局结构信息的文本表示和局部语义信息的文本表示经过一层非线性转换得到两个概率分布，将GCN得到的概率分布p
local
作为数据近似分布，将GRU得到的概率分布g
lobal
作为数据原分布，用p
global
来约束p
local
，使得两者的分布近似一致；D
KL
(p
local
‖p
global
)是p
global
约束p
global
计算得到的单向KL散度值，将其作为正则化项加入原始交叉熵损失函数中：L＝Loss1+α
·
D
KL
(p
local
‖p
global
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(25)其中，Loss1是最初的交叉熵损失函数，D
KL
是正则化项，α是正则化项的参数，取值范围为[0,1]；S10：测试阶段采用GRU模块对新文本进行预测。2.根据权利要求1所述基于对比学习的GCN
‑
GRU文本分类方法，其特征在于，步骤S2中，单词对之间权重值的计算公式如下：重值的计算公式如下：重值的计算公式如下：PMI即Pointwise Mutual Information互信息，#D(w
i
，w
j
)是语料库中同时包含单词w
i
和单词w
j
的文本数量，#D(w
i
)是语料库中包含单词w
i
的文本数量，#D是语料库中包含的文本数量。3.根据权利要求1所述基于对比学习的GCN
‑
GRU文本分类方法，其特征在于，步骤S3中，单词和文本之间的权重值的计算公式如下：单词和文本之间的权重值的计算公式如下：TF
‑
IDF(x)＝TF(x)*IDF(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中n
w
代表单词w在某个文章中出现的次数，n代表该文章包含的单词总数；#D代表语料库中包含的文本数量，#D
w
代表包含单词w的文本数量。4.根据权利要求1所述基于对比学习的GCN
‑
GRU文本分类方法，其特征在于，步骤S4中，
单词节点表示从Glove词向量获取，文本节点由该文本中所有单词节点表示的平均值初始化。5.根据权利要求1所述基于对比学习的GCN
‑
GRU文本分类方法，其特征在于，步骤S5中，首先采用两层的GCN模块聚合邻居节点信息，更新过程如下所示：其中，σ(x)＝1/(1+e
‑
x
)为sigmoid激活函数，为标准化对称邻接矩阵A和D分别代表图的邻接矩阵和度矩阵，A
ij
＝{0,1}，0节点和没有连边，1代表节点v
i
和v
j
没有连边，W
j
为当前GCN层的权重矩阵，H
(j)
为第j层GCN的输入，L
(j+1)
为第j层GCN的输出；GCN采用文本节点本身表示和邻居节点表示的加权聚合学习图中文本的嵌入表示；由于不同的单词对文本的重要程度不同，因此引入图注意力层，从而学习到适当的邻居结点权重；采用自注意力机制计算注意力权重e
vu
和邻居节点权重a
vu
，计算过程如下所示：e
vu
＝σ(W
·
[h
v
‖h
u
])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)其中，v代表当前待更新的节点，u为其中一个邻居节点，N
v
为节点v的邻居节点集合；h
v
和h
u
为节点v和u的向量表示，W为注意力权重矩阵，σ(x)＝1/(1+e
‑
x
)为sigmoid激活函数；最终，通过聚合节点v的邻居节点特征更新节点v的表示如下所示：其中h
′
v
为第j层GCN输出向量，其聚合了邻居节点的所有重要信息；在经过多层GCN后，聚合全局域信息的文本节点嵌入表示为global(v)。6.根据权利要求1所述基于对比学习的GCN...

【专利技术属性】
技术研发人员：高超，吴欣俣，王震，李向华，李学龙，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：