基于深度学习的多标签文本分类方法技术

本发明专利技术涉及多标签文本分类技术领域，具体为一种基于深度学习的多标签文本分类方法，本方法中构建了基于图卷积和交叉注意力的多标签文本分类模型，该模型包括词嵌入模块、基于结构化自注意力的文本表示模块、基于图卷积的标签特征优化模块、交叉注意力模块、语义融合模块和分类模块。本方案基于该模型获得文档文本表示和融合标签相关性的标签文本表示，由于两种文本都有不同的侧重点，基于自注意力机制的文档文本表示关注了文本的整体语义，而基于图卷积网络融合标签语义的标签文本表示则更关注标签本身和标签之间的关系。本方案基于门控机制进行特征融合，对这两种文本表示进行加权计算，获得更加全面的文本表示特征，提升了模型的分类能力。模型的分类能力。模型的分类能力。

【技术实现步骤摘要】
基于深度学习的多标签文本分类方法


[0001]本专利技术涉及多标签文本分类
，具体为一种基于深度学习的多标签文本分类方法。

技术介绍

[0002]文本数据通常具有非结构性和冗余性，在多标签文本数据集中，每个文档可能具有大量对应的标签，这些特点决定了在多标签文本分类问题中通常存在着标签信息的利用、标签之间潜在关系的处理以及文本特征表示这几个研究优化方向。
[0003]目前主流的多标签文本分类基准模型通常重点关注文本特征表示问题，如卷积神经网络可以有效提取文本的局部特征，循环神经网络可以学习文本中的长距离依赖关系等。但传统的多标签文本分类方法忽略了标签本身的语义和标签之间的关系，从而降低了模型分类的性能。

技术实现思路

[0004]本专利技术的技术问题在于传统的多标签文本分类方法忽略了标签本身的语义和标签之间的关系，从而降低了模型分类的性能。
[0005]本专利技术提供的基础方案：基于深度学习的多标签文本分类方法，包括步骤：
[0006]S1：对训练集的语料库进行词向量训练；
>[0007]S2：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的多标签文本分类方法，其特征在于，包括步骤：S1：对训练集的语料库进行词向量训练；S2：基于Bi
‑
LSTM模型学习文档文本中的每个单词的词向量，通过结构化自注意力机制提取文本中的高级语义，获得文档文本表示；S3：通过图卷积网络优化标签特征；S4：基于交叉注意力机制对Bi
‑
LSTM模型输出的文本语义特征和图卷积网络输出的标签特征进行信息交互，获得标签文本表示；S5：通过加权计算取得最终文本表示；S6：将最终文本表示经过池化后传入全连接层，进行标签维度向量的线性映射，计算标签的预测概率。2.根据权利要求1所述的基于深度学习的多标签文本分类方法，其特征在于，所述S1包括步骤：S101：获取原始训练集，对原始训练集进行预处理；S102：基于Glove模型对训练集的语料库进行词向量训练。3.根据权利要求2所述的基于深度学习的多标签文本分类方法，其特征在于：词向量训练后取得文档文本向量W和标签文本向量L：W＝(w1,w2,...,w
n
)L＝(l1,l2,...,l
k
)式中，n为自定义的文本长度，W为固定个数的词向量构成，k为标签个数，分别为文本词向量表示和标签词向量表示。4.根据权利要求3所述的基于深度学习的多标签文本分类方法，其特征在于，所述S2中，包括步骤：S201：通过Bi
‑
LSTM网络获得文档文本的前向语义和后向语义，每个隐藏状态表达形式为：为：式中，w
t
为单词的词向量表示，h
t
为对应时刻的隐藏状态向量，由每个隐藏状态向量组成了具有文本前向语义特征和后向语义特征的基础文本表示，将经过Bi
‑
LSTM网络的文本特征表示记为H＝(h1,h2,...,h
n
)；S202：通过结构化自注意力机制提取文本中的高级语义，获得文档文本表示。5.根据权利要求4所述的基于深度学习的多标签文本分类方法，其特征在于，所述S202中的结构化注意力机制的计算过程包括步骤：S2021：确定Bi
‑
LSTM中各个隐藏状态对应的注意力权重：a＝softmax(w
s2
tanh(W
s1
H
T
))式中，a为权重矩阵，W
s1
为维度为d
a
×
d的权重矩阵，w
s2
是维度为d
a
的参...

【专利技术属性】
技术研发人员：李建平，高源，陈佳，陈丽熹，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：