一种基于深度图神经网络的文本分类方法及系统技术方案

本发明专利技术提出一种基于深度图神经网络的文本分类方法及系统，属于自然语言处理中的文本分类技术领域，其中方法包括：利用Bert对词节点初始向量进行初始化；利用语料库统计的词频

【技术实现步骤摘要】
一种基于深度图神经网络的文本分类方法及系统


[0001]本专利技术属于自然语言处理中的文本分类
，特别涉及一种基于深度图神经网络的文本分类方法及系统。

技术介绍

[0002]在自然语言的
，文本分类在现实生活中得到了广泛的应用，由于传统的文本分类研究主要集中在特征工程和分类算法上，因此基于深度学习的文本分类模型越来越受欢迎，包括单词嵌入模型和深度神经网络如CNN和RNN等。随着图神经网络的发展，一些基于图的分类模型逐渐出现，这些模型能够借助图神经网络捕获文本句子中的结构化信息，进而文档中的词共现信息更好地进行分类。
[0003]在实际应用的过程中，尽管现有的基于图网络的模型在几个文本分类数据集上取得了优异的表现，但是这些方法的图神经网络非常的浅，无法获取节点的长距离依赖，使得模型在长文本上的分类准确率不如短文本。

技术实现思路

[0004]专利技术目的：提出一种基于深度图神经网络的文本分类方法及系统，以解决现有技术存在的上述问题。利用Bert的预训练语言模型获取初始向量、利用DropEdge和自适应残差训练深度图网络，捕获文本中的结构化信息和长距离依赖，更准确地进行文本分类。
[0005]技术方案：第一方面，提出了一种基于深度图神经网络的文本分类方法，该方法包括以下步骤：
[0006]步骤1、读取语料库中的文档；
[0007]步骤2、利用微调后的Bert模型对步骤1中的文档节点向量执行初始化，得到文档节点的向量X
D
；
[0008]步骤3、利用word2vec模型对步骤1中的文档词向量执行初始化，得到文档词节点向量X
D
；
[0009]步骤4、通过词频
‑
逆文本频率指数和节点互信息获得边权重，构建一个包含词节点和文档节点的异构图；
[0010]步骤5、基于DropEdge网络和自适应残差结构，构建深度图卷积神经网络；
[0011]步骤6、利用步骤4中获得的异构图对步骤5中构建的深度图卷积神经网络，执行性能训练；
[0012]步骤7、利用步骤6中训练完成的深度图卷积神经网络对待分析的文本进行分析；
[0013]步骤8、分析过程中，利用softmax处理深度图卷积网络最后一层中输出的文档节点向量，得到每个文档对应的类别。其中，利用softmax获得分类结果的表达式为：
[0014][0015]式中，Z表示最终输出的分类类别；表示深度图卷积神经网络最后一层输出
的文档节点向量。
[0016]在第一方面的一些可实现方式中，构建异构图的过程中，包括以下步骤：
[0017]步骤4.1、利用词频
‑
逆文本频率指数获得词节点与文档节点的边权重；
[0018]步骤4.2、利用正节点互信息获得词与词节点的边权重；其中，正节点互信息的计算表达式为：
[0019][0020]式中，x,y表示图中任意两个节点，这里指任意两个词，P(x,y)表示词x,y在文档中同时出现的频率，P(x)和P(y)分别表示词x、y在文档中单独出现的频率。
[0021]步骤4.3、基于步骤4.1和步骤4.2中的边权重，构建一个包含词节点V
W
和文档节点V
D
的异构图G＝(V,E)。
[0022]在第一方面的一些可实现方式中，执行模型训练的过程中，网络更新对应的表达式为：
[0023][0024]式中，H表示节点的特征向量矩阵；I代表深度图卷积神经网络的层数；α和β表示预设的超参数；W
l
表示第l层的权重值；表示利用DropEdge随机抛弃掉一些边连接后得到的矩阵，抛弃的过程中，按照预设的比例来确定抛弃边的总数。
[0025]第二方面，提出一种基于深度图神经网络的文本分类系统，用于实现基于深度图神经网络的文本分类方法，该系统包括以下模块：数据读取模块、参数初始化模块、异构图构建模块、模型构建模块、模型优化模块、数据分析模块和数据输出模块。
[0026]其中，数据读取模块用于读取语料库中数据；参数初始化模块用于根据需求调用相应的语言模型执行向量初始化；异构图构建模块用于构建异构图；模型构建模块用于构建深度图卷积神经网络模型；模型优化模块用于优化深度图卷积神经网络模型的性能；数据分析模块用于利用深度图卷积神经网络模型对待分析的文本执行分类分析；数据输出模块用于输出数据分析模块的分析结果。
[0027]在第二方面的一些可实现方式中，首先利用数据读取模型读取语料库中的文档，并通过参数初始化模块中的Bert模型和word2vec模型对文档节点向量和词向量执行初始化；其次，异构图构建模块通过词频
‑
逆文本频率指数和节点互信息获得边权重，并基于边权重构建一个包含词节点和文档节点的异构图；再次，利用模型优化模块将异构图输入模型构建模块构建的深度图卷积神经网络模型中执行性能训练；从次，在数据分析模块中，利用训练完成的深度图卷积神经网络对待分析的文本执行分类分析；最后，利用数据输出模块将数据分析模块的分类结果输出。
[0028]参数初始化模块中的Bert模型执行文档节点向量初始化之前，首先根据文本分类需求，采用语料库对Bert模型执行微调，得到训练好的Bert模型；随后，采用微调后的Bert模型对文档节点向量进行初始化，得到文档节点的向量。
[0029]第三方面，提供了一种基于深度图神经网络的文本分类设备，该设备包括：处理器，以及存储有计算机程序指令的存储器；其中处理器读取并执行计算机程序指令时实现第一方面或第一方面的一些可实现方式中的文本分类方法。
[0030]第四方面，，提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或第一方面的一些可实现方式中的文本分类方法。
[0031]有益效果：本专利技术提出了一种基于深度图神经网络的文本分类方法及系统，有效解决了现有技术中的深度神经网络无法捕捉文本结构化信息的缺陷；同时本专利技术还有效解决了图卷积网络无法获取多跳节点信息的问题，另外本专利技术通过DropEdge和自适应残差得到深度图卷积网络，提升了长文本的分类准确率。
附图说明
[0032]图1为本专利技术实施例的数据处理流程图。
[0033]图2为本专利技术实施例的图神经网络模块的示意图。
[0034]图3为本专利技术实施例数据集文档节点初始向量t
‑
SNE降维后的可视化结果图。
[0035]图4为本专利技术实施例深度图卷积网络输出的节点向量t
‑
SNE降维后的可视化结果图。
具体实施方式
[0036]在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。...

【技术保护点】

【技术特征摘要】
1.一种基于深度图神经网络的文本分类方法，其特征在于，包括以下步骤：步骤1、读取语料库中的文档；步骤2、利用Bert模型对步骤1中的文档节点向量执行初始化；步骤3、利用word2vec模型对步骤1中的文档词向量执行初始化；步骤4、通过词频
‑
逆文本频率指数和节点互信息获得边权重，构建一个包含词节点和文档节点的异构图；步骤5、基于DropEdge网络和自适应残差结构，构建深度图卷积神经网络；步骤6、利用步骤4中获得的异构图对步骤5中构建的深度图卷积神经网络，执行性能训练；步骤7、利用步骤6中训练完成的深度图卷积神经网络对待分析的文本进行分析；步骤8、分析过程中，根据文档节点的输出向量，得到每个文档对应的类别。2.根据权利要求1所述的一种基于深度图神经网络的文本分类方法，其特征在于，所述步骤2执行文档节点向量初始化时，包括以下步骤：步骤2.1、针对文本分类需求，采用语料库对Bert模型执行微调，得到训练好的Bert模型；步骤2.2、采用微调后的Bert模型对文档节点向量进行初始化，得到文档节点的向量。3.根据权利要求1所述的一种基于深度图神经网络的文本分类方法，其特征在于，所述步骤4构建异构图的过程中，包括以下步骤：步骤4.1、利用词频
‑
逆文本频率指数获得词节点与文档节点的边权重；步骤4.2、利用正节点互信息获得词与词节点的边权重；步骤4.3、基于步骤4.1和步骤4.2中的边权重，构建一个包含词节点V
W
和文档节点V
D
的异构图G＝(V,E)。4.根据权利要求3所述的一种基于深度图神经网络的文本分类方法，其特征在于，所述正节点互信息的计算表达式为：式中，x,y表示图中任意两个节点，这里指任意两个词，P(x,y)表示词x,y在文档中同时出现的频率，P(x)和P(y)分别表示词x、y在文档中单独出现的频率。5.根据权利要求1所述的一种基于深度图神经网络的文本...

【专利技术属性】
技术研发人员：赵天理，陈嘉源，
申请(专利权)人：中科南京人工智能创新研究院，
类型：发明
国别省市：