文本分类模型的训练方法、文本分类方法及相关设备技术

本申请公开了一种文本分类模型的训练方法、文本分类方法及相关设备。所述训练方法包括：通过预训练分类网络基于第一关系图的特征信息对预测文档样本进行文本分类处理，得到第一分类参考信息，第一关系图包括训练文档样本对应的文档节点、预测文档样本对应的文档节点、各文档样本包含的词语对应的词节点以及节点之间的连接边；通过图神经网络基于第一关系图的特征信息及结构信息确定第一关系图的语义指导信息并基于语义指导信息、特征信息、结构信息以及训练文档样本对应的类别标签，对预测文档样本进行文本分类处理，得到第二分类参考信息；基于第一分类参考信息、第二分类参考信息及预测文档样本对应的类别标签，优化图神经网络的网络参数。经网络的网络参数。经网络的网络参数。

Training method, text classification method and related equipment of text classification model

【技术实现步骤摘要】
文本分类模型的训练方法、文本分类方法及相关设备


[0001]本申请涉及计算机
，尤其涉及一种文本分类模型的训练、文本分类方法及相关设备。

技术介绍

[0002]文本分类任务是自然语言处理(Natural Language Processing，NLP)领域中的一个基本任务，能够广泛应用于电子商务、金融等相关业务中。
[0003]目前传统的文本分类任务都是基于采用基于卷积神经网络 (ConvolutionalNeural Network，CNN)和循环神经网络(Recurrent NeuralNetwork，RNN)等架构的文本分类模型，利用语料集对文本分类模型进行训练以使其具备执行分类任务的能力。但是，这类文本分类模型的性能欠佳，因而在训练过程中收敛速度较慢，并且训练得到的文本分类模型无法快速准确地进行文本分类。
[0004]因此，当前亟需一种能够提高文本分类模型的收敛速度和识别准确率的方案。

技术实现思路

[0005]本申请实施例提供一种文本分类模型的训练、文本分类方法及相关设备，用于提高文本分类模型的收敛速度和识别准确率。
[0006]为了实现上述目的，本申请实施例采用下述技术方案：
[0007]第一方面，本申请实施例提供一种文本分类模型的训练方法，包括：
[0008]基于文档样本集，获取第一关系图的结构信息和特征信息；所述文档样本集包括训练文档样本和预测文档样本，所述第一关系图包括多个节点和节点之间的连接边，所述多个节点包括训练文档样本对应的文档节点、预测文档样本对应的文档节点和所述文档样本集中的文档样本包含的词语对应的词节点；
[0009]通过文本分类模型中的预训练分类网络基于所述特征信息对所述预测文档样本进行文本分类处理，得到所述预测文档样本的第一分类参考信息；
[0010]通过所述文本分类模型中的图神经网络基于所述特征信息和所述结构信息确定所述第一关系图的语义指导信息；
[0011]通过所述图神经网络基于所述语义指导信息、所述特征信息、所述结构信息以及所述训练文档样本对应的类别标签，对所述预测文档样本进行文本分类处理，得到所述预测文档样本的第二分类参考信息；
[0012]基于所述第一分类参考信息、所述第二分类参考信息及所述预测文档样本对应的类别标签，优化所述图神经网络的网络参数。
[0013]可以看出，本申请实施例中，将文档样本及其中包含的词语分别作为关系图中的节点，将节点之间的关联关系用节点之间的连接边表示，从而将文本分类任务看作是节点分类任务，由于关系图相较于文档样本本身包含的信息更丰富，因而利用关系图进行文本分类模型的训练，使得文本分类模型能够学习到更丰富的知识，有利于提高文本分类模型
的性能。
[0014]在此基础上，采用包含预训练分类网络和图神经网络的文本分类模型架构，由预训练分类网络学习关系图的特征信息以对预测文档样本进行文本分类处理，由图神经网络学习关系图的特征信息和结构信息，充分利用关系图中节点之间的关联关系、节点的节点表示以及训练文档样本对应的类别标签，对预测文档样本进行文本分类处理，而后综合预训练分类网络和图神经网络各自得到的分类参考信息以及预测文档样本对应的类别标签，优化图神经网络的网络参数，可以充分融合两个网络的学习能力及分类参考信息，进一步提升文本分类模型的性能。
[0015]此外，在利用图神经网络进行文本分类处理时，先基于关系图的特征信息和结构信息确定关系图的语义指导信息，进一步利用图神经网络基于关系图的特征信息、结构信息、语义指导信息以及训练文档样本对应的类别标签，对预测文档样本进行文本分类处理，由于语义指导信息能够反映文档样本及其包含的词语各自的语义，进而能够为预测文档样本的文本分类处理任务提供语义指导，这样，不仅使得图神经网络能够在关系图中凭借训练文档样本对应的文档节点的节点表示去推理预测文档样本对应的文档节点的节点表示以实现文本分类，还使得图神经网络能够更聚焦于具有丰富语义信息的重要节点表示，因而能够快速收敛，也即提高了文本识别模型的收敛速度。
[0016]第二方面，本申请实施例提供一种文本分类方法，包括：
[0017]基于目标文档集，获取第二关系图的结构信息和特征信息；所述目标文档集包括待分类文档和已分类文档，所述第二关系图包括多个节点和节点之间的连接边，所述多个节点包括所述待分类文档对应的文档节点、所述已分类文档对应的文档节点和所述目标文档集中的文档包含的词语对应的词节点；
[0018]通过文本分类模型中的预训练分类网络基于所述特征信息对所述待分类文档进行文本分类处理，得到所述待分类文档的第一分类参考信息；
[0019]通过所述文本分类模型中的图神经网络基于所述特征信息和所述结构信息确定所述第二关系图的语义指导信息；
[0020]通过所述文本分类模型中的图神经网络基于所述语义指导信息、所述特征信息、所述结构信息以及所述已分类文档所属的类别，对所述待分类文档进行文本分类处理，得到所述待分类文档的第二分类参考信息；
[0021]基于所述待分类文档的第一分类参考信息和第二分类参考信息，确定所述待分类文档所属的类别。
[0022]可以看出，本申请实施例中，将待分类文档、已分类文档及各文档包含的词语分别作为关系图中的节点，将节点之间的关联关系用节点之间的连接边表示，从而将文本分类任务看作是节点分类任务，由于关系图相较于文档本身包含的信息更丰富，由文本分类模型基于关系图的特征信息和结构信息执行文本分类任务，使得文本分类模型能够获取到更丰富的知识，有利于提高文本分类准确率；在此基础上，采用包含预训练分类网络和图神经网络的文本分类模型架构，由预训练分类网络学习关系图的特征信息以对待分类文档进行文本分类处理，由图神经网络学习关系图的特征信息和结构信息，充分利用关系图中节点之间的关联关系、节点的节点表示以及已分类文档所属的类别进行文本分类处理，而后综合预训练分类网络和图神经网络各自得到的分类参考信息，确定待分类文档所属的类别，
可以充分融合两个网络的学习能力及预测结果，进一步提高文本分类准确率；此外，在利用图神经网络进行文本分类处理时，先基于关系图的特征信息和结构信息确定关系图的语义指导信息，进一步利用图神经网络基于关系图的特征信息、结构信息、语义指导信息以及已分类文档所属的类别，对未分类文档进行文本分类处理，由于语义指导信息能够反映各个文档及其包含的词语各自的语义，进而能够为待分类文档的文本分类处理任务提供语义指导，这样，不仅使得图神经网络能够在关系图中凭借已分类节点的节点表示去推理未分类节点的节点表示以实现文本分类，还使得图神经网络能够更聚焦于具有丰富语义信息的重要节点表示，因而能够快速得到分类结果，也即提高了文本识别效率。
[0023]第三方面，本申请实施例提供一种文本分类模型的训练装置，包括：
[0024]获取单元，用于基于文档样本集，获取第一关系图的结构信息和特征信息；所述文档样本集包括训练文档样本和预测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分类模型的训练方法，其特征在于，包括：基于文档样本集获取第一关系图的结构信息和特征信息；所述文档样本集包括训练文档样本和预测文档样本，所述第一关系图包括多个节点和节点之间的连接边，所述多个节点包括所述训练文档样本对应的文档节点、所述预测文档样本对应的文档节点和所述文档样本集包含的词语对应的词节点；通过文本分类模型中的预训练分类网络基于所述特征信息对所述预测文档样本进行文本分类处理，得到所述预测文档样本的第一分类参考信息；通过所述文本分类模型中的图神经网络基于所述特征信息和所述结构信息确定所述第一关系图的语义指导信息；通过所述图神经网络基于所述语义指导信息、所述特征信息、所述结构信息以及所述训练文档样本对应的类别标签，对所述预测文档样本进行文本分类处理，得到所述预测文档样本的第二分类参考信息；基于所述第一分类参考信息、所述第二分类参考信息本及所述预测文档样本对应的类别标签，优化所述图神经网络的网络参数。2.根据权利要求1所述的方法，其特征在于，所述文本分类模型中的图神经网络包括节点评分层，所述语义指导信息包括所述第一关系图中各个节点的重要性分值；所述通过所述文本分类模型中的图神经网络基于所述特征信息和所述结构信息确定所述第一关系图的语义指导信息，包括：利用所述节点评分层基于自注意力机制，通过所述结构信息和所述特征信息，确定所述第一关系图中各节点的注意力分值；从所述第一关系图中选取注意力分值满足预设分值条件的节点，并对选出的节点的注意力分值进行非线性变换处理，得到选出的节点的重要性分值；将所述第一关系图中未选取的节点的重要性分值设置为预设分值。3.根据权利要求2所述的方法，其特征在于，所述文本分类模型中的图神经网络还包括第一卷积层和第二卷积层，所述第一卷积层与所述第二卷积层相连接；所述通过所述文本分类模型中的图神经网络基于所述语义指导信息、所述特征信息、所述结构信息以及所述训练文档样本对应的类别标签，对所述预测文档样本进行文本分类处理，得到所述预测文档样本的第二分类参考信息，包括：利用所述第一卷积层基于所述训练文档样本对应的类别标签，对所述结构信息和所述特征信息进行卷积处理，得到第一卷积结果；将所述第一卷积结果与所述语义指导信息进行融合处理，得到融合卷积结果；将所述融合卷积结果输入至所述第二卷积层进行卷积处理得到第二分类参考信息。4.根据权利要求1所述的方法，其特征在于，所述基于所述第一分类参考信息、第二分类参考信息及所述预测文档样本对应的类别标签，优化所述图神经网络的网络参数，包括：获取所述预训练分类网络对应的第一权重，以及所述图神经网络对应的第二权重；将所述第一分类参考信息与所述第一权重进行相乘运算，以及将所述第二分类参考信息与所述第二权重进行相乘运算，并将相乘运算的结果进行融合处理；根据融合处理的结果确定所述预测文档样本的预测类别；基于所述预测文档样本的预测类别、所述预测文档样本对应的类别标签以及所述图神
经网络对应的预设损失函数，确定预测损失；基于所述预测损失，优化所述图神经网络的网络参数。5.根据权利要求1所述的方法，其特征在于，所述第一关系图中节点之间的连接边包括第一类连接边和第二类连接边，在基于文档样本集获取第一关系图的结构信息和特征信息之前，所述方法还包括：基于所述文档样本集中的训练文档样本和预测文档样本创建第一关系图；所述基于所述文档样本集中的训练文档样本和预测文档样本创建第一关系图，包括：基于所述文档样本集包含的词语，确定所述文档样本集对应的词语集；所述文档样本集包含的词语包括所述训练文档样本中词语和所述预测文档样本中词语；针对所述词语集中的各词语，创建所述各词语对应的词节点，并在满足第一创建边条件的不同词节点之间创建第一类连接边；针对所述文档样本集中的文档样本，创建所述训练文档对应的文档节点，以及创建所述预测文档对应的文档节点，并在满足第二创建边条件的文档节点与所述词节点之间创建第二类连接边。6.根据权利要求5所述的方法，其特征在于，所述第一关系图中各个连接边对应的边权重包括第一类连接边的边权重和的第二类连接边的边权重，获取第一关系图的结构信息，包括：基于所述词语集中任意的第一词语和第二词语各自在所述文档样本集中出现的概率以及所述第一词语和所述第二词语在同一文档样本中出现的...

【专利技术属性】
技术研发人员：赵宏宇，蒋宁，王洪斌，吴海英，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：