文本分类方法、文本分类模型训练方法及相关设备技术

本申请公开了一种文本分类方法、文本分类模型训练方法及相关设备，该文本分类方法包括：获取待分类的文本信息，所述文本信息包括语句和词组；根据所述语句和所述词组构建异构图，所述异构图中的节点由所述语句和所述词组构成；将所述异构图对应的图数据输入文本分类模型，输出所述文本信息的分类结果；其中，所述分类结果基于N组节点特征确定得到，所述N组节点特征基于N头自注意力机制和所述图数据确定得到，所述N组节点特征与所述N头注意力机制相对应，N为大于1的整数。这样，不仅有利于关注到来自N个子空间的节点特征，提升节点特征的提取能力，还可以提高低频词组被关注的概率，减小特征矩阵稀疏问题，使得文本分类的准确性提高。

【技术实现步骤摘要】
文本分类方法、文本分类模型训练方法及相关设备
本申请属于自然语言处理
，具体涉及一种文本分类方法、文本分类模型训练方法及相关设备。
技术介绍
文本分类是自然语言处理(NLP)中最基本、最重要的任务之一。它的主要作用是对一句话或者一段文本进行归类。例如，可以确定该文本的新闻分类属于政治、体育、军事、社会中的哪个类型，确定该文本的情感分类属于正能量、负能量中的哪种类型，确定该文本的评论分类属于好评、中性、差评中的哪种类型等。在实际应用中，经常会遇到特征矩阵稀疏的问题，即一些词出现的机会或次数较少，但具有重要的特征，例如情感分类中表示欢喜的“豁朗”、“心醉”、“踌躇满志”等词要比“快乐”、“高兴”等词少见，表示伤心的“哀戚”、“酸楚”、“凄凉郁闷”等词要比“悲伤”、“难过”等词少见。也就是说，传统的文本分类算法的文本分类的准确性较低。
技术实现思路
本申请实施例的目的是提供一种文本分类方法、文本分类模型训练方法及相关设备，用于提高文本分类的准确性。第一方面，本申请实施例提供了一种文本分类方法，所述方法包括：获取待分类的文本信息，所述文本信息包括语句和词组；根据所述语句和所述词组构建异构图，所述异构图中的节点由所述语句和所述词组构成；将所述异构图对应的图数据输入文本分类模型，输出所述文本信息的分类结果；其中，所述分类结果基于N组节点特征确定得到，所述N组节点特征基于N头自注意力机制和所述图数据确定得到，所述N组节点特征与所述N头注意力机制相对应，N为大于1的整数。可以看出，本申请实施例，将待分类的文本信息转化为异构图的图数据，从而提取出该文本信息中各词组与各语句的特征数据，方便后续能够基于文本分类模型对图数据的节点分类进行预测，得到该文本信息的分类结果。同时，在文本分类模型中采用N头自注意力机制，可以对图数据进行N次图卷积计算，从而可以关注到节点在N个不同空间的特征(即N组节点特征)，提高低频词组被关注的概率，因而减小了特征矩阵稀疏问题，提高了文本分类的准确性。第二方面，本申请实施例提供了一种文本分类模型训练方法，所述方法包括：获取P个文本样本，所述P个文本样本包括语句和词组，所述语句携带有真实文本类型；根据所述P个文本样本构建P个异构图；根据所述P个异构图对应的图数据，对所述文本分类模型进行迭代训练，直至预设损失函数的损失值达到最小值；其中，所述预设损失函数用于计算每个文本样本的所述真实文本类型与预测文本类型之间的损失值，所述预测文本类型基于N组节点特征确定得到，所述N组节点特征基于N头自注意力机制和所述P个异构图对应的图数据确定得到，所述N组节点特征与所述N头注意力机制相对应，P和N为大于1的整数。可以看出，本申请实施例，根据P个异构图对应的图数据，对待预测模型进行迭代训练，可以确保训练后的文本分类模型的预测文本类型与真实文本类型相接近，从而保证训练得到的文本分类模型的预测结果的准确性。并且，在迭代训练过程中，由于预测文本类型是基于N头自注意力机制，对所对应的图数据进行N次图卷积计算得到，因而预测文本类型可以关注到节点在N个不同空间的特征(即N组节点特征)，提高低频词组被关注的概率，使得训练得到的文本分类模型能够减小特征矩阵稀疏问题，进一步提高文本分类的准确性。第三方面，本申请实施例提供了一种文本分类装置，所述装置包括：第一获取模块，用于获取待分类的文本信息，所述文本信息包括语句和词组；第一构建模块，用于根据所述语句和所述词组构建异构图，所述异构图中的节点由所述语句和所述词组构成；第一处理模块，用于将所述异构图对应的图数据输入文本分类模型，输出所述文本信息的分类结果；其中，所述分类结果基于N组节点特征确定得到，所述N组节点特征基于N头自注意力机制和所述图数据确定得到，所述N组节点特征与所述N头注意力机制相对应，N为大于1的整数。第四方面，本申请实施例提供了一种文本分类模型训练装置，所述装置包括：第五获取模块，用于获取P个文本样本，所述P个文本样本中的每个文本样本均包括语句和词组，所述语句携带有真实文本类型；第二构建模块，用于根据所述P个文本样本构建P个异构图；训练模块，用于根据所述P个异构图对应的图数据，对待训练模型进行迭代训练；第二处理模块，用于当预设损失函数的损失值达到最小值时，得到文本分类模型；其中，所述预设损失函数用于计算每个文本样本的所述真实文本类型与预测文本类型之间的损失值，所述预测文本类型基于N组节点特征确定得到，所述N组节点特征基于N头自注意力机制和所述P个异构图对应的图数据确定得到，所述N组节点特征与所述N头注意力机制相对应，P和N为大于1的整数。第五方面，本申请实施例提供了一种电子设备，所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的方法的步骤，或者，所述计算机程序被所述处理器执行时实现如第二方面所述的方法的步骤。第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤，或者，所述计算机程序被所述处理器执行时实现如第二方面所述的方法的步骤。附图说明图1为本申请实施例提供的文本分类方法的流程图；图2为本申请实施例提供的文本信息对应的异构图的示意图；图3为本申请实施例提供的文本分类模型的结构示意图；图4为本申请实施例提供的一阶邻域节点特征的计算流程示意图；图5为本申请实施例提供的文本分类模型训练方法的流程图；图6是本专利技术实施提供的文本分类装置的结构图；图7是本专利技术实施提供的文本分类模型训练装置的结构图；图8是本专利技术实施提供的电子设备的结构图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的文本分类方法进行详细地说明。参见图1，图1为本申请实施例提供的文本分类方法的流程图。如图1所示，该文本分类方法具体包括以下步骤本文档来自技高网...

【技术保护点】
1.一种文本分类方法，其特征在于，所述方法包括：/n获取待分类的文本信息，所述文本信息包括语句和词组；/n根据所述语句和所述词组构建异构图，所述异构图中的节点由所述语句和所述词组构成；/n将所述异构图对应的图数据输入文本分类模型，输出所述文本信息的分类结果；其中，所述分类结果基于N组节点特征确定得到，所述N组节点特征基于N头自注意力机制和所述图数据确定得到，所述N组节点特征与所述N头注意力机制相对应，N为大于1的整数。/n

【技术特征摘要】
1.一种文本分类方法，其特征在于，所述方法包括：
获取待分类的文本信息，所述文本信息包括语句和词组；
根据所述语句和所述词组构建异构图，所述异构图中的节点由所述语句和所述词组构成；
将所述异构图对应的图数据输入文本分类模型，输出所述文本信息的分类结果；其中，所述分类结果基于N组节点特征确定得到，所述N组节点特征基于N头自注意力机制和所述图数据确定得到，所述N组节点特征与所述N头注意力机制相对应，N为大于1的整数。


2.根据权利要求1所述的方法，其特征在于，所述异构图包括所述词组构成的第一节点和所述语句构成的第二节点；所述方法还包括：
获取所述第一节点的词向量，所述词向量用于指示所述第一节点对应的词组在所述第二节点对应的语句中的重要程度；
根据所述词向量确定逻辑回归算法的最优超参数；
根据所述最优超参数获取所述第一节点对应的回归系数；
根据所述回归系数确定所述图数据。


3.根据权利要求1所述的方法，其特征在于，所述文本分类模型包括嵌入层、第一图卷积神经网络和第二图卷积神经网络；所述将所述异构图对应的图数据输入文本分类模型，输出所述文本信息的分类结果，包括：
将所述图数据输入所述嵌入层，输出所述异构图中每个节点对应的初始特征矩阵；
将所述图数据和所述初始特征矩阵输入所述第一图卷积神经网络，输出一阶邻域节点特征，所述一阶邻域节点特征基于所述N组节点特征确定得到；
将所述图数据和所述一阶邻域节点特征输入所述第二图卷积神经网络，输出二阶邻域节点特征，所述二阶邻域节点特征用于指示所述分类结果。


4.根据权利要求3所述的方法，其特征在于，所述第一图卷积神经网络包括N维图卷积层、一维图卷积层和全连接层；所述将所述图数据和所述初始特征矩阵输入所述第一图卷积神经网络，输出一阶邻域节点特征，包括：
将所述图数据和所述初始特征矩阵输入所述N维图卷积层，输出N组节点权重；其中，所述N组节点权重基于所述N头自注意力机制、所述图数据和所述初始特征矩阵确定得到，所述N头自注意力机制用于对所述图数据和所述初始特征矩阵进行N次图卷积计算；
将所述图数据和所述初始特征矩阵输入所述一维图卷积层，输出中间邻域节点特征；
将所述N组节点权重中的每个节点权重分别与所述中间邻域节点特征进行加权计算，确定N组节点特征；
对所述N组节点特征进行拼接；
将拼接后的N组节点特征输入所述全连接层，输出所述一阶邻域节点特征。


5.根据权利要求4所述的方法，其特征在于，所述将拼接后的N组节点特征输入所述全连接层，输出所述一阶邻域节点特征，包括：
对拼接后的N组节点特征进行仿射变换；
将仿射变换后的N组节点特征与所述中间邻域节点特征进行残差计算；
将残差计算后的N组节点特征确定为所述一阶邻域节点特征。


6.根据权利要求1所述的方法，其特征在于，所述获取待分类的文本信息之后，所述方法还包括：
对所述文本信息进行数据清洗；
对数据清洗后的文本信息进行分词处理；
获取分词处理后的文本信息中的目标词组，所述目标词组为所述文本信息中词频大于预设阈值的词组；
所述根据所述语句和所述词组构建异构图，包括：根据所述语句和所述...

【专利技术属性】
技术研发人员：赵宏宇，赵国庆，蒋宁，王洪斌，吴海英，林亚臣，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：重庆;50