一种文本分类方法及装置、存储介质、计算机设备制造方法及图纸

本申请公开了一种文本分类方法及装置、存储介质、计算机设备，该方法包括：获取待分类文本对应的分词集合，所述分词集合由所述待分类文本中的分词组成；将所述分词集合输入至文本分类模型中，并通过所述文本分类模型输出所述待分类文本在各个预设类别下对应的目标概率，所述文本分类模型包括至少一组随机失活层以及失活池化层，所述随机失活层中包括多个随机节点集合，每个所述随机节点集合基于目标层的预设节点以及随机失活机制得到，所述失活池化层接收每个所述随机节点集合的输出并进行平均池化处理，所述目标层为目标嵌入层、目标卷积层、目标池化层以及目标全连接层中的一种；基于所述目标概率，确定所述待分类文本对应的文本类别。文本类别。文本类别。

【技术实现步骤摘要】
一种文本分类方法及装置、存储介质、计算机设备


[0001]本申请涉及自然语言处理
，尤其是涉及到一种文本分类方法及装置、存储介质、计算机设备。

技术介绍

[0002]随着神经网络模型的快速发展，越来越多的深度学习技术被运用到自然语言处理领域中。其中，文本分类任务是自然语言处理领域的热门任务之一，通过神经网络模型可以将海量的文本归纳总结到不同的类别中，不仅可以方便用户的查阅，而且可以有效的缩减人工分类成本，提高办公效率。
[0003]当前dropout机制被广泛运用于各种神经网络模型中，具体可应用于神经网络模型的全连接层、池化层、编码层等中。通过运用dropout机制可以直接有效的降低模型的过拟合能力，增强模型的鲁棒性。此外，通过随机的dropout掉神经网络中的神经元，使得同一个样本以不同的形式输入到神经网络模型的下游网络中，间接的增加了训练样本，加快了模型的收敛性。但在实际运用中发现，不同的dropout几率对模型的影响较大，在同一个神经网络模型的训练过程中，如果dropout过小，模型依然容易发生过拟合，如果dropout过大，则容易导致神经网络模型难以收敛，模型准确率较差。

技术实现思路

[0004]有鉴于此，本申请提供了一种文本分类方法及装置、存储介质、计算机设备，可以将dropout机制多次使用在同一层神经网络中，在dropout几率较小的情况下，多次随机drop掉同一层神经网络的不同神经元，而在下层网络中，又利用平均池化机制将其结合到一起，能够进一步有效的提高模型的泛化能力，防止过拟合程度，同时有助于神经网络模型的收敛，可以有效提升模型准确率。
[0005]根据本申请的一个方面，提供了一种文本分类方法，包括：
[0006]获取待分类文本对应的分词集合，所述分词集合由所述待分类文本中的分词组成；
[0007]将所述分词集合输入至文本分类模型中，并通过所述文本分类模型输出所述待分类文本在各个预设类别下对应的目标概率，所述文本分类模型包括至少一组随机失活层以及失活池化层，所述随机失活层中包括多个随机节点集合，每个所述随机节点集合基于目标层的预设节点以及随机失活机制得到，所述失活池化层接收每个所述随机节点集合的输出并进行平均池化处理，所述目标层为目标嵌入层、目标卷积层、目标池化层以及目标全连接层中的一种；
[0008]基于所述目标概率，确定所述待分类文本对应的文本类别。
[0009]根据本申请的另一方面，提供了一种文本分类装置，包括：
[0010]分词集合获取模块，用于获取待分类文本对应的分词集合，所述分词集合由所述待分类文本中的分词组成；
[0011]目标概率输出模块，用于将所述分词集合输入至文本分类模型中，并通过所述文本分类模型输出所述待分类文本在各个预设类别下对应的目标概率，所述文本分类模型包括至少一组随机失活层以及失活池化层，所述随机失活层中包括多个随机节点集合，每个所述随机节点集合基于目标层的预设节点以及随机失活机制得到，所述失活池化层接收每个所述随机节点集合的输出并进行平均池化处理，所述目标层为目标嵌入层、目标卷积层、目标池化层以及目标全连接层中的一种；
[0012]文本类别确定模块，用于基于所述目标概率，确定所述待分类文本对应的文本类别。
[0013]依据本申请又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述文本分类方法。
[0014]依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述文本分类方法。
[0015]借由上述技术方案，本申请提供的一种文本分类方法及装置、存储介质、计算机设备，首先可以获取待分类文本对应的分词集合，待分类文本对应的分词集合可以由待分类文本中包含的分词组成。具体地，可以包括待分类文本中的全部分词；还可以将待分类文本对应的全部分词中去掉一部分停用词等，由剩余的分词组成。获取到分词集合之后，可以将该分词集合输入到文本分类模型中，之后文本分类模型可以对应输出该分词集合在不同预设类别下的目标概率。确定了各个预设类别下的目标概率之后，可以进一步根据这些目标概率，确定出待分类文本对应的文本类别。具体地，可以从各个目标概率中找出最大的概率，并将最大的概率对应的预设类别作为待分类文本对应的文本类别。本申请可以将dropout机制多次使用在同一层神经网络中，在dropout几率较小的情况下，多次随机drop掉同一层神经网络的不同神经元，而在下层网络中，又利用平均池化机制将其结合到一起，能够进一步有效的提高模型的泛化能力，防止过拟合程度，同时有助于神经网络模型的收敛，可以有效提升模型准确率。
[0016]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
[0017]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0018]图1示出了本申请实施例提供的一种文本分类方法的流程示意图；
[0019]图2示出了本申请实施例提供的一种文本分类模型的结构示意图；
[0020]图3示出了本申请实施例提供的另一种文本分类方法的流程示意图；
[0021]图4示出了本申请实施例提供的一种文本分类装置的结构示意图。
具体实施方式
[0022]下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的
情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0023]在本实施例中提供了一种文本分类方法，如图1所示，该方法包括：
[0024]步骤101，获取待分类文本对应的分词集合，所述分词集合由所述待分类文本中的分词组成；
[0025]本申请实施例提供的文本分类方法基于dropout机制实现，具体可以应用于任何带有dropout机制的神经网络模型中。Dropout机制，也即随机失活机制，当其被应用在神经网络的某一层时，可以对该层的神经网络设置一个keep_prob(节点保留概率)，然后过遍历该层的节点，在遍历过程中，该层的节点有keep_prob的概率被保留，keep_prob的取值范围在0到1之间。通过设置神经网络该层节点的保留概率，使得神经网络不会去偏向于某一个节点(因为该节点有可能被删除)，从而使得每一个节点的权重不会过大，来减轻神经网络的过拟合。现有技术中，在传统的神经网络模型训练过程中，将文本对应的分词集合输入到模型网络层中，若某一层被应用dropout机制，那么通常在该层使用单次dropout机制来降低模型的过拟合程度，该方法可以有效的防止模型过拟合，但由于不同的dropout几率对模型的影响效果较大，在实际训练中往往难以把握本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分类方法，其特征在于，包括：获取待分类文本对应的分词集合，所述分词集合由所述待分类文本中的分词组成；将所述分词集合输入至文本分类模型中，并通过所述文本分类模型输出所述待分类文本在各个预设类别下对应的目标概率，所述文本分类模型包括至少一组随机失活层以及失活池化层，所述随机失活层中包括多个随机节点集合，每个所述随机节点集合基于目标层的预设节点以及随机失活机制得到，所述失活池化层接收每个所述随机节点集合的输出并进行平均池化处理，所述目标层为目标嵌入层、目标卷积层、目标池化层以及目标全连接层中的一种；基于所述目标概率，确定所述待分类文本对应的文本类别。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述随机失活层的上一层的输出作为第一输出，当所述随机失活层接收到所述第一输出时，基于随机失活机制从对应目标层的预设节点中确定每个所述随机节点集合中包括的目标节点，将所述第一输出分别输入至所述随机失活层的不同随机节点集合中，并基于所述随机节点集合中的所述目标节点对所述第一输出进行处理，得到每个随机节点集合对应的第二输出；分别将每个所述第二输出输入至所述失活池化层中，得到平均池化处理结果。3.根据权利要求2所述的方法，其特征在于，所述随机失活机制中包括每个所述随机失活层对应的目标层的节点保留概率，所述节点保留概率用于从所述目标层的预设节点中随机确定目标节点，以基于所述目标节点组成所述随机节点集合。4.根据权利要求1所述的方法，其特征在于，所述将所述分词集合输入至文本分类模型中之前，所述方法还包括：获取训练样本文本集合，所述训练样本文本集合中包括多个训练样本文本，每个所述训练样本文本对应有第一分类标签；确定每个所述训练样本文本对应的训练样本分词集合，将所述训练样本分词集合输入至预设分类模型中，并通过所述预设分类模型输出每个所述训练样本文本在各个预设类别下对应的第一预测概率，所述预设分类模型包括至少一组预设失活层以及预设池化层，所述预设失活层中包括多个随机节点集合，每个所述随机节点集合基于初始层的预设节点以及随机失活机制得到，所述预设池化层接收每个所述随机节点集合的输出并进行平均池化处理，所述初始层为初始嵌入层、初始卷积层、初始池化层以及初始全连接层中的一种；基于每个所述训练样本文本对应的所述第一预测概率以及所述第一分类标签，通过预设损失函数计算所述预设分类模型的模型损失值，并基于所述模型损失值调整所述预设分类模型的模型参数，直至模型损失值小于或者等于预设损失阈值时结束，得到所述文本分类模型。5.根据权利要求4所述的方法，其特征在于，所述得到...

【专利技术属性】
技术研发人员：陈浩，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：