文本分类方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术涉及一种文本分类方法方法、装置、计算机设备和存储介质，该方法包括：从原始文本中提取待分析的目标文本数据；对目标文本数据进行预处理，得到目标文本数据的分词结果；基于分词结果得到目标文本数据对应的目标字向量、目标词向量和目标位置向量；将目标字向量、目标词向量和目标位置向量输入预先训练好的文本分类模型，得到文本分类模型输出的目标分类标签，其中，文本分类模型为经过微调的alber模型。上述方法时采用albert模型对文本数据进行处理，有效提高了文本分类效率和准确性。

【技术实现步骤摘要】
文本分类方法、装置、计算机设备和存储介质
本专利技术涉及自然语言处理
，特别是涉及文本分类方法、装置、计算机设备和存储介质。
技术介绍
随着网络技术的快速发展，海量的信息资源以文本的形式存在。如何对这些文本进行有效的分类，从海量的文本中快速、准确、全面的挖掘有效信息，已经成为了自然语言处理研究领域的热点之一。文本分类方法是指按照预先定义的主题类别，为文档集合中的每个文档确定一个类别。文本分类方法技术在日常生活中具有广泛的应用，例如，对专利文本的技术划分等等。与一般文本相比，专利文本具有结构特殊、专业性强、领域词汇较多等特点，需要采用更加针对的分类方法。专利文本分类方法属于自然语言处理领域，一般包括数据预处理、文本特征表示、分类器选择及效果评价等步骤，其中文本特征表示与分类器选择最为重要，将直接影响分类结果的准确性。现有技术中，基于传统机器学习的文本分类方法，如TF-IDF文本分类方法是仅以“词频”度量词的重要性，后续构成文档的特征值序列，词之间各自独立，无法反映序列信息；易受数据集偏斜的影响，如某一类别的文档偏多，会导致I本文档来自技高网...

【技术保护点】
1.一种文本分类方法，其特征在于，所述方法包括：/n从原始文本中提取待分析的目标文本数据；/n对所述目标文本数据进行预处理，得到所述目标文本数据的分词结果；/n将所述分词结果输入与训练好的文本分类模型中，所述文本分类模型基于所述分词结果得到所述目标文本数据对应的目标字向量、目标词向量和目标位置向量以及基于所述目标字向量、所述目标词向量和所述目标位置向量得到所述目标文本数据的目标分类标签；其中，所述文本分类模型为经过训练的alber模型。/n

【技术特征摘要】
1.一种文本分类方法，其特征在于，所述方法包括：
从原始文本中提取待分析的目标文本数据；
对所述目标文本数据进行预处理，得到所述目标文本数据的分词结果；
将所述分词结果输入与训练好的文本分类模型中，所述文本分类模型基于所述分词结果得到所述目标文本数据对应的目标字向量、目标词向量和目标位置向量以及基于所述目标字向量、所述目标词向量和所述目标位置向量得到所述目标文本数据的目标分类标签；其中，所述文本分类模型为经过训练的alber模型。


2.根据权利要求1所述的文本分类方法，其特征在于，在从原始文本中提取待分类的文本数据之前，还包括：
提取待所述原始文本中关键词，并构成关键词集；
基于TF-IDF模型确定所述关键词集在各个类别的语料库中的词频-逆文档频率；
基于所述原始文本的关键词集在各个类别的语料库中的词频-逆文档频率，确定所述原始文本属于各个类别的置信度；
根据所述原始文本属于各个类别的置信度，确定所述原始文本的一级分类标签；
将所述一级分类标签与预设的一级分类标签信息进行匹配，并根据匹配结果确定是否采用所述文本分类模型对所述原始文本进行文本分类。


3.根据权利要求1所述的文本分类方法，其特征在于，所述对所述文本数据进行预处理，得到分词结果，包括：
对所述目标文本数据进行去停用词、去重中的一种，得到第二文本数据，对所述第二文本数据进行分词操作，得到分词结果。


4.根据权利要求1所述的文本分类方法，其特征在于，所述方法还包括：训练所述文本分类模型，所述训练所述文本分类模型，包括：
获取第一训练样本集，所述第一训练样本集中包含第一训练文本，且所述第一训练文本包含对应的第一分类标签；
基于所述第一训练样本集，以所述第一分类标签为分类目标预训练albert模型，得到初始文本分类模型；
判断所述初始文本分类模型的分类结果的准确率是否大于预设阈值，
如果大于所述预设阈值，则以所述初始文本分类模型为最终的文本分类模型；
如果不大于所述预设阈值，则对所述第一训练文本对应的分类标签进行纠错，并基于纠错后的第一训练样本集对所述初始文本分类模型进行迭代，直至所述初始文本分类模型的分类结果的准确率大于预设阈值。


5.根据权利要求4所述的文本分类模型的训练方法，其特征在于，所述判断...

【专利技术属性】
技术研发人员：刘翔，谷坤，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44