文本分类及模型训练方法、系统、设备及存储介质技术方案

本发明专利技术提供了文本分类及模型训练方法、系统、设备及存储介质，其中文本分类模型训练方法包括：在编码器上对文本样本数据进行编码，得到文本特征信息；在第一子模型上，对文本特征信息提取第一文本分类标签所对应的目标类文本特征并预测第一文本分类标签对应的第一文本分类结果；在第二子模型上，将文本特征信息和目标类文本特征进行拼接并根据拼接文本特征预测第二文本分类标签对应的第二文本分类结果；根据第一文本分类结果的第一损失函数、以及第二文本分类结果的第二损失函数获得文本分类模型的目标损失函数，利用目标损失函数训练文本分类模型，直到达到训练停止条件。本发明专利技术模型训练方法使任务间共享知识，提升每一种文本分类任务的结果。一种文本分类任务的结果。一种文本分类任务的结果。

【技术实现步骤摘要】
文本分类及模型训练方法、系统、设备及存储介质


[0001]本专利技术涉及自然语言处理
，具体地说，涉及文本分类及模型训练方法、系统、设备及存储介质。

技术介绍

[0002]自然语言处理(Natural Language Processing，简称NLP)，是用于文本分析及挖掘的核心工具，旨在高效处理文本。其中，分类任务是自然语言处理中一个最常见的任务。
[0003]文本分类(Text Classification或Text Categorization，TC)，又称自动文本分类(Automatic Text Categorization)，是指将载有信息的文本映射到预先给定的某一类别或某几类别主题的过程，通过文本分类，为各种智能场景节约了人力资源。因此文本分类问题是自然语言处理领域中一个非常经典的问题。

技术实现思路

[0004]针对现有技术中的问题，本专利技术的目的在于提供文本分类及模型训练方法、系统、设备及存储介质，克服了现有技术的困难，能够提升模型结果精确度。
[0005]本专利技术的实施例提供一种文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分类模型训练方法，其特征在于，所述文本分类模型包括编码器及共用所述编码器的第一子模型和第二子模型；所述文本分类模型训练方法包括：在所述编码器上对文本样本数据进行编码，得到文本特征信息，其中所述文本样本数据携带第一文本分类标签和第二文本分类标签，所述第一文本分类标签和第二文本分类标签分别对应不同种文本分类任务；在所述第一子模型上，对所述文本特征信息提取所述第一文本分类标签所对应的目标类文本特征，并根据所述目标类文本特征预测所述第一文本分类标签对应的第一文本分类结果；在所述第二子模型上，将所述文本特征信息和目标类文本特征进行拼接，得到拼接文本特征，并根据所述拼接文本特征预测所述第二文本分类标签对应的第二文本分类结果；根据所述第一文本分类结果与所述第一文本分类标签之间的第一损失函数、以及所述第二文本分类结果与所述第二文本分类标签之间的第二损失函数获得所述文本分类模型的目标损失函数，利用所述目标损失函数训练所述文本分类模型，直到达到训练停止条件。2.根据权利要求1所述的文本分类模型训练方法，其特征在于，所述文本分类模型还包括分词器；在所述编码器上对文本样本数据进行编码之前，所述文本分类模型训练方法还包括：获得目标文本样本，在所述分词器上对所述目标文本样本进行分词操作和断句操作，对应所述分词操作得到数字序列，对应所述断句操作得到包含所述数字序列的分片序列，根据所述分片序列获得所述文本样本数据。3.根据权利要求2所述的文本分类模型训练方法，其特征在于，所述获得目标文本样本，包括：获得原始文本样本，对所述原始文本样本基于句子结束标识符进行切分，得到子文本样本；在所述子文本样本的文本长度不短于事先设置的目标文本长度的情况下，对所述子文本样本进行切分，得到文本长度小于所述目标文本长度的所述目标文本样本。4.根据权利要求3所述的文本分类模型训练方法，其特征在于，在对所述原始文本样本基于句子结束标识符进行切分，得到子文本样本之前，所述文本分类模型训练方法还包括：对所述原始文本样本进行数据预处理。5.根据权利要求1所述的文本分类模型训练方法，其特征在于，所述编码器为基于变换器的双向编码器；在所述编码器上对文本样本数据进行编码，得到文本特征信息，包括：将所述文本样本数据输入基于变换器的双向编码器，以获得所述文本特征信息。6.根据权利要求1所述的文本分类模型训练方法，其特征在于，所述第一子模型包括级联的自注意力层及至少一级第一全连接层；在所述第一子模型上，对所述文本特征信息提取所述第一文本分类标签所对应的目标类文本特征，包括：对所述文本特征信息在所述自注意力层及至少一级第一全连接层上依次进行处理，以获得所述第一文本分类标签对应的目标类文本特征。
7.根据权利要求6所述的文本分类模型训练方法，其特征在于，所述第一子模型还包括级联的第二全连接层及归一化指数；根据所述目标类文本特征预测所述第一文本分类标签对应的第一文本分类结果，包括：对所述目标类文本特征在所述第二全连接层及归一化指数上进行处理，得到所述第一文本分类标签对应的第一文本分类结果。8.根据权利要求1所述的文本分类模型训练方法，其特征在于，所述第二子模型包括级联的第三全连接层及激活函数；根据所述拼接文本特征预测所述第二文本分类标签对应的第二文本分类结果，包括：对所述拼接文本特征在所述第三全连接层及激活函数上进行处理，以获得所述第二文本分类标签对应的第二文本分类结果。9.根据权利要求1所述的文本分类模型训练方法，其特征在于，在所述文本样本数据中包括数字序列的情况下，根据所述目标类文本特征预测所述第一文本分类标签对应的第一文本分类结果，包括：在所述目标类文本特征中获取对应第一位数字序列的目标特征向量，在所述第一子模型上对所述目标特征向量预测所述第一文本分类标签对应的第一文本分类结果。10.根据权利要求1所述的文本分类模型训练方法，其特征在于，在所述文本样本数据中包括数字序列的情况下，在所述第二子模型上，根据所述拼接文本特征预测所述第二文本分类标签对应的第二文本分类结果，包括：在所述拼接文本特征中获取对应第一位数字序列的第二目标特征向量，在所述第二子模型上对所述第二目标特征向量预测所述第二文本分类标签对应的第二文本分类结果。11.一种基于文本分类模型的文本分类方法，其特征在于，所述文本分类模型包括编码器及共用所述编码器的第一子模型和第二子模型；所述文本分类方法包括：在所述编码器上对目标文本数据进行编码，得到文本特征信息；在所述第一子模型上，对所述文本特征信息提取第一种文本分类任务所对应的目标类文本特征，并根据所述目标类文本特征预测所述第一种文本分类任务对应的第一文本分类结果；在所述第二子模型上，将所述文本特征信息和目标类文本特征进行拼接，得到拼接文本特征，并根据所述拼接文本特征预测第二种文本分类任务对应的第二文本分类结果。12.根据权利要求11所述的基于文本分类模型的文本分类方法，其特征在于，所述文本分类模型还包括分词器；所述文本分类方法还包括：在所述编码器上对目标文本数据进行编码之前，获得待处理文本，在所述分词器上对所述待处理文本进行分词操作和断句操作，对应所述分词操作得到数字序列，对应所述断句操作得到包含所述数字序列的分片序列，根据所述分片序列获得目标文本数据。13.根据权利要求12所述的基于文本分类模型的文本分类方法，其特征在于，所述获得待处理文本，包括：获得原始文本，对所述原始文本基于句子结束标识符进行切...

【专利技术属性】
技术研发人员：章宇超，周震卿，鞠剑勋，李健，
申请(专利权)人：携程旅游信息技术上海有限公司，
类型：发明
国别省市：