【技术实现步骤摘要】
本申请涉及自然语言处理，特别涉及一种文本分类模型训练方法、文本分类方法及相应装置、电子设备、计算机可读存储介质。
技术介绍
1、在自然语言处理过程中，可以先对初始文本模型进行预训练，从而得到与下游任务无关的文本模型，进而基于具体的下游任务，使用与下游任务相关的训练数据对该文本模型进行针对性训练，从而得到能够执行下游任务的文本模型。在相关技术中，在预训练之后，还可以对文本模型进行一些微调训练。但是，当前的微调训练方法对文本模型的性能(例如，准确性)提升有限。
技术实现思路
1、本申请提供一种文本分类模型训练方法、文本分类方法及相应装置、设备、介质，可以提高微调文本分类模型的准确性。
2、第一方面，本申请提供了一种文本分类模型训练方法，该模型训练方法包括：获取第一文本训练集，所述第一文本训练集包括多个文本对，每个文本对包括第一语句和第二语句，其中，所述每个文本对中的第一语句相同；将所述第一文本训练集输入文本识别模型进行文本类别识别，得到所述第一语句的预测类别标签和各个文本对的预测文本对标签，所述预测类别标签用于预测所述第一语句的文本类别，所述预测文本对标签用于预测文本对中的第一语句和第二语句是否属于同一文本类别；根据所述预测类别标签、所述预测文本对标签、所述第一语句的标注类别标签和各个文本对的标注文本对标签确定第一总损失值，所述标注类别标签是用于表征所述第一语句的文本类别的真实标签，所述标注文本对标签是用于表征文本对中的第一语句和第二语句是否属于同一文本类别的真实标签；基于
3、第二方面，本申请提供了一种文本分类方法，该文本分类方法包括：将待分类文本输入文本分类模型进行文本分类，得到所述待分类文本的预测文本类别；其中，所述文本分类模型通过本申请实施例任一项所述的模型训练方法训练得到。
4、第三方面，本申请提供了一种文本分类模型训练装置，该文本分类模型训练装置包括：获取模块，用于获取第一文本训练集，所述第一文本训练集包括多个文本对，每个文本对包括第一语句和第二语句，其中，所述每个文本对中的第一语句相同；识别模块，用于将所述第一文本训练集输入文本识别模型进行文本类别识别，得到所述第一语句的预测类别标签和各个文本对的预测文本对标签，所述预测类别标签用于预测所述第一语句的文本类别，所述预测文本对标签用于预测文本对中的第一语句和第二语句是否属于同一文本类别；计算模块，用于根据所述预测类别标签、所述预测文本对标签、所述第一语句的标注类别标签和各个文本对的标注文本对标签确定第一总损失值，所述标注类别标签是用于表征所述第一语句的文本类别的真实标签，所述标注文本对标签是用于表征文本对中的第一语句和第二语句是否属于同一文本类别的真实标签；训练模块，用于基于所述第一总损失值更新所述文本识别模型的参数，得到所述文本分类模型。
5、第四方面，本申请提供了一种文本分类装置，该文本分类装置包括：分类模块，用于将待分类文本输入文本分类模型进行文本分类，得到所述待分类文本的预测文本类别；其中，所述文本分类模型通过本申请实施例任一项所述的模型训练方法训练得到。
6、第五方面，本申请提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的文本分类模型训练方法或者文本分类方法。
7、第六方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的文本分类模型训练方法或者文本分类方法。
8、本申请所提供的实施例，获取第一文本训练集，其中，第一文本训练集包括多个文本对，每个文本对包括第一语句和第二语句，每个文本对中的第一语句相同，文本对中的第二语句既包括与第一语句属于同一文本类别的语句，也包括与第一语句属于不同文本类别的语句，使得一部分文本对中的两个语句属于同一文本类别，还有一部分文本对中的两个语句属于不同的文本类别，为后续模型训练提供了训练数据；将第一文本训练集输入文本识别模型进行文本类别识别，可以得到第一语句的预测类别标签和各个文本对的预测文本对标签，通过两种不同的预测标签可以从多个角度反映文本识别模型当前的文本类别识别能力，进而为后续的模型更新提供重要参考依据；根据预测类别标签、预测文本对标签、第一语句的标注类别标签和各个文本对的标注文本对标签计算第一总损失值，通过第一总损失值可以反映当前的文本识别模型对文本语句的文本类别识别能力以及对文本对中的文本语句是否属于相同文本类别的判断能力，从多个角度综合性地衡量了文本识别模型的性能，因而可以更加准确且更具针对性地更新文本识别模型；进一步地，基于所述第一总损失值更新该文本识别模型的参数，即可得到准确性较高的文本分类模型。
9、应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种文本分类模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取第一文本训练集，包括：
3.根据权利要求2所述的方法，其特征在于，每个类别文本集包括多个文本语句；
4.根据权利要求3所述的方法，其特征在于，所述第二类别文本集的数量为N个；
5.根据权利要求1所述的方法，其特征在于，所述根据所述预测类别标签、所述预测文本对标签、所述第一语句的标注类别标签和各个文本对的标注文本对标签确定第一总损失值，包括：
6.根据权利要求5所述的方法，其特征在于，所述微调损失函数包括第一损失子函数、第二损失子函数和第三损失子函数；
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述基于第二文本训练集对初始文本处理模型进行预训练，得到所述文本识别模型之前，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述基于第二文本训练集对初始文本处理模型进行预训练，得到所述文本识别模型，包括：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。