一种文本分类模型构建方法、文本分类方法及装置制造方法及图纸

本发明专利技术公开了一种文本分类模型构建方法、文本分类方法及装置，其中，文本分类模型构建方法包括：获取训练文本数据以及对应训练文本数据所属领域的多个预设标签属性信息；将训练文本数据以及多个预设标签属性信息输入到阅读理解模型，得到每一个训练文本数据与每一个预设标签属性信息之间的文本交互表示；将每一个文本交互表示输入到特征提取模型，得到文本关键特征；将文本关键特征输入到初始分类模型进行分类识别，得到每一个训练文本数据隶属于每一个预设标签属性信息的概率值，根据概率值，得到分类结果；根据分类结果训练初始分类模型的模型参数，直至初始分类模型的损失函数值满足目标条件，得到目标文本分类模型。

【技术实现步骤摘要】
一种文本分类模型构建方法、文本分类方法及装置
本专利技术涉及数据处理及机器学习
，具体涉及一种文本分类模型构建方法、文本分类方法及装置。
技术介绍
文本分类是指用电脑对文本集按照一定的分类体系或标准进行自动分类标记。相关技术中，对文本进行分类时通常根据文本分类模型提取文本的语义特征进行分类，但是这种方法需要大量的训练样本、且不同文本标签类别对应的文本数据又不平衡，导致模型的泛化能力差，故亟待提出一种文本分类模型构建方法以减少训练样本、提高模型泛化能力。
技术实现思路
因此，本专利技术要解决的技术问题在于克服现有技术中根据文本分类模型提取文本的语义特征进行分类对文本进行分类泛化能力差的缺陷，从而提供一种文本分类模型构建方法、文本分类方法及装置。根据第一方面，本专利技术实施例公开了一种文本分类模型构建方法，包括如下步骤：获取训练文本数据以及对应所述训练文本数据所属领域的多个预设标签属性信息；将所述训练文本数据以及多个预设标签属性信息输入到阅读理解模型，得到每一个训练文本数据与每一个预设标签属性信息之间的文本交互表示；将每一个文本交互表示输入到特征提取模型，得到文本关键特征；将所述文本关键特征输入到初始分类模型进行分类识别，得到每一个训练文本数据隶属于每一个预设标签属性信息的概率值，根据所述概率值，得到分类结果；根据所述分类结果训练所述初始分类模型的模型参数，直至所述初始分类模型的损失函数值满足目标条件，得到目标文本分类模型。可选地，所述将所述训练文本数据以及多个预设标签属性信息输入到阅读理解模型之前，所述方法还包括：获取预训练文本数据，所述预训练文本数据与所述训练文本数据的领域和分类任务相同；将所述预训练文本数据输入到机器学习模型中进行训练，得到所述阅读理解模型。可选地，将所述训练文本数据以及多个预设标签属性信息输入到阅读理解模型，包括：对所述训练文本数据以及所述多个预设标签属性信息分别进行分词处理，得到训练文本数据序列和预设标签属性信息序列；将所述训练文本数据序列和预设标签属性信息序列进行拼接处理，输入到阅读理解模型。可选地，所述初始分类模型为多层感知机制模型，通过下式得到每一个训练文本数据隶属于每一个预设标签属性信息的概率值：其中，p(labelj|W)表示训练文本数据属于第j个标签的概率；hcnn表示文本关键特征；hCLS表示首位表征向量；表示hcnn与hCLS拼接；MLP表示多层感知机制模型的函数。可选地，通过下式得到所述损失函数值：Loss＝y×p(labelj|W)+(1-y)×(1-p(labelj|W))其中，loss表示损失函数值；y表示所述训练文本数据的标签属于第j个标签的真实概率；p(labelj|W)表训练文本数据的标签属于第j个标签的模型输出概率。根据第二方面，本专利技术实施例还公开了一种文本分类方法，包括如下步骤：获取待分类文本以及多个预设属性标签信息；将所述待分类文本以及多个预设属性标签信息输入到通过第一方面或第一方面任一可选实施方式所述的文本分类模型训练方法训练得到的文本分类模型进行分类识别，得到文本分类结果。根据第三方面，本专利技术实施例还公开了一种文本分类模型构建装置，包括：第一获取模块，用于获取训练文本数据以及对应所述训练文本数据所属领域的多个预设标签属性信息；第一输入模块，用于将所述训练文本数据以及多个预设标签属性信息输入到阅读理解模型，得到每一个训练文本数据与每一个预设标签属性信息之间的文本交互表示；第二输入模块，用于将每一个文本交互表示输入到特征提取模型，得到文本关键特征；识别模块，用于将所述文本关键特征输入到初始分类模型进行分类识别，得到每一个训练文本数据隶属于每一个预设标签属性信息的概率值，根据所述概率值，得到分类结果；模型训练模块，用于根据所述分类结果训练所述初始分类模型的模型参数，直至所述初始分类模型的损失函数值满足目标条件，得到目标文本分类模型。根据第四方面，本专利技术实施例还公开了一种文本分类装置，包括：第二获取模块，用于获取待分类文本以及多个预设属性标签信息；分类模块，用于将所述待分类文本以及多个预设属性标签信息输入到通过第一方面或第一方面任一可选实施方式所述的文本分类模型训练方法训练得到的文本分类模型进行分类识别，得到文本分类结果。根据第五方面，本专利技术实施例还公开了一种计算机设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的文本分类模型构建方法的步骤或如第二方面所述的文本分类方法的步骤。根据第六方面，本专利技术实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的文本分类模型构建方法的步骤或如第二方面所述的文本分类方法的步骤。本专利技术技术方案，具有如下优点：1.本专利技术提供的文本分类模型构建方法及装置，通过获取训练文本数据以及对应训练文本数据所属领域的多个预设标签属性信息，将训练文本数据以及多个预设标签属性信息输入到阅读理解模型，得到每一个训练文本数据与每一个预设标签属性信息之间的文本交互表示，将每一个文本交互表示输入到特征提取模型，得到文本关键特征，将文本关键特征输入到初始分类模型进行分类识别，得到每一个训练文本数据隶属于每一个预设标签属性信息的概率值，根据概率值，得到分类结果，根据分类结果训练初始分类模型的模型参数，直至初始分类模型的损失函数值满足目标条件，得到目标文本分类模型。本专利技术通过利用标签是属性信息进行文本分类，充分利用了标签本身附带的外部信息，克服了文本数据又不平衡的问题，同时使用阅读理解框架，能够充分地把训练文本数据以及标签属性信息进行特征交互，有效地发挥标签属性信息的作用，提升了文本分类模型的泛化能力，提升文本分类模型的分类效果。2.本专利技术提供的文本分类方法及装置，通过获取待分类文本以及多个预设属性标签信息，将待分类文本以及多个预设属性标签信息输入到通过文本分类模型进行分类识别，得到文本分类结果。本专利技术通过同时将待分类文本以及多个预设属性标签信息输入到提前训练好的文本分类模型进行分类识别，得到的文本分类结果更加准确。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例中文本分类模型构建方法的一个具体示例的流程图；图2为本专利技术实施例中文本分类方法的一个具体示例的流程图；图3为本专利技术实施例中文本分类模型构建装置的一个具体示例的原理框图；图4为本专利技术实施例中文本分类装置的一个具体示例的原理框图；图5为本专利技术实施本文档来自技高网...

【技术保护点】
1.一种文本分类模型构建方法，其特征在于，包括如下步骤：/n获取训练文本数据以及对应所述训练文本数据所属领域的多个预设标签属性信息；/n将所述训练文本数据以及多个预设标签属性信息输入到阅读理解模型，得到每一个训练文本数据与每一个预设标签属性信息之间的文本交互表示；/n将每一个文本交互表示输入到特征提取模型，得到文本关键特征；/n将所述文本关键特征输入到初始分类模型进行分类识别，得到每一个训练文本数据隶属于每一个预设标签属性信息的概率值，根据所述概率值，得到分类结果；/n根据所述分类结果训练所述初始分类模型的模型参数，直至所述初始分类模型的损失函数值满足目标条件，得到目标文本分类模型。/n

【技术特征摘要】
1.一种文本分类模型构建方法，其特征在于，包括如下步骤：
获取训练文本数据以及对应所述训练文本数据所属领域的多个预设标签属性信息；
将所述训练文本数据以及多个预设标签属性信息输入到阅读理解模型，得到每一个训练文本数据与每一个预设标签属性信息之间的文本交互表示；
将每一个文本交互表示输入到特征提取模型，得到文本关键特征；
将所述文本关键特征输入到初始分类模型进行分类识别，得到每一个训练文本数据隶属于每一个预设标签属性信息的概率值，根据所述概率值，得到分类结果；
根据所述分类结果训练所述初始分类模型的模型参数，直至所述初始分类模型的损失函数值满足目标条件，得到目标文本分类模型。


2.根据权利要求1所述的方法，其特征在于，所述将所述训练文本数据以及多个预设标签属性信息输入到阅读理解模型之前，所述方法还包括：
获取预训练文本数据，所述预训练文本数据与所述训练文本数据的领域和分类任务相同；
将所述预训练文本数据输入到机器学习模型中进行训练，得到所述阅读理解模型。


3.根据权利要求1或2所述的方法，其特征在于，将所述训练文本数据以及多个预设标签属性信息输入到阅读理解模型，包括：
对所述训练文本数据以及所述多个预设标签属性信息分别进行分词处理，得到训练文本数据序列和预设标签属性信息序列；
将所述训练文本数据序列和预设标签属性信息序列进行拼接处理，输入到阅读理解模型。


4.根据权利要求1所述的方法，其特征在于，所述初始分类模型为多层感知机制模型，通过下式得到每一个训练文本数据隶属于每一个预设标签属性信息的概率值：



其中，p(labelj|W)表示训练文本数据属于第j个标签的概率；hcnn表示文本关键特征；hCLS表示首位表征向量；表示hcnn与hCLS拼接；MLP表示多层感知机制模型的函数。


5.根据权利要求1所述的方法，其特征在于，通过下式得到所述损失函数值：
Loss＝y×p(labelj|W)+(1-y)×(1-p(labelj|W))
其中，loss表示损失函数值；y表示所述训练文本数据的标签属于第j个标签的...

【专利技术属性】
技术研发人员：肖刚，
申请(专利权)人：江西高创保安服务技术有限公司，
类型：发明
国别省市：江西;36