文本分类预测方法、装置、设备及存储介质制造方法及图纸

本申请涉及人工智能技术领域，揭示了一种文本分类预测方法、装置、设备及存储介质，其中方法包括：获取目标文本数据；将所述目标文本数据输入目标文本分类模型进行文本分类预测，其中，所述目标文本分类模型是根据生成子模型、判别子模型、Bert模型、全连接层、Softmax激活函数和MLM训练方法训练得到的模型；获取所述目标文本分类模型输出的目标文本分类预测结果。从而确定具有优秀的泛化能力的目标文本分类模型，提高了目标文本分类模型对目标文本数据进行文本分类预测的成功率。

【技术实现步骤摘要】
文本分类预测方法、装置、设备及存储介质
本申请涉及到人工智能
，特别是涉及到一种文本分类预测方法、装置、设备及存储介质。
技术介绍
过拟合是我们试图将机器学习技术应用于文本分类时遇到的主要问题之一，出现这个问题是因为使用标记好的文本来训练文本分类模型，比如，对机构G的新闻情感进行分类，我们需要该机构历史上的新闻数据并且进行新闻情感标记。专利技术人发现并非所有情感表达在已有的标记好的文本中都能有很好的体现。事实上，很多大量使用的新的情感表达通常都没有得到充分的体现，导致训练后的文本分类模型的泛化不好，当泛化不好的文本分类模型面对新的应用场景时，可能会出现分类预测失败。
技术实现思路
本申请的主要目的为提供一种文本分类预测方法、装置、设备及存储介质，旨在解决现有技术使用标记好的文本来训练文本分类模型时，因训练样本数量太少，导致很多大量使用的新的情感表达通常都没有得到充分的体现，导致训练后的文本分类模型的泛化不好的技术问题。为了实现上述专利技术目的，本申请提出一种文本分类预测方法，所述方法包括：获取目标文本数据；将所述目标文本数据输入目标文本分类模型进行文本分类预测，其中，所述目标文本分类模型是根据生成子模型、判别子模型、Bert模型、全连接层、Softmax激活函数和MLM训练方法训练得到的模型；获取所述目标文本分类模型输出的目标文本分类预测结果。进一步的，所述将所述目标文本数据输入目标文本分类模型进行文本分类预测的步骤之前，还包括：获取第一分类训练样本集合，所述第一分类训练样本集合中每个第一分类训练样本包括：第一句子样本文本和第一句子真实性标定数据；采用迭代优化训练方法，根据所述第一分类训练样本集合，对所述生成子模型和所述判别子模型进行对抗训练，将对抗训练结束的所述生成子模型作为句子生成模型，其中，所述生成子模型是基于循环神经网络得到的模型，所述判别子模型是基于全连接网络或卷积神经网络得到的模型；获取多个待预测的语言片段；采用预测和拼接迭代的方法，分别将所述多个待预测的语言片段中的每个待预测的语言片段输入所述句子生成模型进行句子生成，得到多个生成句子文本；获取所述多个生成句子文本中的各个生成句子文本各自对应的分类标定数据，根据所述多个生成句子文本和各个所述分类标定数据进行样本生成，得到多个生成句子样本；获取多个待扩充的分类训练样本，将所述多个待扩充的分类训练样本和所述多个生成句子样本作为第二分类训练样本集合；采用MLM训练方法，根据所述第二分类训练样本集合对文本分类初始模型进行训练，将训练结束的所述文本分类初始模型作为所述目标文本分类模型，其中，所述文本分类初始模型是基于所述Bert模型、所述全连接层和所述Softmax激活函数得到的模型。进一步的，所述采用MLM训练方法，根据所述第二分类训练样本集合对文本分类初始模型进行训练，将训练结束的所述文本分类初始模型作为所述目标文本分类模型的步骤，包括：从所述第二分类训练样本集合中提取一个第二分类训练样本作为目标分类训练样本；将所述目标分类训练样本的待分类训练的样本文本输入所述文本分类初始模型的嵌入层进行标记解析及采用固定字符长度进行字符调整，得到调整后的样本文本；采用所述MLM训练方法，根据所述调整后的样本文本和所述目标分类训练样本的所述分类标定数据对所述文本分类初始模型进行训练；重复执行所述从所述第二分类训练样本集合中提取一个第二分类训练样本作为目标分类训练样本的步骤，直至满足分类训练收敛条件；将满足所述分类训练收敛条件的所述文本分类初始模型作为所述目标文本分类模型。进一步的，所述采用迭代优化训练方法，根据所述第一分类训练样本集合，对所述生成子模型和所述判别子模型进行对抗训练，将对抗训练结束的所述生成子模型作为句子生成模型的步骤，包括：从所述第一分类训练样本集合中获取一个第一分类训练样本作为待对抗训练的分类训练样本；采用将预测的字符迭代加入进行下一个字符预测的句子迭代生成方法，根据所述生成子模型和所述待对抗训练的分类训练样本的所述第一句子样本文本进行句子生成，得到待处理的生成句子；获取生成句子标定符号，根据所述生成句子标定符号和所述待处理的生成句子进行样本生成，得到判别分类训练样本；将所述待对抗训练的分类训练样本的第一句子样本文本和所述判别分类训练样本的第二子样本文本分别输入所述判别子模型进行真实性概率的预测，得到所述待对抗训练的分类训练样本对应的第一真实性概率预测值和所述判别分类训练样本对应的第二真实性概率预测值；采用迭代优化训练方法，根据所述待对抗训练的分类训练样本对应的所述第一真实性概率预测值及所述第一句子真实性标定数据和所述判别分类训练样本对应的所述第二真实性概率预测值及所述第二句子真实性标定数据对所述生成子模型和所述判别子模型进行对抗训练；重复执行所述从所述第一分类训练样本集合中获取一个第一分类训练样本作为待对抗训练的分类训练样本的步骤，直至满足对抗训练收敛条件，将满足所述对抗训练收敛条件的所述生成子模型作为所述句子生成模型。进一步的，所述采用将预测的字符迭代加入进行下一个字符预测的句子迭代生成方法，根据所述生成子模型和所述待对抗训练的分类训练样本的所述第一句子样本文本进行句子生成，得到待处理的生成句子的步骤，包括：采用预设的语言片段提取规则和从开头提取的方式，从所述待对抗训练的分类训练样本的所述第一句子样本文本中提取语言片段，作为待预测拼接的语言片段；通过所述生成子模型，采用将预测的字符迭代加入进行下一个字符预测的句子迭代生成方法，根据所述待预测拼接的语言片段进行句子生成，得到所述待处理的生成句子。进一步的，所述通过所述生成子模型，采用将预测的字符迭代加入进行下一个字符预测的句子迭代生成方法，根据所述待预测拼接的语言片段进行句子生成，得到所述待处理的生成句子的步骤，包括：将所述待预测拼接的语言片段作为待预测的文本；将所述待预测的文本输入所述生成子模型进行下一个字符的预测，得到待拼接的字符预测值；将所述待预测的文本和所述待拼接的字符预测值进行依次拼接，得到拼接后的文本；将所述拼接后的文本作为所述待预测的文本；重复执行所述将所述待预测的文本输入所述生成子模型进行下一个字符的预测，得到待拼接的字符预测值的步骤，直至所述待预测的文本的字符的数量达到字符预测收敛条件；将所述待预测的文本作为所述待处理的生成句子。进一步的，所述采用迭代优化训练方法，根据所述待对抗训练的分类训练样本对应的所述第一真实性概率预测值及所述第一句子真实性标定数据和所述判别分类训练样本对应的所述第二真实性概率预测值及所述第二句子真实性标定数据对所述生成子模型和所述判别子模型进行对抗训练的步骤，包括：获取待优化的模型标识，当所述待优化的模型标识为空时，将所述生成子模型的标识作为所述待优化的模型标识；当所述待优化的模型本文档来自技高网...

【技术保护点】
1.一种文本分类预测方法，其特征在于，所述方法包括：/n获取目标文本数据；/n将所述目标文本数据输入目标文本分类模型进行文本分类预测，其中，所述目标文本分类模型是根据生成子模型、判别子模型、Bert模型、全连接层、Softmax激活函数和MLM训练方法训练得到的模型；/n获取所述目标文本分类模型输出的目标文本分类预测结果。/n

【技术特征摘要】
1.一种文本分类预测方法，其特征在于，所述方法包括：
获取目标文本数据；
将所述目标文本数据输入目标文本分类模型进行文本分类预测，其中，所述目标文本分类模型是根据生成子模型、判别子模型、Bert模型、全连接层、Softmax激活函数和MLM训练方法训练得到的模型；
获取所述目标文本分类模型输出的目标文本分类预测结果。


2.根据权利要求1所述的文本分类预测方法，其特征在于，所述将所述目标文本数据输入目标文本分类模型进行文本分类预测的步骤之前，还包括：
获取第一分类训练样本集合，所述第一分类训练样本集合中每个第一分类训练样本包括：第一句子样本文本和第一句子真实性标定数据；
采用迭代优化训练方法，根据所述第一分类训练样本集合，对所述生成子模型和所述判别子模型进行对抗训练，将对抗训练结束的所述生成子模型作为句子生成模型，其中，所述生成子模型是基于循环神经网络得到的模型，所述判别子模型是基于全连接网络或卷积神经网络得到的模型；
获取多个待预测的语言片段；
采用预测和拼接迭代的方法，分别将所述多个待预测的语言片段中的每个待预测的语言片段输入所述句子生成模型进行句子生成，得到多个生成句子文本；
获取所述多个生成句子文本中的各个生成句子文本各自对应的分类标定数据，根据所述多个生成句子文本和各个所述分类标定数据进行样本生成，得到多个生成句子样本；
获取多个待扩充的分类训练样本，将所述多个待扩充的分类训练样本和所述多个生成句子样本作为第二分类训练样本集合；
采用MLM训练方法，根据所述第二分类训练样本集合对文本分类初始模型进行训练，将训练结束的所述文本分类初始模型作为所述目标文本分类模型，其中，所述文本分类初始模型是基于所述Bert模型、所述全连接层和所述Softmax激活函数得到的模型。


3.根据权利要求2所述的文本分类预测方法，其特征在于，所述采用MLM训练方法，根据所述第二分类训练样本集合对文本分类初始模型进行训练，将训练结束的所述文本分类初始模型作为所述目标文本分类模型的步骤，包括：
从所述第二分类训练样本集合中提取一个第二分类训练样本作为目标分类训练样本；
将所述目标分类训练样本的待分类训练的样本文本输入所述文本分类初始模型的嵌入层进行标记解析及采用固定字符长度进行字符调整，得到调整后的样本文本；
采用所述MLM训练方法，根据所述调整后的样本文本和所述目标分类训练样本的所述分类标定数据对所述文本分类初始模型进行训练；
重复执行所述从所述第二分类训练样本集合中提取一个第二分类训练样本作为目标分类训练样本的步骤，直至满足分类训练收敛条件；
将满足所述分类训练收敛条件的所述文本分类初始模型作为所述目标文本分类模型。


4.根据权利要求2所述的文本分类预测方法，其特征在于，所述采用迭代优化训练方法，根据所述第一分类训练样本集合，对所述生成子模型和所述判别子模型进行对抗训练，将对抗训练结束的所述生成子模型作为句子生成模型的步骤，包括：
从所述第一分类训练样本集合中获取一个第一分类训练样本作为待对抗训练的分类训练样本；
采用将预测的字符迭代加入进行下一个字符预测的句子迭代生成方法，根据所述生成子模型和所述待对抗训练的分类训练样本的所述第一句子样本文本进行句子生成，得到待处理的生成句子；
获取生成句子标定符号，根据所述生成句子标定符号和所述待处理的生成句子进行样本生成，得到判别分类训练样本；
将所述待对抗训练的分类训练样本的第一句子样本文本和所述判别分类训练样本的第二子样本文本分别输入所述判别子模型进行真实性概率的预测，得到所述待对抗训练的分类训练样本对应的第一真实性概率预测值和所述判别分类训练样本对应的第二真实性概率预测值；
采用迭代优化训练方法，根据所述待对抗训练的分类训练样本对应的所述第一真实性概率预测值及所述第一句子真实性标定数据和所述判别分类训练样本对应的所述第二真实性概率预测值及所述第二句子真实性标定数据对所述生成子模型和所述判别子模型进行对抗训练；
重复执行所述从所述第一分类训练样本集合中获取一个第一分类训练样本作为待对抗训练的分类训练样本的步骤，直至满足对抗训练收敛条件，将满足所述对抗训练收敛条件的所述生成子模型作为所述句子生成模型。


5.根据权利要求4所述的文本分类预测方法，其特征在于，所述采用将预测的字符迭代加入进行下一...

【专利技术属性】
技术研发人员：刘广，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44