模型生成方法技术

本发明专利技术实施例提供了一种模型生成方法

【技术实现步骤摘要】
模型生成方法、文本分类方法、装置、电子设备及介质


[0001]本专利技术属于机器学习领域，特别是涉及一种模型生成方法
、
文本分类方法
、
装置
、
电子设备及可读存储介质
。

技术介绍

[0002]文本分类是自然语言处理领域的一个重要任务，它可以根据文本的内容，判断文本属于哪个类别，比如情感分析
、
主题分类
、
意图识别等
。
文本分类有广泛的应用场景，比如智能客服
、
舆情分析
、
产品推荐业务
。
[0003]相关技术中，文本分类模型大多基于传统机器学习方法，通常采用朴素贝叶斯
(Naive Bayes)、
支持向量机
(Support Vector Machines
，
SVM)
等机器学习方法作为分类模型，通过海量的样本数据对分类模型进行训练，得到能够对文本进行分类的文本分类模型
。
使用时，将需要分类的文本输入文本分类模型，得到文本分类模型输出的文本类别
。
[0004]然而，在一些场景下的文本分类任务中各个类别标签的样本量可能较少，导致根据样本数据训练出的文本分类模型准确度较低
。

技术实现思路

[0005]本专利技术提供一种模型生成方法
、
文本分类方法
、
装置
、
电子设备及可读存储介质，以解决现有技术文本分类模型准确度较低的技术问题
。
[0006]第一方面，本专利技术提供一种模型生成方法，所述方法包括：
[0007]获取样本文本和所述样本文本对应的样本参考类别；
[0008]将所述样本文本输入第一分类模型的预训练语言子模型，得到所述预训练语言模型输出的第一特征；
[0009]对所述第一特征进行扰动，得到第二特征；
[0010]将所述第二特征输入第一分类模型的第一类别子模型，得到所述第一类别输出子模型输出的第一样本分类结果；
[0011]基于所述第一样本分类结果和所述样本参考类别确定第一损失，基于所述第一损失调整所述第一分类模型的模型参数，得到第二分类模型；其中，所述第二分类模型包括对所述预训练语言子模型进行参数调整后得到的语义特征子模型，以及对所述第一类别子模型进行参数调整后得到的第二类别子模型
。
[0012]第二方面，本专利技术提供一种文本分类方法，所述方法包括：
[0013]将第一文本输入第二分类模型的语义特征子模型，得到所述语义特征子模型输出的第一文本特征；
[0014]将所述第一文本特征输入所述第二分类模型的第二类别子模型，得到所述第二类别子模型输出的第一分类结果；
[0015]基于所述第一分类结果确定所述第一文本的文本类别
。
[0016]第三方面，本专利技术提供一种模型分类装置，所述装置包括：
[0017]获取模块，用于获取样本文本和所述样本文本对应的样本参考类别；
[0018]第一输入模块，用于将所述样本文本输入第一分类模型的预训练语言子模型，得到所述预训练语言模型输出的第一特征；
[0019]扰动模块，用于对所述第一特征进行扰动，得到第二特征；
[0020]第二输入模块，用于将所述第二特征输入第一分类模型的第一类别子模型，得到所述第一类别输出子模型输出的第一样本分类结果；
[0021]训练模块，用于基于所述第一样本分类结果和所述样本参考类别确定第一损失，基于所述第一损失调整所述第一分类模型的模型参数，得到第二分类模型；其中，所述第二分类模型包括对所述预训练语言子模型进行参数调整后得到的语义特征子模型，以及对所述第一类别子模型进行参数调整后得到的第二类别子模型
。
[0022]第四方面，本专利技术提供一种文本分类装置，所述装置包括：
[0023]第一文本特征模块，用于将第一文本输入第二分类模型的语义特征子模型，得到所述语义特征子模型输出的第一文本特征；
[0024]第一分类结果模块，用于将所述第一文本特征输入所述第二分类模型的第二类别子模型，得到所述第二类别子模型输出的第一分类结果；
[0025]文本类别模块，用于基于所述第一分类结果确定所述第一文本的文本类别
。
[0026]第五方面，本专利技术提供一种电子设备，包括：处理器
、
存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述模型生成方法或文本分类方法
。
[0027]第六方面，本专利技术提供一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述模型生成方法或文本分类方法
。
[0028]在本专利技术实施例中，包括：获取样本文本和样本文本对应的样本参考类别；将样本文本输入第一分类模型的预训练语言子模型，得到预训练语言模型输出的第一特征；对第一特征进行扰动，得到第二特征；将第二特征输入第一分类模型的第一类别子模型，得到第一类别输出子模型输出的第一样本分类结果；基于第一样本分类结果和样本参考类别确定第一损失，基于第一损失调整第一分类模型的模型参数，得到第二分类模型
。
可以在分类模型的训练过程中，对模型内部基于样本文本产生的第一特征进行扰动，从而产生第二特征，丰富了分类模型训练过程中可以使用的文本特征，从而使分类模型可以基于更多的文本特征完成训练，有助于提升样本量不足或样本不均衡情况下对分类模型的训练效果，从而提升训练得到的分类模型的准确性
。
附图说明
[0029]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0030]图1是本专利技术实施例提供的一种模型生成方法的步骤流程图；
[0031]图2是本专利技术实施例提供的一种第一分类模型训练示意图；
[0032]图3是本专利技术实施例提供的另一种模型生成方法的步骤流程图；
[0033]图4是本专利技术实施例提供的一种第一相似度子模型示意图；
[0034]图5是本专利技术实施例提供的一种第二损失确定流程图；
[0035]图6是本专利技术实施例提供的一种文本分类方法的步骤流程图；
[0036]图7是本专利技术实施例提供的一种模型生成装置的结构图；
[0037]图8是本专利技术实施例提供的一种文本分类装置的结构图；
[0038]图9是本专利技术实施例提供的一种电子设备的结构图
。
具体实施方式
[0039]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
...

【技术保护点】

【技术特征摘要】
1.
一种模型生成方法，其特征在于，所述方法包括：获取样本文本和所述样本文本对应的样本参考类别；将所述样本文本输入第一分类模型的预训练语言子模型，得到所述预训练语言模型输出的第一特征；对所述第一特征进行扰动，得到第二特征；将所述第二特征输入第一分类模型的第一类别子模型，得到所述第一类别输出子模型输出的第一样本分类结果；基于所述第一样本分类结果和所述样本参考类别确定第一损失，基于所述第一损失调整所述第一分类模型的模型参数，得到第二分类模型；其中，所述第二分类模型包括对所述预训练语言子模型进行参数调整后得到的语义特征子模型，以及对所述第一类别子模型进行参数调整后得到的第二类别子模型
。2.
根据权利要求1所述的方法，其特征在于，所述对所述第一特征进行扰动，得到第二特征，包括：确定所述第一特征对应的梯度值和损失值；基于所述梯度值和所述损失值确定目标扰动值；基于所述目标扰动值对所述第一特征进行扰动，得到所述第二特征
。3.
根据权利要求1所述的方法，其特征在于，所述基于所述第一样本分类结果和所述样本参考类别确定第一损失，包括：基于所述第一样本分类结果与所述样本参考类别，从所述第一样本分类结果中确定正确类别概率值和非正确类别概率值；基于第一损失函数确定所述正确类别概率值对应的正确类别损失，基于第二损失函数确定所述非正确类别概率值对应的非正确类别损失；基于所述正确类别损失和所述非正确类别损失确定所述第一损失
。4.
根据权利要求1所述的方法，其特征在于，所述第二分类模型还包括目标相似度子模型，所述方法还包括：确定所述样本文本的第二样本分类结果；基于所述第二样本分类结果，确定所述样本文本对应的文本类别，并获取所述文本类别的各个文本子类别对应的标准文本；将所述样本文本和所述标准文本输入第一相似度子模型，得到所述第一相似度子模型输出的所述样本文本与各个所述标准文本分别对应的样本相似度；基于所述样本相似度确定第二损失，并基于所述第二损失调整所述第一相似度子模型的模型参数，得到所述目标相似度子模型
。5.
根据权利要求4所述的方法，其特征在于，所述基于所述样本相似度确定第二损失，包括：在所述样本文本存在对应的参考文本子类别标签的情况下，基于所述参考文本子类别标签与所述样本相似度确定所述第二损失；在所述样本文本不存在对应的参考文本子类别标签的情况下，基于由所述样本文本生成的增强样本文本对应的增强样本相似度，与所述样本文本对应的样本相似度确定所述第二损失
。
6.
根据权利要求1所述的方法，其特征在于，所述第一类别子模型包括全连接层
、dropout
层和
softmax
激活函数层
。7.
根据权利要求4所述的方法，其特征在于，所述第一相似度子模型包括
...

【专利技术属性】
技术研发人员：冉猛，梁晓东，周航成，张蕾，危枫，王晨子，秦蛟禹，赵进，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：