文本分类方法、装置、介质及电子设备制造方法及图纸

本公开涉及自然语言处理领域，揭示了一种文本分类方法、装置、介质及电子设备。该方法包括：获取目标文本数据；将目标文本数据输入至预先训练好的文本分类模型；通过变分信息瓶颈处理层输出所述目标文本数据对应的压缩后句子表征信息和所述压缩后句子表征信息对应的期望值；通过分类模块根据从所述变分信息瓶颈处理层接收到的所述压缩后句子表征信息输出分类预测信息；通过分类标签生成层，根据从分类模块接收到的所述分类预测信息和从所述变分信息瓶颈处理层接收到的所述压缩后句子表征信息对应的期望值，生成并输出所述目标文本数据对应的分类标签。此方法下，减少了过拟合现象的发生，还拓展了预训练模型的推广应用的范围。范围。范围。

【技术实现步骤摘要】
文本分类方法、装置、介质及电子设备


[0001]本公开涉及自然语言处理
，特别涉及一种文本分类方法、装置、介质及电子设备。

技术介绍

[0002]目前，预训练模型在下游任务中广泛得到应用，取得了很好的效果。然而，预训练模型的体量和参数非常多，一旦目标任务的样本数据量较小，直接应用这类预训练模型往往会导致其在大量与任务无关信息和目标标签之间建立错误联系而出现过拟合现象，使很难仅通过微调(fine
‑
tuning)就学习到有效信息。同时，由于在现实应用场景里人工标注数据非常昂贵且耗时，许多下游任务的样本数据量都非常有限，这使得预训练模型的推广应用受到局限。

技术实现思路

[0003]在自然语言处理
，为了解决上述技术问题，本公开的目的在于提供一种文本分类方法、装置、介质及电子设备。
[0004]根据本公开的一方面，提供了一种文本分类方法，所述方法包括：
[0005]获取待分类的目标文本数据；
[0006]将所述目标文本数据输入至预先训练好的文本分类模型，其中，所述文本分类模型包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本分类方法，其特征在于，所述方法包括：获取待分类的目标文本数据；将所述目标文本数据输入至预先训练好的文本分类模型，其中，所述文本分类模型包括变分信息瓶颈处理层、分类模块和分类标签生成层，所述分类模块与所述变分信息瓶颈处理层相连，所述分类标签生成层分别与所述分类模块及所述变分信息瓶颈处理层相连；通过所述变分信息瓶颈处理层中的神经网络对所述目标文本数据进行特征提取，分别输出所述目标文本数据对应的压缩后句子表征信息和所述压缩后句子表征信息对应的期望值；通过所述分类模块中的神经网络对来自所述变分信息瓶颈处理层的所述压缩后句子表征信息进行预测，输出分类预测信息；通过所述分类标签生成层，对从所述分类模块接收到的所述分类预测信息和从所述变分信息瓶颈处理层接收到的所述压缩后句子表征信息对应的期望值进行矩阵运算，生成并输出所述目标文本数据对应的分类标签。2.根据权利要求1所述的方法，其特征在于，所述变分信息瓶颈处理层包括：预训练好的文本处理模型中的编码器、与所述编码器相连的第一层感知器神经网络、第一线性模型、第二线性模型以及句子表征生成模块，其中，所述第一线性模型和所述第二线性模型的输入端均与所述第一层感知器神经网络相连，所述第一线性模型和所述第二线性模型的输出端与所述句子表征生成模块相连，所述第一线性模型用于生成所述压缩后句子表征信息对应的期望值，所述第二线性模型用于生成所述压缩后句子表征信息对应的方差。3.根据权利要求2所述的方法，其特征在于，在将所述目标文本数据输入至预先训练好的文本分类模型之前，所述方法还包括：建立多个模型组件，并将所述多个模型组件相连接，所述多个模型组件包括第一层感知器神经网络、第一线性模型、第二线性模型、句子表征生成模块、分类模块和分类标签生成层；获取预训练好的文本处理模型中的编码器，并将所述编码器与所述多个模型组件中的第一层感知器神经网络对接，得到初始文本分类模型；利用文本数据集对初始文本分类模型进行训练，得到预先训练好的文本分类模型，其中，所述文本数据集包括多个文本数据以及与每一文本数据对应的标签。4.根据权利要求3所述的方法，其特征在于，所述文本数据集中文本数据对应的标签为情感类别标签，所述预先训练好的文本分类模型用于进行情感分类。5.根据权利要求3所述的方法，其特征在于，所述利用文本数据集对初始文本分类模型进行训练，得到预先训练好的文本分类模型，包括：迭代执行模型训练步骤，直至满...

【专利技术属性】
技术研发人员：司世景，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：