一种基于半监督迁移学习的文本分类方法技术

本发明专利技术公开了一种基于半监督迁移学习的文本分类方法，包括以下步骤：(1)数据集和数据预处理，获取少量标记数据集和大量未标记数据集，进行清洗和去噪操作，然后通过word2vec方法将数据集样本向量化，向量维度选取100；(2)数据增强，对未标记数据中的每个样本进行K次文本增强，增强方式为反译方式；(3)伪标签预判，将标记样本输入到预训练模型Bert中，采用微调的方法进行模型迁移；(4)样本混合；(5)文本分类，经过训练后得到的最好模型，可用来对测试集中的数据进行文本分类预测。该基于半监督迁移学习的文本分类方法结合半监督学习、迁移学习用于解决在文本分类领域中标注数据难以获取的问题，同时能够提高文本分类模型的性能。能。能。

【技术实现步骤摘要】
一种基于半监督迁移学习的文本分类方法


[0001]本专利技术涉及文本分类
，具体为一种基于半监督迁移学习的文本分类方法。

技术介绍

[0002]深度学习是自然语言处理领域中的重要方法，在文本分类、实体识别、机器翻译、情感分析等任务中能够取得良好的性能，然而深度学习具有一个根本弱点：需要大量有标注的数据才能正常工作。然而在现实世界的很多领域中，往往存在着标注数据不足的困难，并且对大量无标注数据进行标注工作是一个十分昂贵的工作。因此，如何降低深度学习模型对标记样本数据量的需求，同时提高模型的预测性能，是一个重要的研究内容。

技术实现思路

[0003]本专利技术的目的在于提供一种基于半监督迁移学习的文本分类方法，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种基于半监督迁移学习的文本分类方法，包括以下步骤：
[0005](1)数据集和数据预处理
[0006]获取少量标记数据集X
l
和大量未标记数据集X
u
，进行清洗和去噪操作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督迁移学习的文本分类方法，其特征在于，包括以下步骤：(1)数据集和数据预处理获取少量标记数据集X
l
和大量未标记数据集X
u
，进行清洗和去噪操作，然后通过word2vec方法将数据集样本向量化，向量维度选取100；(2)数据增强对未标记数据中的每个样本进行K次文本增强，增强方式为反译方式，第i个样本第k次增强的样本为(3)伪标签预判将标记样本输入到预训练模型Bert中，采用微调的方法进行模型迁移，为了达到更好的微调效果，使用带逐层解冻、倾斜的三角形学习速率的微调技术代替一般的微调技术；(4)样本混合将标记样本、未标记样本、增强样本合并成数据集(X,Y)，其中X＝concat(X
u
,X
a
,X
l
)，Y＝concat(Y
u
,Y
a
,Y
l
)，混合其中任意两个样本，送入Bert模型中继续进行训练，计算概率向量...

【专利技术属性】
技术研发人员：余肖生，张合欢，沈胜，
申请(专利权)人：三峡大学，
类型：发明
国别省市：