文本分类中的小样本学习方法技术

本发明专利技术揭示了一种文本分类中的小样本学习方法，以元学习与深度学习组合运用。具体先提出一种小样本学习数据集的提取方法，从原始分类数据集中构造出元学习数据集，而后构造文本分类的小样本学习模型，利用元学习数据集对组合模型进行训练，学习类别变化的情况下模型的泛化能力，学会不同元任务中的共性部分；利用这种学习机制所得模型，在面对新的小样本文本分类任务时，能通过对模型进行参数微调来快速完成小样本分类任务。应用本发明专利技术技术方案，较之于传统文本分类模型或深度学习的文本分类网络更快更准确。

【技术实现步骤摘要】
文本分类中的小样本学习方法
本专利技术涉及一种计算机自然语言处理方法，尤其涉及小样本情形下的文本分类学习方法。
技术介绍
文本分类技术在现实生活中有广泛的应用，文本分类模型也多种多样，包括传统的机器学习方法和现阶段流行的深度学习方法，如fastText，TextCNN，TextRNN，HierarchicalAttentionNetwork，Bert等。不同的分类模型有不同的侧重点，但是这些模型往往需要大量的标注样本。就目前大量的实验和工作证明，数据量的大小直接影响学习的性能。主要原因是由于传统的文本分类模型都是建立在具有大量的标签数据下的有监督学习。在使用深度学习器加以训练时，由于模型相对于样本数量过度复杂，模型参数过多，导致无法覆盖基本特征而产生了过拟合现象。这就导致这些模型在大量数据集的情况下效果较好，但是只有少量几条样本的情况下效果极差。而往往在大多数时候，寻找数据需要花费相当多的时间，在很多实际的项目中难以找到充足的数据来完成任务。这时就需要能从小样本数据中学习模型来解决文本分类的问题。另外，由于小样本学习的特殊性，需本文档来自技高网...

【技术保护点】
1.文本分类中的小样本学习方法，其特征在于包括步骤：/nS1、构建训练集，基于元学习方法处理原始分类数据集，提取元学习的数据集；/nS2、构建模型，在MAML框架下嵌套文本分类网络，构造组合的小样本学习模型；/nS3、模型识别，对所构造的小样本学习模型进行训练，获得初始化参数，而后在新的任务中进行参数微调，利用微调后的小样本学习模型进行识别与发现。/n

【技术特征摘要】
1.文本分类中的小样本学习方法，其特征在于包括步骤：
S1、构建训练集，基于元学习方法处理原始分类数据集，提取元学习的数据集；
S2、构建模型，在MAML框架下嵌套文本分类网络，构造组合的小样本学习模型；
S3、模型识别，对所构造的小样本学习模型进行训练，获得初始化参数，而后在新的任务中进行参数微调，利用微调后的小样本学习模型进行识别与发现。


2.根据权利要求1所述文本分类中的小样本学习方法，其特征在于：步骤S1中提取元学习的数据集的方法包括步骤：
S11、输入包含类别数量N、样本数量K、目录Dir，训练集数据量Train_num、测试集数据量Test_num的原始分类数据集，基于目录Dir整理原始分类数据集的信息；
S12、生成初始的元训练集和初始的元测试集，选择不相重复的训练集类别和测试集类别，而后在所选择的类别结果中随机抽取N个类别；
S13、在每个类别中随机抽取K条样本，N*K条样本一起构成单个元任务的子训练集supportset，在每个类别中随机抽取1条样本，N*1条样本一起构成单个元任务的子测试集queryset，将子测试集和子训...

【专利技术属性】
技术研发人员：王晓诗，赵晓芳，史骁，胡斌，
申请(专利权)人：中国科学院计算技术研究所苏州智能计算产业技术研究院，
类型：发明
国别省市：江苏;32