【技术实现步骤摘要】
基于梯度改进的元学习少样本文本分类方法
[0001]本专利技术涉及一种计算机自然语言处理方法，特别涉及一种基于梯度改进的元学习少样本文本分类方法。
技术介绍
[0002]近年来随着互联网的普及和发展，大量文本数据的积累为深度学习提供了有力的训练支撑，从而促进了深度学习技术的快速发展。然而在许多少样本文本分类任务场景中，可供训练的数据样本量不足以支撑复杂的深度神经网络，更重要的是，特定任务下学习到的深度神经网络模型难以泛化到新的文本分类任务之中，即传统的深度学习网络学习新类别的能力有限。而元学习是解决这个问题的一种方法，它使网络能够学习如何学习。其关键思想是随着模型学习过任务的增多，模型能够从不同任务之间学到一些可以泛化的通用知识，从而在遇到新的分类任务时，能够利用模型的学习能力，在仅有少量样本的场景下，出色地完成模型从未见过的分类任务。元学习的训练过程涉及内部层面和外部层面；在内部层面，模型每次都会遇到新的分类任务，其类别是之前未学习过的类别，模型试图通过从前学习到的通用知识，在该新的分类任务中快速完成学习和适应，内层的学习...
【技术保护点】
【技术特征摘要】
1.基于梯度改进的元学习少样本文本分类方法，其特征在于：包括以下具体步骤：1)元学习训练数据划分，构建基于少样本文本框架下的元数据集，并将元数据集划分为训练任务集、验证任务集和测试任务集；2)构建元学习模型；3)训练元学习模型，通过构建训练任务集，每次将一批次的元任务送入到内层基础学习器，元任务对应的训练将外层元学习器的参数作为内层基础学习器的初始化参数，内层基础学习器在元任务的支持集上进行训练，得到在支持集上的误差和梯度，再在查询集上检验内层基础学习器训练的效果，得到查询集上的误差和梯度；4)将学习到的元学习模型应用于少样本文本分类。2.根据权利要求1所述的基于梯度改进的元学习少样本文本分类方法，其特征在于：所述步骤1)中元数据集的划分过程包括：元学习根据分类任务包括元学习的外部层次和元学习的内部层次，其中元学习的外部层次划分为训练任务集、验证任务集和测试任务集，元学习的内部层次划分为支持集和查询集，并保证各个集合类别互斥；构建对应的N
‑
way K
‑
shot任务，从元数据集抽取N个不同类别，每类别中抽取出K+Q个样本，其中K个样本划分到支持集，Q个样本划分到查询集。3.根据权利要求1所述的基于梯度改进的元学习少样本文本分类方法，其特征在于：所述步骤3)中训练元学习模型的具体步骤如下：31)通过对元学习的内层梯度改进模块，计算出内层基础学习器传递给外层元学习器的梯度；首先元学习模型在支持集上利用元知识学习，得到适用于解决新任务的模型参数，其公式如下：式中：f
θ
表示外层元...
【专利技术属性】
技术研发人员：彭德中，胡洪辉，吕建成，彭玺，桑永胜，胡鹏，孙亚楠，王旭，陈杰，王骞，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。