【技术实现步骤摘要】
本专利技术涉及人工智能，尤其是涉及一种小参数模型的构建方法、文本标签的生成方法及装置。
技术介绍
1、对于文本数据集初步分析，经常需要给文本添加标签来概括文本的主要内容，用于统计分析以及其他应用。目前，常用的生成文本标签的方法可以简单分为自动化的方法和人工参与的方法。自动化的方法，例如采用已开源的或者历史积累的文本分类模型对新领域文本分类，得到可参考的标签。自动化的方法比较简便，但是可能存在两个问题，一是用来做分类的模型泛化性不高，不适用于新领域文本，得到的标签结果不准确；二是对于文本数据量级过大的情况，如果分类模型本身参数量大或者硬件资源不足，会导致推理速度过慢。处理新领域文本人工参与的方法，例如采用某些方法挑选出重要有代表性的文本进行人工添加标签，再用来构建模型，这样得到的标签足够准确，但是花费人力物力，效率不高。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种小参数模型的构建方法、文本标签的生成方法及装置，以提高了文本标签的准确性和标签生成的效率，同时降低了人工参与的成本和
【技术保护点】
1.一种小参数模型的构建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于大语言模型生成所述训练数据集的文本标签，包括：
3.根据权利要求2所述的方法，其特征在于，基于所述文本标签得到初始训练数据集，包括：
4.根据权利要求1所述的方法，其特征在于，基于所述初始训练数据集对预训练模型进行训练，得到多标签分类模型，包括：
5.根据权利要求1所述的方法，其特征在于，通过蒸馏训练对所述多标签分类模型进行训练，得到小参数模型，包括：
6.一种文本标签的生成方法，其特征在于，包括：
7...
【技术特征摘要】
1.一种小参数模型的构建方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于大语言模型生成所述训练数据集的文本标签，包括：
3.根据权利要求2所述的方法，其特征在于，基于所述文本标签得到初始训练数据集，包括：
4.根据权利要求1所述的方法，其特征在于，基于所述初始训练数据集对预训练模型进行训练，得到多标签分类模型，包括：
5.根据权利要求1所述的方法，其特征在于，通过蒸馏训练对所述多标签分类模型进行训练，得到小参数模型，包括：
6.一种文本标签的生成方法，...
【专利技术属性】
技术研发人员：张涵，何盼，谢亚文，麻沁甜，
申请(专利权)人：上海勃池信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。