一种基于预训练模型的多层级文本分类模型制造技术

技术编号:41715925 阅读:19 留言:0更新日期:2024-06-19 12:43
一种基于预训练模型的多层级文本分类模型,属于自然语言处理领域,包括以下步骤:S1、采集文本数据,并对其进行预处理;S2、通过预训练模型对文本数据进行编码;S3、对模型输出的上下文表示进行文本特征提取;S4、将提取的文本特征输入到多层级分类模型,用于得到多层级的输出;S5、使用线性层预测一级标签,通过计算得到一级分类预测结果;S6、根据一级分类预测结果来动态调整映射矩阵,并进行计算,得到二级分类预测结果。本发明专利技术提供的基于预训练模型的多层级文本分类模型,引入了多层级分类结构,使模型能够同时对文本进行多个层级的分类,提升了分类的程度和准确性。

【技术实现步骤摘要】

本专利技术属于自然语言处理领域,具体涉及一种基于预训练模型的多层级文本分类模型


技术介绍

1、随着信息技术的快速发展,文本分类技术得到了广泛的研究,如微博、聊天信息、新闻主题、观点评论、问题文本、手机短信、文献摘要等,文本分类技术在各个得到了广泛的应用,尤其是在自然语言处理、情感分析、信息检索等方面,传统的文本分类模型往往只能实现单一层级的分类,无法满足多层级分类的任务的需求,同时,随着预训练模型的提出,其在自然语言处理任务上取得了巨大成功,但是对于多层级分类任务的适用性有待进一步提升。所以,需要一种能够满足多层级分类任务的文本分类模型,本专利技术针对这一技术问题进行解决。


技术实现思路

1、本专利技术提供了一种基于预训练模型的多层级文本分类模型,引入了多层级分类结构,使模型能够同时对文本进行多个层级的分类,提升了分类的程度和准确性。

2、一种基于预训练模型的多层级文本分类模型,包括以下步骤:

3、s1、采集文本数据,并对其进行预处理;

4、s2、通过预训练模型对文本数据本文档来自技高网...

【技术保护点】

1.一种基于预训练模型的多层级文本分类模型,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于预训练模型的多层级文本分类模型,其特征在于,所述步骤S1包括以下步骤:

3.根据权利要求2所述的基于预训练模型的多层级文本分类模型,其特征在于,所述步骤S2包括以下步骤:

4.根据权利要求3所述的基于预训练模型的多层级文本分类模型,其特征在于,所述步骤S3包括以下步骤:

5.根据权利要求4所述的基于预训练模型的多层级文本分类模型,其特征在于,所述步骤S4包括以下步骤:

6.根据权利要求5所述的基于预训练模型的多层级文本分类模型,其...

【技术特征摘要】

1.一种基于预训练模型的多层级文本分类模型,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于预训练模型的多层级文本分类模型,其特征在于,所述步骤s1包括以下步骤:

3.根据权利要求2所述的基于预训练模型的多层级文本分类模型,其特征在于,所述步骤s2包括以下步骤:

4.根据权利要求3所述的基于预训练模型的多层级文本分类模型,其特...

【专利技术属性】
技术研发人员:魏传强宋耀司君波李喆刘鹏
申请(专利权)人:山东齐鲁壹点传媒有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1