文本分类模型的训练方法、装置、电子设备、存储介质及程序产品制造方法及图纸

技术编号:43072703 阅读:17 留言:0更新日期:2024-10-22 14:47
本申请提供一种文本分类模型的训练方法、装置、电子设备、存储介质及程序产品,涉及人工智能技术领域。该方法包括:获取历史文本数据以及历史多层级标签集,历史多层级标签集包括N个层级标签组;获取各个层级标签组中同类别标签的标签数量并确定出各个层级标签组的最大标签数量;计算N个层级标签组中的最大标签数量的总和,并将最大标签数量的总和确定为分类预测向量的向量长度;对历史多层级标签集中的标签进行独热编码改写;基于历史文本数据以及独热编码改写后的历史多层级标签集生成训练样本;采用训练样本对初始文本分类模型进行训练至收敛。本申请的方法,能够有效降低模型训练时的计算复杂度,有效提高模型的训练效率。

【技术实现步骤摘要】

本申请涉及人工智能,尤其涉及文本分类模型的训练方法、装置、电子设备、存储介质及程序产品


技术介绍

1、文本分类是自然语言处理应用领域中最常见且最重要的任务类型。现有的一种用于多层级标签多分类的文本分类模型在训练时,需要穷尽所有标签组合以涵盖不同层级组合的所有情况,从而获得一个能够概括出所有标签的最大标签集合,并对该最大标签集合中的标签进行独热编码改写。但是由于最大标签集合内的标签数量过大,使得在独热编码改写后的分类预测向量的向量长度较长,进而增加了文本分类模型的在训练时的计算复杂度,降低了文本分类模型的训练效率。


技术实现思路

1、本申请提供一种文本分类模型的训练方法、装置、电子设备、存储介质及程序产品,用以解决现有的文本分类模型的训练效率低的技术问题。

2、第一方面,本申请提供一种文本分类模型的训练方法,包括:

3、获取历史文本数据以及历史多层级标签集,所述历史多层级标签集包括n个层级标签组,所述层级标签组中包括至少一个类别的标签,且相邻所述层级标签组中的标签之间具有层级关联关系,本文档来自技高网...

【技术保护点】

1.一种文本分类模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于确定出的所述分类预测向量的向量长度,采用预定编码策略对所述历史多层级标签集中的标签进行独热编码改写,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据N个所述层级标签组中的标签之间层级关联关系对N个所述编码区域依次进行独热编码改写,包括:

4.根据权利要求1所述的方法,其特征在于,所述采用所述训练样本对初始文本分类模型进行训练至收敛,以获得已训练至收敛的文本分类模型,包括:

5.根据权利要求4所述的方法,其特征在于,所述将N个所述编...

【技术特征摘要】

1.一种文本分类模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于确定出的所述分类预测向量的向量长度,采用预定编码策略对所述历史多层级标签集中的标签进行独热编码改写,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据n个所述层级标签组中的标签之间层级关联关系对n个所述编码区域依次进行独热编码改写,包括:

4.根据权利要求1所述的方法,其特征在于,所述采用所述训练样本对初始文本分类模型进行训练至收敛,以获得已训练至收敛的文本分类模型,包括:

5.根据权利要求4所述的方法,其特征在于,所述将n个所述编码区域的损失值进行加权处理,包括:

6.根据权利要求4所述的方法,其特征在于,所述对n个所述编码区域分别利用损失函数...

【专利技术属性】
技术研发人员:吴明晖刘梅琛
申请(专利权)人:人保信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1