System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 文本分类模型训练方法及分类方法、装置、设备、介质及产品制造方法及图纸_技高网

文本分类模型训练方法及分类方法、装置、设备、介质及产品制造方法及图纸

技术编号:41391759 阅读:3 留言:0更新日期:2024-05-20 19:14
本申请提供一种文本分类模型训练方法及分类方法、装置、设备、介质及产品,可用于人工智能技术领域。该方法包括:获取初始文本训练样本,并对初始文本训练样本进行编码处理,以获得初始文本训练向量;针对每类初始文本训练向量,采用最小包围球算法计算每类初始文本训练向量对应的超平面球体;基于每类初始文本训练向量及对应的超平面球体确定增强文本训练向量;采用每类初始文本训练向量及增强文本训练向量对预设文本分类模型进行训练。本申请可适用于数据缺乏的场景下对文本分类模型进行文本分类训练,并使训练至收敛的文本分类模型可实现对文本的准确分类,以及减少了人工参与。

【技术实现步骤摘要】

本申请涉及人工智能,尤其涉及一种文本分类模型训练方法及分类方法、装置、设备、介质及产品


技术介绍

1、随着新能源汽车在国内的迅速普及,消费者在购车时面临诸多选择和困惑。为了更好地服务消费者,各大汽车品牌都推出了自己的选购app。这些app不仅提供了车辆展示和购买功能,还为消费者提供了提问和交流的平台。为了更好地服务消费者,对汽车问答文本进行精确分类是必要的。通过分类,消费者可以更方便地找到自己感兴趣的问题,以及快速了解不同车辆的特点和优缺点。

2、目前在对分类模型进行训练时,一般需要人工对文本样本进行分类类别的标注。在新能汽车问答文本进行分类的应用场景中,由于领域特殊性和标注成本高,所以导致已进行分类的文本样本数据缺乏,因此,面对数据缺乏的文本样本对分类模型进行训练,导致训练的结果并不理想。


技术实现思路

1、本申请提供一种文本分类模型训练方法及分类方法、装置、设备、介质及产品,用以解决现有技术中在对分类模型进行训练时,一般需要人工对文本样本进行分类类别的标注,以及面对数据缺乏的文本样本对分类模型进行训练,导致训练的结果并不理想的技术问题。

2、第一方面,本申请提供一种文本分类模型训练方法,包括:

3、获取初始文本训练样本,并对所述初始文本训练样本进行编码处理,以获得初始文本训练向量;

4、针对每类初始文本训练向量,采用最小包围球算法计算每类初始文本训练向量对应的超平面球体;

5、基于每类初始文本训练向量及对应的超平面球体确定增强文本训练向量;

6、采用所述每类初始文本训练向量及增强文本训练向量对预设文本分类模型进行训练。

7、在一种可能的设计中,所述基于每类初始文本训练向量及对应的超平面球体确定增强文本训练向量,包括:

8、采用smote插值算法并基于每类初始文本训练向量及对应的超平面球体生成增强文本训练向量。

9、在一种可能的设计中,所述采用所述每类初始文本训练向量及增强文本训练向量对预设文本分类模型进行训练,包括:

10、基于所述每类初始文本训练向量及增强文本训练向量生成支持样本集及查询样本集;

11、采用所述支持样本集对所述预设文本分类模型进行训练,并采用查询样本集对训练后的文本分类模型进行测试;

12、在满足测试通过条件时,将满足测试通过条件的文本分类模型确定为已训练至收敛的文本分类模型。

13、在一种可能的设计中,所述采用所述每类初始文本训练向量及增强文本训练向量对预设文本分类模型进行训练之前,还包括:

14、确定各超平面球体的球心对应的类别基准向量;

15、根据所述类别基准向量对对应类别的增强文本训练向量进行采样处理,以获得采样后的增强文本训练向量。

16、在一种可能的设计中,所述根据所述类别基准向量对对应类别的增强文本训练向量进行采样处理,以获得采样后的增强文本训练向量,包括:

17、计算各增强文本训练向量与对应类别的类别基准向量的余弦距离;

18、根据所述余弦距离对所述增强文本训练向量进行采样处理,以获得采样后的增强文本训练向量。

19、在一种可能的设计中,所述根据所述余弦距离对所述增强文本训练向量进行采样处理,以获得采样后的增强文本训练向量,包括:

20、根据各所述余弦距离计算对应的采样权重;

21、基于采样权重及预设权重阈值对所述增强文本训练向量进行采样处理,以获得采样后的增强文本训练向量。

22、在一种可能的设计中,所述基于采样权重及预设权重阈值对所述增强文本训练向量进行采样处理,以获得采样后的增强文本训练向量,包括:

23、响应于采样权重大于或等于预设权重阈值,则保留对应的增强文本训练向量作为采样后的增强文本训练向量。

24、在一种可能的设计中,所述预设文本分类模型为预设原型网络。

25、第二方面,本申请提供一种文本分类方法,包括:

26、获取待分类的目标文本;

27、对所述目标文本进行编码处理,以获得目标文本向量;

28、采用已训练至收敛的文本分类模型对所述目标文本向量进行分类,以获得对应类别,所述已训练至收敛的文本分类模型是采用第一方面任一项所述的方法对预设文本分类模型训练获得的。

29、第三方面,本申请提供一种文本分类模型训练装置,所述装置包括:

30、获取模块,用于获取初始文本训练样本;

31、编码模块,用于对所述初始文本训练样本进行编码处理,以获得初始文本训练向量;

32、计算模块,用于针对每类初始文本训练向量,采用最小包围球算法计算每类初始文本训练向量对应的超平面球体;

33、确定模块,用于基于每类初始文本训练向量及对应的超平面球体确定增强文本训练向量;

34、训练模块,用于采用所述每类初始文本训练向量及增强文本训练向量对预设文本分类模型进行训练。

35、第四方面,本申请提供一种文本分类装置,所述装置包括:

36、获取模块,用于获取待分类的目标文本;

37、编码模块,用于对所述目标文本进行编码处理,以获得目标文本向量;

38、分类模块,用于采用已训练至收敛的文本分类模型对所述目标文本向量进行分类,以获得对应类别。

39、第五方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;

40、所述存储器存储计算机执行指令;

41、所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面及第二方面任一项所述的方法。

42、第六方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面及第二方面任一项所述的方法。

43、第七方面,本申请提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如第一方面及第二方面任一项所述的方法。

44、本申请提供的文本分类模型训练方法及分类方法、装置、设备、介质及产品,通过获取初始文本训练样本,并对所述初始文本训练样本进行编码处理,以获得初始文本训练向量;针对每类初始文本训练向量,采用最小包围球算法计算每类初始文本训练向量对应的超平面球体;基于每类初始文本训练向量及对应的超平面球体确定增强文本训练向量;采用所述每类初始文本训练向量及增强文本训练向量对预设文本分类模型进行训练。由于将获取到的初始文本训练样本通过编码处理,则获得了向量化表示的初始文本训练向量。因此可采用最小包围球算法基于每类的初始文本训练向量计算得到每类对应的超平面球体,并可基于每类对应的超平面球体及生成超平面球体的对应初始文本训练向量得出每类对应的增强文本训练向量,从而实现了对每类文本训练向量的数量增加,所以避免了需要人工对大量文本数据进行分类本文档来自技高网...

【技术保护点】

1.一种文本分类模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于每类初始文本训练向量及对应的超平面球体确定增强文本训练向量,包括:

3.根据权利要求1所述的方法,其特征在于,所述采用所述每类初始文本训练向量及增强文本训练向量对预设文本分类模型进行训练,包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述采用所述每类初始文本训练向量及增强文本训练向量对预设文本分类模型进行训练之前,还包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述类别基准向量对对应类别的增强文本训练向量进行采样处理,以获得采样后的增强文本训练向量,包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述余弦距离对所述增强文本训练向量进行采样处理,以获得采样后的增强文本训练向量,包括:

7.根据权利要求6所述的方法,其特征在于,所述基于采样权重及预设权重阈值对所述增强文本训练向量进行采样处理,以获得采样后的增强文本训练向量,包括:

8.根据权利要求1-3任一项所述的方法,其特征在于,所述预设文本分类模型为预设原型网络。

9.一种文本分类方法,其特征在于,包括:

10.一种文本分类模型训练装置,其特征在于,包括:

11.一种文本分类装置,其特征在于,包括:

12.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;

13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至9任一项所述的方法。

14.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-9中任一项所述的方法。

...

【技术特征摘要】

1.一种文本分类模型训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于每类初始文本训练向量及对应的超平面球体确定增强文本训练向量,包括:

3.根据权利要求1所述的方法,其特征在于,所述采用所述每类初始文本训练向量及增强文本训练向量对预设文本分类模型进行训练,包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述采用所述每类初始文本训练向量及增强文本训练向量对预设文本分类模型进行训练之前,还包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述类别基准向量对对应类别的增强文本训练向量进行采样处理,以获得采样后的增强文本训练向量,包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述余弦距离对所述增强文本训练向量进行采样处理,以获得采样后的增强文本训练向量,包括:

7.根据权利要...

【专利技术属性】
技术研发人员:周驰谷鹰车皓阳姚雷
申请(专利权)人:浙江极氪智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1