【技术实现步骤摘要】
本申请涉及人工智能,具体涉及一种模型训练方法和装置、设备、存储介质及产品。
技术介绍
1、主题分割的目的是将具有时序的多个语句划分为多个片段,其中,每个片段内的语句都是类似的话题,也就是说每个片段内的语句的主题相同,不同片段内的主题不同。主题分割对自然语言处理任务的下游任务至关重要,比如,针对对话总结、对话生成、响应预测和问题回答这些下游任务,有效的主题分割,能够提升这些下游任务的处理精度。
2、目前,主题分割主要是将语句的特征输入到模型,模型利用语句的特征计算语句之间的相似度,从而输出语句的分割边界,也可称为分割位置,即目前模型主要是从全局的角度,将多个语句分割成具有多个主题的片段。然而,利用语句的相似度的全局分割方式比较简单粗暴,识别出的分割边界的精度比较低,导致分割出的主题的精度比较低。
技术实现思路
1、本申请实施例提供了一种模型训练方法和装置、设备、存储介质及产品,通过全局和动态局部调整的方式训练出具有高精度主题意识的模型,从而使用该模型对语句进行主题分割时,可以提高
...【技术保护点】
1.一种模型训练方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述基于每个训练语句的特征对所述多个训练语句进行分割,得到多个分割位置,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述两个训练语句的语义相似度,对所述多个训练语句进行聚类,得到第一聚类中心,包括:
4.根据权利要求1-3任一项所述的方法,其特征在于,所述基于第一训练语句的特征,对所述分割位置cj进行调整,包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一相似度和所述第四训练语句对应的第二相似度,对所述分割位
...【技术特征摘要】
1.一种模型训练方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述基于每个训练语句的特征对所述多个训练语句进行分割,得到多个分割位置,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述两个训练语句的语义相似度,对所述多个训练语句进行聚类,得到第一聚类中心,包括:
4.根据权利要求1-3任一项所述的方法,其特征在于,所述基于第一训练语句的特征,对所述分割位置cj进行调整,包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一相似度和所述第四训练语句对应的第二相似度,对所述分割位置进行调整,包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述第一相似度和所述第四训练语句对应的第二相似度,确定所述第二训练语句的评分,包括:
7.根据权利要求5或6所述的方法,其特征在于,所述基于所述第二训练语句的评分,对所述分割位置进行调整,包括:
8.根据权利要求1-7任一项所述的方法,其特征在于,所述基于所述分割位置cj和所述多个训练语句,对所述第一模型进行训练,得到第二模型,包括:
9.根据权利要求8所述的方法,其特征在于,所述基于所述多个训练语句,获取与所述第一主题对应的样本集,包括:
10.根据权利要求9所述的方法,其特征在于,所述从第二主题对应的训练语句中,获取与所述第一主题对应的负样本集,包括:
11.根据权利要求10所述的方法,其特征在于,所述基于所述第二数量,从所述第二主题对应的训练语句中获取所述负样本集,包括:
12.根据权利要...
【专利技术属性】
技术研发人员:吕艳通,陶万杰,
申请(专利权)人:马上消费金融股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。