当前位置: 首页 > 专利查询>之江实验室专利>正文

一种模型训练方法、装置和计算机设备制造方法及图纸

技术编号:43876477 阅读:31 留言:0更新日期:2024-12-31 18:59
本申请涉及一种模型训练方法、装置和计算机设备。所述方法包括:获取与目标任务相关的多模态训练样本;多模态训练样本,包括文本、语音和图像中的至少两种样本;目标任务,为视觉处理、语音处理或语言处理中的一种;基于获取到的多模态训练样本,与待训练大模型,构建与目标任务相关的攻防博弈模型;基于攻防博弈模型,剔除多模态训练样本中影响待训练大模型的模型训练收敛速度的目标样本,得到精简后的样本;利用精简后的样本,对待训练大模型进行训练,得到训练后的大模型。采用本方法能够解决了现有的大模型的训练方法,因为存在影响大模型训练效率的样本,导致在进行大模型训练的过程中,存在占用计算资源过多的问题。

【技术实现步骤摘要】

本申请涉及人工智能,特别是涉及一种模型训练方法、装置和计算机设备


技术介绍

1、随着科技的发展,人工智能技术逐渐受到重视。随着人工智能技术的发展,人工智能技术逐渐应用在自然语言处理、语音处理、以及计算机视觉等多个领域。

2、随着人工智能在各个领域的广泛应用,随之而来的是,对文本、语音或图像等数据的处理量急剧增加。因此,需要引入大数据处理模型,对大量数据进行处理。例如,在进行计算机视觉处理时,需要引入视觉大模型来实现目标功能;在进行自然语言处理时,需要引入语言大模型来实现目标功能;在进行语音处理时,需要引入语言大模型来实现目标功能。然而,为了保证引入的视觉、语言或语音大模型的预测效果,在利用视觉、语言或语音大模型进行计算机视觉或语言处理之前,需要采用大量的图像、文本或语音数据对视觉、语言或语音大模型进行训练。

3、而现有的大模型的训练过程中,因为样本过多,样本参差不齐,存在影响大模型训练效率的样本,导致在进行大模型训练的过程中,需要占用过多的计算资源。

4、针对现有的大模型的训练方法,因为存在影响大模型训练效率的样本,导本文档来自技高网...

【技术保护点】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的模型训练方法,其特征在于,所述基于获取到的与所述目标任务相关的所述多模态训练样本,以及与所述目标任务相关的待训练大模型,构建与所述目标任务相关的攻防博弈模型,包括:

3.根据权利要求1所述的模型训练方法,其特征在于,所述基于与所述目标任务相关的所述攻防博弈模型,剔除与所述目标任务相关的所述多模态训练样本中的目标样本,得到精简后的样本,包括:

4.根据权利要求3所述的模型训练方法,其特征在于,所述基于所述目标攻击样本,剔除与所述目标任务相关的所述多模态训练样本中的所述目标样本,得到...

【技术特征摘要】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的模型训练方法,其特征在于,所述基于获取到的与所述目标任务相关的所述多模态训练样本,以及与所述目标任务相关的待训练大模型,构建与所述目标任务相关的攻防博弈模型,包括:

3.根据权利要求1所述的模型训练方法,其特征在于,所述基于与所述目标任务相关的所述攻防博弈模型,剔除与所述目标任务相关的所述多模态训练样本中的目标样本,得到精简后的样本,包括:

4.根据权利要求3所述的模型训练方法,其特征在于,所述基于所述目标攻击样本,剔除与所述目标任务相关的所述多模态训练样本中的所述目标样本,得到所述精简后的样本,包括:

5.根据权利要求4所述的模型训练方法,其特征在于,在基于各个所述目标攻击样本的扰动值,对各个所述目标攻击样本进行调整,得到各个调整后的目标攻击样本之前,包括:<...

【专利技术属性】
技术研发人员:董建敏彭弘毅高翔
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1