模型的自动化训练和部署方法技术

技术编号:41844098 阅读:23 留言:0更新日期:2024-06-27 18:23
本申请公开了一种模型的自动化训练和部署方法。其中,该方法包括:接收目标数据,并将目标数据转换为结构化文本;通过大模型在模型库中检索与目标数据匹配的目标小模型,其中,目标小模型用于处理目标数据;通过大模型根据目标数据构建数据集,并利用数据集训练目标小模型,得到训练后的目标小模型,其中,数据集包括通过大模型在数据库中检索到的第一类数据和大模型生成的第二类数据;将训练后的目标小模型部署在目标数据的生产环境中。本申请解决了由于相关技术中在使用同一个无法调整参数的通用大模型解决不同用户问题对应的不同任务造成的存在大模型无法解决的任务,不具备通用性的技术问题。

【技术实现步骤摘要】

本申请涉及自然语言处理,具体而言,涉及一种模型的自动化训练和部署方法


技术介绍

1、随着深度学习技术的发展,机器学习模型得到广泛的应用;相关技术中在利用机器学习模型解决不同专业领域的任务时,基于用户输入和大模型自动构建提示词(prompt)模版来改写用户输入,得到召回率更高、更准确的回答,达到解决用户问题对应的任务的目的;然而,这种方式无法对大模型进行微调,极度依赖大模型现有能力及其处理prompt模板的能力,因此,存在利用机器学习模型解决不同任务的效果参差不齐,以及无法解决所有任务,不具备通用性的问题。

2、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请实施例提供了一种模型的自动化训练和部署方法,以至少解决由于相关技术中在使用同一个无法调整参数的通用大模型解决不同用户问题对应的不同任务造成的存在大模型无法解决的任务,不具备通用性的技术问题。

2、根据本申请实施例的一个方面,提供了一种模型的训练方法,包括:接收目标数据,并将目标数据转换为结构化文本,其中,结构本文档来自技高网...

【技术保护点】

1.一种模型的自动化训练和部署方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,通过大模型在模型库中检索与所述目标数据匹配的目标小模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述匹配分数通过以下方法确定:

4.根据权利要求1所述的方法,其特征在于,所述第一类数据通过以下方法得到:

5.根据权利要求4所述的方法,其特征在于,所述第二类数据通过以下方法得到:

6.根据权利要求1所述的方法,其特征在于,所述数据集包括训练数据集和评测数据集,其中,所述训练数据集用于训练所述目标小模型,所述评测数据集用于评价...

【技术特征摘要】

1.一种模型的自动化训练和部署方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,通过大模型在模型库中检索与所述目标数据匹配的目标小模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述匹配分数通过以下方法确定:

4.根据权利要求1所述的方法,其特征在于,所述第一类数据通过以下方法得到:

5.根据权利要求4所述的方法,其特征在于,所述第二类数据通过以下方法得到:

6.根据权利要求1所述的方法,其特征在于,所述数据集包括训练数据集和评测数据集,其中,所述训练数据集用于训练所述目标小模型,所述评测数据集用于评价所述目标小模型;利用所述数据集训练所述目标小模型,包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:利用所述评...

【专利技术属性】
技术研发人员:张龙飞张云龙阮宜龙
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1