可视化大模型微调方法和装置制造方法及图纸

技术编号:40839879 阅读:46 留言:0更新日期:2024-04-01 15:06
本发明专利技术提供一种可视化大模型微调方法和装置,包括:根据用户的训练需求得到目标数据集;根据所述训练需求得到目标大模型;根据所述训练需求得到目标微调算法;根据所述目标微调算法和所述目标数据集训练所述目标大模型,得到训练结果和训练日志,并根据所述训练日志进行可视化展示;将所述训练结果与历史训练结果进行对比,得到分析报告和/或优化方案;在所述分析报告满足预设条件的情况下,对所述训练结果进行一键部署。本发明专利技术基于内置的数据集库、大模型库和微调算法库,支持无代码在线微调,从而快速完成模型构建和训练,训练过程可视化,进一步降低使用门槛,缩短项目开发周期。本发明专利技术大模型微调效率高、成本及使用门槛低、可复用性好。

【技术实现步骤摘要】

本专利技术涉及机器学习,尤其涉及一种可视化大模型微调方法和装置


技术介绍

1、目前大模型技术在各个行业都得到了广泛的应用,利用大模型技术的确可以提高各个行业领域的工作效率。由于大模型训练成本比较高,所以很多企业选择对开源大模型进行微调,最终形成适合自己的私有大模型,最后满足自己生产经营的需要。但是大模型技术门槛比较高,需要开发技术人员具备很好的行业知识,这些ai工程师成本比较高,并不是每一个企业都能够负担的起的。

2、现有技术中,通常是针对不同的大模型微调,编写不同的微调算法。根据编写的算法编写代码微调大模型,并编写代码对微调后的大模型进行测试评估。微调训练完成后,人工拷贝生成的大模型,并部署到用户的机器上。大模型普遍采用云端部署,降低部署成本。

3、在这些步骤中,微调算法可复用性很差,并没有形成统一的微调算法库,并且开发者微调算法不能公用。对大模型进行微调需要编写代码,这会提高大模型开发的成本与门槛。训练完成的成果需人工介入,会导致部署发布效率低下。此外,云端部署的数据安全性比较差,而且特殊行业不支持云端部署

4、本文档来自技高网...

【技术保护点】

1.一种可视化大模型微调方法,其特征在于,包括:

2.根据权利要求1所述的可视化大模型微调方法,其特征在于,根据所述训练日志进行可视化展示,具体包括:

3.根据权利要求2所述的可视化大模型微调方法,其特征在于,所述根据所述可视化展示的结果对所述当前日志指标进行异常监控,具体包括:

4.根据权利要求1所述的可视化大模型微调方法,其特征在于,根据所述目标微调算法和所述目标数据集训练所述目标大模型,得到训练日志,具体包括:

5.根据权利要求2所述的可视化大模型微调方法,其特征在于,所述将所述训练结果与历史训练结果进行对比,得到分析报告和/或优化方...

【技术特征摘要】

1.一种可视化大模型微调方法,其特征在于,包括:

2.根据权利要求1所述的可视化大模型微调方法,其特征在于,根据所述训练日志进行可视化展示,具体包括:

3.根据权利要求2所述的可视化大模型微调方法,其特征在于,所述根据所述可视化展示的结果对所述当前日志指标进行异常监控,具体包括:

4.根据权利要求1所述的可视化大模型微调方法,其特征在于,根据所述目标微调算法和所述目标数据集训练所述目标大模型,得到训练日志,具体包括:

5.根据权利要求2所述的可视化大模型微调方法,其特征在于,所述将所述训练结果与历史训练结果进行对比,得到分析报告和/或优化方案,具体包括:

6.根据权利要求1所述的可视化大模型微调方法...

【专利技术属性】
技术研发人员:王云峰张芯铭程信辉
申请(专利权)人:北京汉勃科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1