一种支持多种大语言模型训练的装置、方法及设备制造方法及图纸

技术编号:40540252 阅读:16 留言:0更新日期:2024-03-05 18:55
本发明专利技术涉及语言模型训练技术领域,具体地说是一种支持多种大语言模型训练的装置、方法及设备,该支持多种大语言模型训练的装置包括:数据集管理模块,用于上传和自动识别数据集,为后面的训练提供数据支撑;模型列表模块,用于查看当前所有模型的相关信息,该信息包括但不限于模型名称、训练列表和动态训练进度;模型训练模块,用于创建和管理训练任务,配备训练数据看板,以及自定训练配置;AI对话模块,用于根据需求切换使用不同的AI模型进行对话;本发明专利技术同现有技术相比,能够帮助用户轻松、高效地实施大语言模型的训练和应用,实现对训练模型所需数据的高效处理,同时可全方位支持创建和管理训练任务,拓宽了对话模型的应用范围。

【技术实现步骤摘要】

[]本专利技术涉及语言模型训练,具体地说是一种支持多种大语言模型训练的装置、方法及设备


技术介绍

0、[
技术介绍
]

1、目前,大语言训练模型主要存在兼容性问题、硬件资源需求高、储存和检索问题、问答测试可能存在偏差、无界面操作或操作过于复杂等不足之处,具体如下:

2、(1)兼容性问题:一种训练平台要支持市面上所有的模型预训练和微调,那么很可能会出现兼容性的问题,因为不同的模型可能采用了不同的训练和优化方法,而且不同模型功能不尽相同,有的侧重于语义理解,有的侧重于语言生成。

3、(2)硬件资源需求高:每一次训练都可以选择不同的服务器,让服务器的使用更加灵活听起来是一个好办法,但需要考虑硬件资源是否充足,特别是当出现多人同时进行训练任务的时候。

4、(3)储存和检索问题:要保存所有训练历史记录,可能需要大量的存储空间,同时,如何能够快速检索到需要的训练历史记录也是一个问题,可能需要设计高效的数据组织和检索机制。

5、(4)问答测试可能存在偏差:训练结果的问答测试,视训练数据的质量和模型的优化程度而定,本文档来自技高网...

【技术保护点】

1.一种支持多种大语言模型训练的装置,其特征在于,包括:

2.如权利要求1所述的装置,其特征在于:所述模型列表模块中,模型名称为每个模型提供名称标识,以快速找到需要的模型;训练列表用于详细展示每个模型的训练历程,以快速理解模型训练的全过程;训练进度通过设计动态显示的训练进度条,实时了解模型训练的进度。

3.如权利要求1所述的装置,其特征在于:所述模型训练模块中,新增训练任务是在开始新的探索或想要进一步优化已有模型时,为任意模型新增一个训练任务,以使研究实现连续性的进步。

4.如权利要求1所述的装置,其特征在于:所述模型训练模块中,训练数据看板用于实时展...

【技术特征摘要】

1.一种支持多种大语言模型训练的装置,其特征在于,包括:

2.如权利要求1所述的装置,其特征在于:所述模型列表模块中,模型名称为每个模型提供名称标识,以快速找到需要的模型;训练列表用于详细展示每个模型的训练历程,以快速理解模型训练的全过程;训练进度通过设计动态显示的训练进度条,实时了解模型训练的进度。

3.如权利要求1所述的装置,其特征在于:所述模型训练模块中,新增训练任务是在开始新的探索或想要进一步优化已有模型时,为任意模型新增一个训练任务,以使研究实现连续性的进步。

4.如权利要求1所述的装置,其特征在于:所述模型训练模块中,训练数据看板用于实时展示关键训练数据,包括训练状态、正在使用的预料数量和训练已耗费的时间。

5.如权利要求1所述的装置,其特征在于:所述模型训练模块中,训练配置通过设计多种配置参数供选择,包括基础模型选择、训练方式选择、训练参数选择以及训练服务器选择。

6.一种支持多种大语言模型训练的方法,其特征在于,包括以下...

【专利技术属性】
技术研发人员:周旺华
申请(专利权)人:上海数珩信息科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1