大模型的资源调度方法及模型训练方法技术

技术编号:45065444 阅读:14 留言:0更新日期:2025-04-25 18:10
本申请公开了一种大模型的资源调度方法及模型训练方法。涉及人工智能技术领域,该方法包括:获取大模型对应多个计算节点在历史时间段的负载历史数据,并确定大模型的当前运行资源;将负载历史数据输入至负载预测模型中,利用负载预测模型对多个计算节点在预设时间段的负载进行预测,得到负载预测数据;基于负载预测数据确定多个计算节点中部署的模型实例的部署结果;基于部署结果和当前运行资源进行资源调度。通过本申请,解决了由于相关技术中大模型的资源调度的准确性较低导致的大模型的资源利用率较低的技术问题。

【技术实现步骤摘要】

本申请涉及人工智能,具体而言,涉及一种大模型的资源调度方法及模型训练方法


技术介绍

1、随着人工智能技术的飞速发展,人们越来越重视对机器学习、自然语言处理、计算机视觉、机器人技术、专家系统等多个人工智能的研究领域的研究。而大模型作为人工智能机器学习和深度学习等领域中具有大量参数的模型,大模型在运行时需要消耗大量的资源,因此,大模型的资源调度是确保大模型的资源利用率的主要手段之一,且大模型的资源调度也是确保大模型稳定运行的主要手段之一。而相关技术中大模型的资源调度的准确性较低,导致大模型的资源利用率较低,进而导致大模型运维的成本较高,且用户的使用体验较差。

2、针对由于相关技术中大模型的资源调度的准确性较低导致的大模型的资源利用率较低的技术问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请的主要目的在于提供一种大模型的资源调度方法及模型训练方法,以解决由于相关技术中大模型的资源调度的准确性较低导致的大模型的资源利用率较低的技术问题。

2、为了实现上述目的,根据本申请的一个方面本文档来自技高网...

【技术保护点】

1.一种大模型的资源调度方法,其特征在于,包括:

2.根据权利要求1所述的大模型的资源调度方法,其特征在于,基于所述负载预测数据确定所述多个计算节点中部署的所述模型实例的部署结果,包括:

3.根据权利要求1所述的大模型的资源调度方法,其特征在于,基于所述部署结果和所述当前运行资源对所述大模型进行资源调度,包括:

4.根据权利要求3所述的大模型的资源调度方法,其特征在于,基于所述负载预测数据和所述负载历史数据对所述当前运行资源进行调整,得到目标运行资源,包括:

5.根据权利要求3所述的大模型的资源调度方法,其特征在于,根据所述目标运行资源进行...

【技术特征摘要】

1.一种大模型的资源调度方法,其特征在于,包括:

2.根据权利要求1所述的大模型的资源调度方法,其特征在于,基于所述负载预测数据确定所述多个计算节点中部署的所述模型实例的部署结果,包括:

3.根据权利要求1所述的大模型的资源调度方法,其特征在于,基于所述部署结果和所述当前运行资源对所述大模型进行资源调度,包括:

4.根据权利要求3所述的大模型的资源调度方法,其特征在于,基于所述负载预测数据和所述负载历史数据对所述当前运行资源进行调整,得到目标运行资源,包括:

5.根据权利要求3所述的大模型的资源调度方法,其特征在于,根据...

【专利技术属性】
技术研发人员:邵飞飞王泽洋贾珂李兰彬
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1