【技术实现步骤摘要】
本申请涉及人工智能,具体而言,涉及一种大模型的资源调度方法及模型训练方法。
技术介绍
1、随着人工智能技术的飞速发展,人们越来越重视对机器学习、自然语言处理、计算机视觉、机器人技术、专家系统等多个人工智能的研究领域的研究。而大模型作为人工智能机器学习和深度学习等领域中具有大量参数的模型,大模型在运行时需要消耗大量的资源,因此,大模型的资源调度是确保大模型的资源利用率的主要手段之一,且大模型的资源调度也是确保大模型稳定运行的主要手段之一。而相关技术中大模型的资源调度的准确性较低,导致大模型的资源利用率较低,进而导致大模型运维的成本较高,且用户的使用体验较差。
2、针对由于相关技术中大模型的资源调度的准确性较低导致的大模型的资源利用率较低的技术问题,目前尚未提出有效的解决方案。
技术实现思路
1、本申请的主要目的在于提供一种大模型的资源调度方法及模型训练方法,以解决由于相关技术中大模型的资源调度的准确性较低导致的大模型的资源利用率较低的技术问题。
2、为了实现上述目的,
...【技术保护点】
1.一种大模型的资源调度方法,其特征在于,包括:
2.根据权利要求1所述的大模型的资源调度方法,其特征在于,基于所述负载预测数据确定所述多个计算节点中部署的所述模型实例的部署结果,包括:
3.根据权利要求1所述的大模型的资源调度方法,其特征在于,基于所述部署结果和所述当前运行资源对所述大模型进行资源调度,包括:
4.根据权利要求3所述的大模型的资源调度方法,其特征在于,基于所述负载预测数据和所述负载历史数据对所述当前运行资源进行调整,得到目标运行资源,包括:
5.根据权利要求3所述的大模型的资源调度方法,其特征在于,根据
...【技术特征摘要】
1.一种大模型的资源调度方法,其特征在于,包括:
2.根据权利要求1所述的大模型的资源调度方法,其特征在于,基于所述负载预测数据确定所述多个计算节点中部署的所述模型实例的部署结果,包括:
3.根据权利要求1所述的大模型的资源调度方法,其特征在于,基于所述部署结果和所述当前运行资源对所述大模型进行资源调度,包括:
4.根据权利要求3所述的大模型的资源调度方法,其特征在于,基于所述负载预测数据和所述负载历史数据对所述当前运行资源进行调整,得到目标运行资源,包括:
5.根据权利要求3所述的大模型的资源调度方法,其特征在于,根据...
【专利技术属性】
技术研发人员:邵飞飞,王泽洋,贾珂,李兰彬,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。