【技术实现步骤摘要】
本专利技术实施例涉及计算资源管理,尤其涉及一种任务处理负载分析方法和装置。
技术介绍
1、传统的资源调度方法主要依赖于cpu(central processing unit,中央处理器)和gpu(graphics processing unit,图形处理器)的利用率来估计负载,这种粗略的估计方法在处理如大规模语言模型计算任务时存在明显的局限性。大规模语言模型的计算任务具有高度的复杂性和动态性,复杂性是指一个任务需要分多步子任务进行处理,而非传统的针对整个任务的处理。动态性是指算力始终处于不断计算处理和不断接收新任务的状态,而非传统的一条条处理或同时一批去处理的状态,因此,传统的负载分析,往往无法准确反映实际的计算负载,导致资源分配不均,降低了计算资源的利用效率。
技术实现思路
1、本专利技术实施例提供了一种任务处理负载分析方法和装置,可以通过分析处理任务的子任务的处理时段计算负载,更合理的计算计算资源节点的实际负载,提高负载分析的有效性,提高资源利用效率。
2、第一方面,本专利
...【技术保护点】
1.一种任务处理负载分析方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述任务信息中的任务事件标记信息,确定所述处理任务中各子任务在所述负载分析时间周期内对应的任务处理时段,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述负载分析时间周期及所述处理任务中各子任务在所述负载分析时间周期内对应的任务处理时段,确定所述计算资源节点在所述负载分析时间周期内的负载情况,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述任务处理时段中并行处理的子任务对应的任务处理时段和预设最大并行处理任务
...【技术特征摘要】
1.一种任务处理负载分析方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述任务信息中的任务事件标记信息,确定所述处理任务中各子任务在所述负载分析时间周期内对应的任务处理时段,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述负载分析时间周期及所述处理任务中各子任务在所述负载分析时间周期内对应的任务处理时段,确定所述计算资源节点在所述负载分析时间周期内的负载情况,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述任务处理时段中并行处理的子任务对应的任务处理时段和预设最大并行处理任务数量,确定所述计算资源节点在所述负载分析时间周期内的并行任务负载等效时长,包括:
5.根据权利要求3所述的方法,其特征在于,所述根据所述串行...
【专利技术属性】
技术研发人员:金泽宇,
申请(专利权)人:上海稀宇极智科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。