【技术实现步骤摘要】
本申请涉及资源分配,尤其涉及任务执行方法、计算机设备、存储介质及程序产品。
技术介绍
1、近年来,计算机集群的规模快速增长,同时,模型参数的规模也在增长,因此,为了保证模型的任务处理效率,一般会采用流水并行的处理方式,将模型的处理阶段划分为多个阶段,在计算机集群中同时运行多个阶段提高处理效率。
2、但是,仅通过划分不同阶段分配资源,灵活性较低。
技术实现思路
1、本申请提供了任务执行方法、装置、计算机设备、存储介质及程序产品,以至少解决相关技术中资源调度灵活性较低的问题。
2、本申请提供了一种任务执行方法,包括:
3、接收目标设备发送的目标请求,其中,目标请求包括调度策略和任务信息,调度策略包括多种维度的调度配置信息,多种维度包括设备并行维度、阶段并行维度、令牌预测并行维度;
4、根据设备并行维度的调度配置信息、任务信息和预获取的资源设备使用信息,确定设备分配信息;
5、当阶段并行维度的调度配置信息用于指示进行分阶段执行任务时,根
...【技术保护点】
1.一种任务执行方法,其特征在于,包括:
2.根据权利要求1所述的任务执行方法,其特征在于,所述根据所述任务信息、所述设备分配信息、所述令牌预测并行维度的调度配置信息,以及所述阶段并行维度的调度配置信息,确定资源分配信息,包括:
3.根据权利要求2所述的任务执行方法,其特征在于,所述根据所述任务信息、所述设备分配信息、每个阶段的所述资源分配比例,以及所述令牌预测并行维度的调度配置信息,确定资源分配信息,包括:
4.根据权利要求3所述的任务执行方法,其特征在于,所述设备分配信息中包括待使用资源设备的标识信息,以及所述待使用资源设备所在
...【技术特征摘要】
1.一种任务执行方法,其特征在于,包括:
2.根据权利要求1所述的任务执行方法,其特征在于,所述根据所述任务信息、所述设备分配信息、所述令牌预测并行维度的调度配置信息,以及所述阶段并行维度的调度配置信息,确定资源分配信息,包括:
3.根据权利要求2所述的任务执行方法,其特征在于,所述根据所述任务信息、所述设备分配信息、每个阶段的所述资源分配比例,以及所述令牌预测并行维度的调度配置信息,确定资源分配信息,包括:
4.根据权利要求3所述的任务执行方法,其特征在于,所述设备分配信息中包括待使用资源设备的标识信息,以及所述待使用资源设备所在节点的标识信息;所述根据所述设备分配信息和每个阶段的所述资源分配比例,确定计算资源的分配信息,包括:
5.根据权利要求3所述的任务执行方法,其特征在于,所述任务信息中包括模型参数;所述根据所述令牌预测并行维度的调度配置信息、所述任务信息和每个阶段的所述资源分配比例,确定内存资源的分配信息,包括:
6.根据权利要求4所述的任务执行方法,其特征在于,所述根据所述设备分配信息和每个阶段的所述资源分配比例,确定通信资源的分配信息,包括:
7.根据权利要求4所述的任务执行方法,其特征在于,多个所述阶段包括预填充阶段和解码阶段,所述任务信息包括任务内容和输入长度;所述根据所述令牌预测并行维度的调度配置信息、所述资源分配信息,以及所述任务信息,获取执行结果反馈至所述目标设备,包...
【专利技术属性】
技术研发人员:毛峻雄,赵旭东,吴韶华,
申请(专利权)人:苏州元脑智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。