调度方法及相关装置制造方法及图纸

技术编号:21547502 阅读:34 留言:0更新日期:2019-07-06 21:13
本申请实施例公开了一种调度方法及相关装置,其中方法基于包含多个计算装置的服务器,包括:接收运算请求;获取所述运算请求对应的目标神经网络模型的指令流;将所述指令流拆分为多个并行指令和多个串行指令;从所述多个计算装置中选取与所述多个并行指令对应的多个并行计算装置和与所述多个串行指令对应的至少一个串行计算装置;根据所述多个并行计算装置中每一并行计算装置对应的并行指令和所述至少一个串行计算装置中每一串行计算装置对应的串行指令对所述运算请求对应的运算数据进行计算得到最终运算结果;将所述最终运算结果发送至发送所述运算请求的电子设备。本申请实施例,可提高服务器处理单个运算请求的运行效率。

Dispatching Method and Related Devices

【技术实现步骤摘要】
调度方法及相关装置
本申请涉及计算机
,具体涉及一种调度方法及相关装置。
技术介绍
神经网络是目前许多人工智能应用的基础,随着神经网络的应用范围的进一步扩大,采用服务器或云计算服务对各种各样的神经网络模型进行存储,并针对用户提交的运算请求进行运算,如何提高服务器的运算效率是本领域技术人员待解决的技术问题。
技术实现思路
本申请实施例提出了一种调度方法及相关装置,可选取服务器中的计算装置执行单个运算请求,提高了服务器的运行效率。第一方面,本申请实施例提供了一种调度方法,基于多个计算装置的服务器,所述方法包括:接收运算请求;获取所述运算请求对应的目标神经网络模型的指令流;将所述指令流拆分为多个并行指令和多个串行指令;从所述多个计算装置中选取与所述多个并行指令对应的多个并行计算装置和与所述多个串行指令对应的至少一个串行计算装置;根据所述多个并行计算装置中每一并行计算装置对应的并行指令和所述至少一个串行计算装置中每一串行计算装置对应的串行指令对所述运算请求对应的运算数据进行计算,得到最终运算结果;将所述最终运算结果发送至发送所述运算请求的电子设备。第二方面,本申请实施例提供了一种服务器,所本文档来自技高网...

【技术保护点】
1.一种调度方法,其特征在于,所述方法基于包含多个计算装置的服务器,所述方法包括:接收运算请求;获取所述运算请求对应的目标神经网络模型的指令流;将所述指令流拆分为多个并行指令和多个串行指令;从所述多个计算装置中选取与所述多个并行指令对应的多个并行计算装置和与所述多个串行指令对应的至少一个串行计算装置;根据所述多个并行计算装置中每一并行计算装置对应的并行指令和所述至少一个串行计算装置中每一串行计算装置对应的串行指令对所述运算请求对应的运算数据进行计算,得到最终运算结果;将所述最终运算结果发送至发送所述运算请求的电子设备。

【技术特征摘要】
1.一种调度方法,其特征在于,所述方法基于包含多个计算装置的服务器,所述方法包括:接收运算请求;获取所述运算请求对应的目标神经网络模型的指令流;将所述指令流拆分为多个并行指令和多个串行指令;从所述多个计算装置中选取与所述多个并行指令对应的多个并行计算装置和与所述多个串行指令对应的至少一个串行计算装置;根据所述多个并行计算装置中每一并行计算装置对应的并行指令和所述至少一个串行计算装置中每一串行计算装置对应的串行指令对所述运算请求对应的运算数据进行计算,得到最终运算结果;将所述最终运算结果发送至发送所述运算请求的电子设备。2.根据权利要求1所述的方法,其特征在于,所述获取所述运算请求对应的目标神经网络模型的指令流,包括:根据所述目标神经网络模型对应的基本操作序列获取第一指令描述符流;对所述第一指令描述符流进行简化,得到第二指令描述符流;根据所述第二指令描述符流获取所述指令流。3.根据权利要求2所述的方法,其特征在于,所述从所述多个计算装置中选取与所述多个串行指令对应的所述至少一个串行计算装置,包括:对所述多个串行指令进行分组,得到至少一组串行指令序列;从所述多个计算装置中选取与所述至少一组串行指令序列中每组串行指令序列对应的计算装置,得到所述至少一个串行计算装置。4.根据权利要求1-3任一项所述的方法,其特征在于,其特征在于,所述从所述多个计算装置中选取与所述多个并行指令对应的所述多个并行计算装置,包括:若所述运算请求的运算任务为训练任务,基于所述运算请求对应的训练方法对所述运算请求对应的运算数据进行分组,得到多组运算数据;根据所述多组运算数据和所述多个并行指令从所述多个计算装置中选取所述多个并行计算装置。5.根据权利要求1所述的方法,其特征在于,所述从所述多个计算装置中选取与所述多个并行指令对应的多个并行计算装置和与所述多个串行指令对应的至少一个串行计算装置,包括:若所述运算请求的运算任务为测试任务,从所述多个计算装置中选取包括所述目标神经网络模型的前向运算的计算装置,得到多个目标计算装置;若所述运算任务为训练任务,从所述多个计算装置中选取包括所述目标神经网络模型的前向运算和后向训练的计算装置,得到所述多个目标计算装置;从所述多个目标计算装置中选取所述多个并行计算装置和所述至少一个串行计算装置。6.根据权利要求1所述的方法,其特征在于,所述从所述多个计算装置中选取与所述多个并行指令对应的多个并行计算装置和与所述多个串行指令对应的至少一个串行计算装置,包括:根据所述运算请求的属性信息从辅助调度算法集中选取辅助调度算法,所述辅助调度算法集包括以下至少一项:轮询调度算法、加权轮询算法、最少链接算...

【专利技术属性】
技术研发人员:不公告发明人
申请(专利权)人:北京中科寒武纪科技有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1