System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 深度网络模型的计算方法、装置、电子设备以及存储介质制造方法及图纸_技高网

深度网络模型的计算方法、装置、电子设备以及存储介质制造方法及图纸

技术编号:41283330 阅读:15 留言:0更新日期:2024-05-11 09:33
本发明专利技术公开了一种深度网络模型的计算方法、装置、电子设备以及存储介质,该方法包括:对深度网络模型的各算子,分别确定匹配的加速器,得到加速器调度完成的深度网络模型;根据与各加速器对应的编译方式分别对加速器调度完成的深度网络模型进行编译,得到各中间编译结果;将各中间编译结果合并得到深度网络模型编译结果,其中,各加速器根据所述深度网络模型编译结果中的指令序列,依次对与加速器匹配的算子执行计算任务。本发明专利技术能够实现基于存算一体芯片的深度网络模型的多加速器协同计算。

【技术实现步骤摘要】

本专利技术涉及机器学习,尤其涉及一种深度网络模型的计算方法、装置、电子设备以及存储介质


技术介绍

1、随着算法、算力和数据量规模三个维度的不断发展,机器学习技术在解决诸多问题方面不断展现出强大的力量,其中人工神经网络以其在图像识别、目标检测、语义分割等领域的突出表现得到人们的广泛关注。随着神经网络规模的扩大,传统的以cpu(centralprocessing unit,中央处理器)+gpu(graphic processing unit,图形处理器)架构处理神经网络算法的模式逐渐遇到了速度和功耗的瓶颈,究其根源是cpu+gpu架构下存算分离,使得以数据为中心的神经网络算法给计算系统带来过大的数据传输开销,降低速度的同时增大了功耗。

2、在这一背景下,存算一体芯片将存储和计算单元融为一体,数据存储在本地,计算可以直接在存储器上进行,能够提高性能、降低能耗和减少数据传输延迟。为提高存算一体芯片的通用性,芯片架构上集成了多种加速器,例如gpu、ipu(image processing unit,图像处理单元)、tpu(tensor processing unit,张量处理器)或者npu(neural networkprocessing unit,神经网络处理器)等,因此,基于存算一体芯片的深度网络模型需要一种多加速器协同计算的方法,使得多加速器能够协同处理深度网络模型中的计算任务。


技术实现思路

1、本专利技术提供了一种深度网络模型的计算方法、装置、电子设备以及存储介质,以实现基于存算一体芯片的深度网络模型的多加速器协同计算。

2、第一方面,本专利技术实施例提供了一种深度网络模型的计算方法,该方法包括:

3、对深度网络模型的各算子,分别确定匹配的加速器,得到加速器调度完成的深度网络模型;

4、根据与各加速器对应的编译方式分别对加速器调度完成的深度网络模型进行编译,得到各中间编译结果;

5、将各中间编译结果合并得到深度网络模型编译结果,其中,各加速器根据所述深度网络模型编译结果中的指令序列,依次对与加速器匹配的算子执行计算任务。

6、第二方面,本专利技术实施例还提供了一种深度网络模型的计算装置,该装置包括:

7、加速器调度模块,用于对深度网络模型的各算子,分别确定匹配的加速器,得到加速器调度完成的深度网络模型;

8、深度网络模型编译模块,用于根据与各加速器对应的编译方式分别对加速器调度完成的深度网络模型进行编译,得到各中间编译结果;

9、编译结果合并模块,用于将各中间编译结果合并得到深度网络模型编译结果,其中,各加速器根据所述深度网络模型编译结果中的指令序列,依次对与加速器匹配的算子执行计算任务。

10、第三方面,本专利技术实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本专利技术实施例中任一所述的深度网络模型的计算方法。

11、第四方面,本专利技术实施例还提供了一种存储计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本专利技术实施例中任一所述的深度网络模型的计算方法。

12、本专利技术实施例的技术方案,通过对深度网络模型的各算子,分配匹配的加速器,得到带有加速器调度信息的深度网络模型,对调度完成的深度网络模型进行不同加速器编译方式的编译,得到与各加速器匹配的多种中间编译结果,将各中间编译结果合并为深度网络模型编译结果,在深度网络模型编译结果运行时,各加速器可以根据深度网络模型编译结果中的指令序列,依次对各算子执行计算任务。本专利技术的技术方案,能够实现基于存算一体芯片的深度网络模型的多加速器协同计算,实现了深度网络模型的各算子的计算任务的静态调度,降低了不同加速器的调度成本和接入成本。

13、应当理解,本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征,也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种深度网络模型的计算方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对深度网络模型的各算子,分别确定匹配的加速器,得到加速器调度完成的深度网络模型,包括:

3.根据权利要求2所述的方法,其特征在于,在确定与各算子匹配的加速器之后,还包括:

4.根据权利要求3所述的方法,其特征在于,在确定所述目标算子与所述目标加速器的存算核匹配之后,还包括:

5.根据权利要求1所述的方法,其特征在于,根据与各加速器对应的编译方式分别对加速器调度完成的深度网络模型进行编译,得到各中间编译结果,包括:

6.根据权利要求1所述的方法,其特征在于,将各中间编译结果合并得到深度网络模型编译结果,包括:

7.根据权利要求1所述的方法,其特征在于,在所述深度网络模型编译结果运行时,各加速器之间通过Trigger-done机制进行子张量数据的传输。

8.一种深度网络模型的计算装置,其特征在于,包括:

9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的深度网络模型的计算方法。

10.一种存储计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的深度网络模型的计算方法。

...

【技术特征摘要】

1.一种深度网络模型的计算方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,对深度网络模型的各算子,分别确定匹配的加速器,得到加速器调度完成的深度网络模型,包括:

3.根据权利要求2所述的方法,其特征在于,在确定与各算子匹配的加速器之后,还包括:

4.根据权利要求3所述的方法,其特征在于,在确定所述目标算子与所述目标加速器的存算核匹配之后,还包括:

5.根据权利要求1所述的方法,其特征在于,根据与各加速器对应的编译方式分别对加速器调度完成的深度网络模型进行编译,得到各中间编译结果,包括:

6.根据权利要求1所述的方法,其特征在于,将各中间编...

【专利技术属性】
技术研发人员:刘翰杰毛亚鹏张爱飞
申请(专利权)人:杭州知存智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1