当前位置: 首页 > 专利查询>东北大学专利>正文

一种深度学习模型计算图拆分方法及编译系统技术方案

技术编号:43369233 阅读:17 留言:0更新日期:2024-11-19 17:50
本发明专利技术提供一种深度学习模型计算图拆分方法及编译系统,涉及计算机科学技术领域。该方法首先通过获取深度学习模型计算图,采用遗传算法设计性能评估器,获得深度学习模型计算图各个分支在不同核上的推理性能,自适应的将深度学习模型计算图各个分支映射到最佳核,并划分为子图。然后通过编译系统,将子图编译成序列化文件,实现了多分支在多核上的部署。该发明专利技术提出的深度学习模型计算图划分方法及编译系统充分评估了子图在多核加速器上的实际推理能力并能支持多样的深度模型架构,从而显著提高推理性能,使得边缘智能应用获得更快的响应速度和更高的处理效率,解决了可扩展性差的问题。

【技术实现步骤摘要】

本专利技术属于计算机科学,尤其涉及一种深度学习模型计算图拆分方法及编译系统


技术介绍

1、片上系统(soc)通过集成异构多核深度学习加速器(dpu),实现了对深度学习模型的边缘端高效低功耗的推理。多核深度学习加速器为深度学习模型多分支结构的并行执行提供了可能,每个核独立处理一个分支任务,多核协同工作可以提高计算平台的整体性能和能效。

2、然而,目前的深度学习编译器(如xilinxvitisai和tvm等)不支持深度学习模型的多分支自动拆分,将整个深度学习模型编译为一个计算图,放到加速器上执行,将导致无法充分利用加速器的多核计算资源。因此,迫切需要一个技术能够进行多分支模型的计算图自动拆分和编译。

3、中国专利“cn117667389a一种计算图的自动划分方法”提供了一种深度学习计算图自动拆分方法。此专利采用计算图中的分支信息,针对转换后的计算图进行划分,得到多个子图节点集合,并且根据每一子图节点集合以及计算图中节点之间的依赖关系,构建出与该子图节点集合所对应的子图。

4、然而,中国专利“cn117667389a一种计算本文档来自技高网...

【技术保护点】

1.一种深度学习模型计算图拆分方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种深度学习模型计算图拆分方法,其特征在于:

3.根据权利要求1所述的一种深度学习模型计算图拆分方法,其特征在于:

4.根据权利要求3所述的一种深度学习模型计算图拆分方法,其特征在于:所述步骤2包括以下步骤:

5.根据权利要求4所述的一种深度学习模型计算图拆分方法,其特征在于:所述步骤3包括以下步骤:

6.根据权利要求5所述的一种深度学习模型计算图拆分方法,其特征在于:所述步骤4包括以下步骤:

7.根据权利要求6所述的一种深度学习...

【技术特征摘要】

1.一种深度学习模型计算图拆分方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种深度学习模型计算图拆分方法,其特征在于:

3.根据权利要求1所述的一种深度学习模型计算图拆分方法,其特征在于:

4.根据权利要求3所述的一种深度学习模型计算图拆分方法,其特征在于:所述步骤2包括以下步骤:

5.根据权利要求4所述的一种深度学习模型计算图拆分方法,其特征在于:所述步骤3包括以下步骤:

6.根据权利要求5所述的一种深度学习模型...

【专利技术属性】
技术研发人员:穆元震姜徐唐月刘松冉王义
申请(专利权)人:东北大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1