一种基于异构系统的DNN通用部署方法及系统技术方案

本申请涉及人工智能硬件加速技术领域，涉及一种基于异构系统的DNN通用部署方法及系统。所述方法包括：将待部署的深度神经网络进行细粒度拆分，划分为多个子层；基于异构系统的硬件参数，将所述子层映射到异构系统的计算核心上，进行初步映射分配；对所述异构系统的通信链路进行建模，形成初步分配方案，估算每条通信链路的延迟和功耗；实时监控数据传输过程中的通信延迟和功耗，并通过数学规划优化算法对分配方案进行离线迭代优化，生成最终优化分配方案；基于所述最终优化分配方案，控制异构系统的计算核心执行子层计算任务，并管理存储模块的张量生命周期。本发明专利技术能够更好地适应不同的应用需求，大大提高了系统的自主性和运行效率。

【技术实现步骤摘要】

本申请涉及人工智能硬件加速，涉及一种基于异构系统的dnn通用部署方法及系统。

技术介绍

1、目前，随着dnn的不断发展，其参数规模呈现出爆炸式增长。以一些先进的图像识别模型为例，参数数量可达数十亿甚至上百亿级别。这种大规模的参数增长给系统带来了诸多严峻挑战。从功耗方面来看，为了处理如此庞大的参数计算，硬件设备需要消耗大量的电能。数据中心中用于运行dnn模型的服务器集群，每年的耗电量惊人，不仅增加了运营成本，还对能源供应提出了更高要求。在延迟方面，大量的计算任务使得数据处理时间延长。在实时性要求极高的应用场景，如自动驾驶、实时视频监控中，较长的延迟可能导致严重后果，无法及时作出准确决策。内存资源方面，庞大的参数需要占用大量的内存空间，这使得内存管理变得极为复杂，容易出现内存不足或内存碎片化等问题。

2、为了应对这些挑战dnn加速器架构不断演进。早期的单核设计逐渐被淘汰，专用架构应运而生。近年来，异构设计成为研究和关注的重点。异构系统通常由多种不同类型的计算核心组成，如cpu、gpu、fpga、asic等，每种核心都有其独特的性能优势和适用场景。通本文档来自技高网...

【技术保护点】

1.一种基于异构系统的DNN通用部署方法，其特征在于，包括：

2.根据权利要求1所述的基于异构系统的DNN通用部署方法，其特征在于，所述深度神经网络进行细粒度拆分过程中，通过数据依赖关系矩阵维护各子层间的输入输出依赖关系。

3.根据权利要求1所述的基于异构系统的DNN通用部署方法，其特征在于，所述通信链路的延迟计算公式如下；

4.根据权利要求1所述的基于异构系统的DNN通用部署方法，其特征在于，所述数学规划优化算法对分配方案进行离线迭代优化，以最小化总延迟和总功耗为目标函数，优化分配变量；

5.根据权利要求1所述的基于异构系统的DNN通用部...

【技术特征摘要】

1.一种基于异构系统的dnn通用部署方法，其特征在于，包括：

2.根据权利要求1所述的基于异构系统的dnn通用部署方法，其特征在于，所述深度神经网络进行细粒度拆分过程中，通过数据依赖关系矩阵维护各子层间的输入输出依赖关系。

3.根据权利要求1所述的基于异构系统的dnn通用部署方法，其特征在于，所述通信链路的延迟计算公式如下；

4.根据权利要求1所述的基于异构系统的dnn通用部署方法，其特征在于，所述数学规划优化算法对分配方案进行离线迭代优化，以最小化总延迟和总功耗为目标函数，优化分配变量；

5.根据权利要求1所述的基于异构系统的dnn通用部署方法，其特征在于，所述按优先级驱逐现有张量中当存储空间不足时，优先驱逐优先级最低且体积最小的张量。

...

【专利技术属性】
技术研发人员：董俊逸，魏朝飞，赵鑫鑫，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：