一种面向移动多处理器的深度学习模型协同推理方法技术

本发明专利技术属于移动计算和深度学习技术领域，具体涉及一种面向移动多处理器的深度学习模型协同推理方法。本发明专利技术通过实时监控各处理器的状态，结合模型解析器对深度学习模型进行子图划分，使用中央调度器根据处理器负载、温度和运行状态动态优化执行策略。系统包括硬件监视器、模型解析器和调度器三大核心组件，通过这些组件的协作，可以高效地管理和执行多个深度学习模型的推断任务，显著提升了移动设备上的执行效率和能源效率。本发明专利技术能够适应各种硬件异构性，特别适用于资源受限的移动和边缘设备，解决了传统移动推理系统在面对多任务协同推理时的性能瓶颈问题。本发明专利技术具有调度灵活、响应快速的特点，适用于多种实时应用场景。

【技术实现步骤摘要】

本专利技术属于移动计算和深度学习，具体涉及一种面向移动多处理器的深度学习模型协同推理方法。

技术介绍

1、近年来，深度学习技术取得了显著进展，特别是在移动设备上的应用得到了广泛关注和研究。随着深度神经网络(dnn)在各个领域中的广泛部署，越来越多的应用选择在移动设备上进行推理，以满足隐私保护、交互延迟和降低服务器端计算成本的需求。当前，学术界和工业界已经开发了多种支持移动平台的深度学习推理框架和库，例如google的tensorflow lite、facebook的pytorch mobile和apple的core ml。这些框架提供了兼容移动设备的操作，以支持和加速dnn推理。然而，尽管移动设备通常配备了异构硬件(如cpu、gpu、dsp)和各种ai加速器(如tpu、npu、vpu)，现有的深度学习推理框架在充分利用这些硬件能力方面仍然存在较大提升空间。

2、在多处理器环境下进行深度学习模型的协同推理时，遇到了多个具体的问题和挑战。首先，处理器资源利用不足。虽然移动设备通常配备了异构硬件(例如cpu、gpu、dsp和npu)，但现有的深度学习本文档来自技高网...

【技术保护点】

1.一种面向移动多处理器的深度学习模型协同推理方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的面向移动多处理器的深度学习模型协同推理方法，其特征在于，步骤S1中，所述硬件监控器通过调用Android系统API实时收集处理器的状态信息，包括负载、温度和运行状态。

3.根据权利要求1所述的面向移动多处理器的深度学习模型协同推理方法，其特征在于，步骤S2中，所述模型加载器接收深度学习模型并将其加载到系统内存中，所述模型加载器负责解析模型的基本结构和详细结构信息，包括层次、操作类型、张量大小、操作的硬件兼容性和依赖关系；所述模型加载器还会检查模型的完整性和兼容性...

【技术特征摘要】

1.一种面向移动多处理器的深度学习模型协同推理方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的面向移动多处理器的深度学习模型协同推理方法，其特征在于，步骤s1中，所述硬件监控器通过调用android系统api实时收集处理器的状态信息，包括负载、温度和运行状态。

3.根据权利要求1所述的面向移动多处理器的深度学习模型协同推理方法，其特征在于，步骤s2中，所述模型加载器接收深度学习模型并将其加载到系统内存中，所述模型加载器负责解析模型的基本结构和详细结构信息，包括层次、操作类型、张量大小、操作的硬件兼容性和依赖关系；所述模型加载器还会检查模型的完整性和兼容性，确保其能够在系统中正确运行。

4.根据权利要求1所述的面向移动多处理器的深度学习模型协同推理方法，其特征在于，步骤s3中，模型分析器解析深度学习模型的详细结构信息，包括层次结构、操作类型、张量大小以及操作的硬件兼容性；模型分析器通过解析模型的dag结构，确定各操作之间的依赖关系，并针对无法直接在指定...

【专利技术属性】
技术研发人员：张志国，高云全，
申请(专利权)人：安徽工业大学，
类型：发明
国别省市：