异构硬件抽象统一封装和异构调度系统技术方案

本发明专利技术的异构硬件抽象统一封装和异构调度系统，包括，形式化定义计算图的描述格式，所述计算图用于进行智能异构计算；计算图拆分后子图的异构硬件选择流程，所述流程用于高性能自动进行异构计算；在硬件侧形式化定义不同类型处理器的抽象接口，所述接口用于调用各处理器；在软件侧基于不同类型的硬件特性设计异构硬件抽象统一封装接口，用于屏蔽底层硬件细节，做到底层更换硬件之后，上层的应用代码保持基本不变；软硬协同的异构计算工作机制，支持硬件侧与软件侧根据此机制进行迭代升级；基于封装的接口设计高性能异构调度系统，通过对计算图的切分，选择硬件等过程，利用异构计算资源，起到提升推理阶段模型的性能。

【技术实现步骤摘要】

本专利技术涉及嵌入式智能计算的，尤其涉及一种异构硬件抽象统一封装和异构调度系统。

技术介绍

1、嵌入式深度学习推理计算过程运行在嵌入式设备端，为嵌入式设备做智能应用计算提供基础方法，而机载中的智能推理系统主要面临三个挑战，包括：

2、1、一个整体的任务需要拆分成多个适配于硬件的任务或计算图，保证异构计算的有效性，具体地，需要考虑不同类型的处理器适配于什么拓扑结构类型；

3、2、要做到真正的异构资源的调度和管理，需要软硬件协同，如，需要硬件侧在驱动之上建立硬件协同接口，同时需要软件侧在应用之下建立统一的软件协同接口，硬件协同接口与软件协同接口进行软硬协同配合，才能将异构算力有效地管理起来，然而，硬件封装技术目前尚未有统一且有效的标准，且尚未有面向异构高性能计算的硬件封装技术；

4、3、如何将异构算力资源和拆分后的待计算的拓扑结构，进行整合，达到高性能异构调度的目的，提升推理阶段的性能。

5、整体而言，现有中智能推理系统功能性较低，不能适应当前机载的系统。

技术实现思路

本文档来自技高网...

【技术保护点】

1.一种异构硬件抽象统一封装和异构调度系统，适用于机载系统的软、硬协同智能推理，智能推理以计算图为输入，其特征在于，包括：

2.根据权利要求1所述的异构硬件抽象统一封装和异构调度系统，其特征在于，计算图切分后，进行所述子图的异构硬件选择流程。

3.根据权利要求1所述的异构硬件抽象统一封装和异构调度系统，其特征在于，不同处理器的抽象接口用于调用异构处理器。

4.根据权利要求1所述的异构硬件抽象统一封装和异构调度系统，其特征在于，智能推理系统调用所述抽象接口进行接口实例化并进行异构计算包括，以智能系统中异构计算作为软件侧，以不同处理器作为硬件侧，软、硬协同...

【技术特征摘要】

1.一种异构硬件抽象统一封装和异构调度系统，适用于机载系统的软、硬协同智能推理，智能推理以计算图为输入，其特征在于，包括：

2.根据权利要求1所述的异构硬件抽象统一封装和异构调度系统，其特征在于，计算图切分后，进行所述子图的异构硬件选择流程。

3.根据权利要求1所述的异构硬件抽象统一封装和异构调度系统，其特征在于，不同处理器的抽象接口用于调用异构处理...

【专利技术属性】
技术研发人员：王琳博，王海翔，程陶然，车凯，白林亭，文鹏程，
申请(专利权)人：中国航空工业集团公司西安航空计算技术研究所，
类型：发明
国别省市：