一种多平台算法推理调度框架方法技术

一种多平台算法推理调度框架方法，其包括：S1：在各平台中分别部署一子算法调度模块，并在各子算法调度模块中分别部署模型加载单元、前处理单元、必要前处理单元、算法推理单元以及后处理单元；S2：部署一manager模块，用于接收上游任务帧队列；S3：manager模块从上游任务帧队列中读取数据帧、解析输入配置；S4：根据解析的输入配置判断对应的平台，并将初步处理的数据帧分发给对应平台的子算法调度模块；S5：各平台的子算法调度模块收到上游分发的数据帧后依次经由加载单元、前处理单元、必要前处理单元、算法推理单元以及后处理单元进行模型加载、前处理、必要前处理、算法推理以及后处理。

【技术实现步骤摘要】

本专利技术涉及人工智能领域，具体而言，涉及一种多平台算法推理调度框架方法。

技术介绍

1、随着人工智能算法的蓬勃发展，各种平台(例如x86cuda异构平台、英伟达jetson平台、算能arm平台等)下的算法落地需求爆炸性增长，而对算法的快速移植、集成、优化、部署等需求显得越来越重要，如何加速算法落地将决定业务效率。

2、通常在一种平台下移植算法，需要将对应平台下的算法模型文件经过模型转化到对应平台下的目标模型文件，有时为了加快模型推理时间，还需要额外进行模型量化。拿到目标平台下格式的算法模型文件后，根据开发文档需将模型在对应平台上调度起来，具体实现包括前处理，推理，后处理等过程。通常在前处理过程中，利用该平台下的图像预处理加速单元进行加速，在推理过程中，利用拼batch，多batch方案加速推理，后处理过程中会按照异步处理方案，进行最大程度的并发处理。但是现有技术方案在一种平台移植完成后，需要在另外一种平台上再开发一套对应平台上的移植方案。当移植方案需要在多种平台上应用时，大大增加了开发难度，增加了移植迁移的成本，降低了开发效率。

本文档来自技高网...

【技术保护点】

1.一种多平台算法推理调度框架方法，其特征在于，包括：

2.根据权利要求1所述的多平台算法推理调度框架方法，其特征在于，平台包括x86cuda异构平台、jetson平台以及算能arm平台。

3.根据权利要求1所述的多平台算法推理调度框架方法，其特征在于，各子算法调度模中的前处理单元组合为一公共前处理单元，以及/或各子算法调度模中的后处理单元组合为一公共后处理单元。

4.根据权利要求1所述的多平台算法推理调度框架方法，其特征在于，各平台内部均包含图像处理加速单元。

5.根据权利要求1所述的多平台算法推理调度框架方法，其特征在于，算法推理单元为...

【技术特征摘要】

1.一种多平台算法推理调度框架方法，其特征在于，包括：

2.根据权利要求1所述的多平台算法推理调度框架方法，其特征在于，平台包括x86cuda异构平台、jetson平台以及算能arm平台。

3.根据权利要求1所述的多平台算法推理调度框架方法，其特征在于，各子算法调度模中的前处理单元组合为一公共前处理单元，以及/或各子算法调度模中的后处理单元组合...

【专利技术属性】
技术研发人员：杨耀宗，马丽娜，罗鑫，
申请(专利权)人：宜昌中科通量科技有限公司，
类型：发明
国别省市：