边缘硬件高能效混合浮点神经网络推理的加速方法和装置制造方法及图纸

本发明专利技术公开一种边缘硬件高能效混合浮点神经网络推理的加速方法和装置，所述方法包括:通过解析待处理DNN模型的结构，生成计算与传输负载的DAG矩阵；通过配置目标边缘平台混合精度流水浮点运算单元模板，生成可配置的硬件加速器电路，同时提取硬件特征参数，提供硬件部署建模的硬件参数；基于深度强化学习策略梯度算法进行硬件感知的联合优化;根据优化后的运算单元配置参数、缓存策略及数据流调度方案，生成面向能效延迟积、运算速度或功耗的多目标部署方案。本发明专利技术解决了现有技术中混合精度DNN部署存在的硬件资源利用低效、优化目标单一、人工调优依赖度高的技术问题，实现了在资源受限边缘平台上自动生成高能效复杂DNN部署方案的技术效果。

【技术实现步骤摘要】

本专利技术涉及集成电路与人工智能，特别是边缘硬件高能效混合浮点神经网络推理的加速方法和装置。

技术介绍

1、近年来，深度神经网络(deep neural network, dnn)在图像识别、目标检测、自然语言处理等领域取得了广泛应用。随着深度学习技术的快速发展，dnn模型的复杂度不断提升，表现为参数量的增加和网络连接结构的复杂化。为了在边缘计算设备上高效部署这些模型，目前产品集中在单独软件层面的优化（如剪枝和量化）或通用硬件开发设计的支持。然而，边缘硬件资源有限，难以满足高精度混合浮点量化dnn模型的部署需求，这成为当前行业面临的主要挑战之一。

2、目前，混合浮点量化dnn模型在边缘硬件上的部署已存在成熟的硬件固定位宽浮点运算器与软件神经网络运行时编译器，但是软件无法针对边缘硬件特点进行高效优化，硬件无法结合算法进行针对性重构。因此面临的最大困难和挑战为打通软硬件长期难以相互结合优化的壁垒，建立一套在边缘硬件上高能效混合浮点神经网络推理的加速方法。

技术实现思路

1、为解决现有技术中混合精度 d本文档来自技高网...

【技术保护点】

1.边缘硬件高能效混合浮点神经网络推理的加速方法，其特征在于，包括：

2.根据权利要求1所述边缘硬件高能效混合浮点神经网络推理的加速方法，其特征在于，生成计算与传输负载的有向无环图矩阵，包括：

3.根据权利要求1所述边缘硬件高能效混合浮点神经网络推理的加速方法，其特征在于，配置目标边缘平台混合精度流水浮点运算单元模板，生成可配置的硬件加速器电路，同时提取硬件特征参数，包括：

4.根据权利要求1或3所述边缘硬件高能效混合浮点神经网络推理的加速方法，其特征在于，所述可配置的硬件加速器电路，包括：

5.根据权利要求1或3所述边缘硬件高能效混合浮点...

【技术特征摘要】

1.边缘硬件高能效混合浮点神经网络推理的加速方法，其特征在于，包括：

2.根据权利要求1所述边缘硬件高能效混合浮点神经网络推理的加速方法，其特征在于，生成计算与传输负载的有向无环图矩阵，包括：

3.根据权利要求1所述边缘硬件高能效混合浮点神经网络推理的加速方法，其特征在于，配置目标边缘平台混合精度流水浮点运算单元模板，生成可配置的硬件加速器电路，同时提取硬件特征参数，包括：

4.根据权利要求1或3所述边缘硬件高能效混合浮点神经网络推理的加速方法，其特征在于，所述可配置的硬件加速器电路，包括：

5.根据权利要求1或3所述边缘硬件高能效混合浮点神经网络推理的加速方法，其特征在于，所述提取硬件特征参...

【专利技术属性】
技术研发人员：常胜，王豪，黄启俊，孟群康，胡杰，张智涵，史星宇，李展，
申请(专利权)人：武汉大学，
类型：发明
国别省市：