使用FPGA进行AI推理软件堆栈加速的方法技术

本发明专利技术涉及一种使用现场可编程门阵列(FPGA)进行人工智能(AI)推理软件堆栈加速的方法，该方法将AI推理软件堆栈的灵活性的优点与FPGA的可编程硬件加速能力的优点进行组合，其中该方法包括以下步骤：对神经网络(NN)模型执行量化；使用AI推理软件堆栈对该NN模型执行逐层剖析；识别该NN模型的计算密集型层类型；以及使用层加速器对该计算密集型层类型实施加速。

【技术实现步骤摘要】

本专利技术涉及一种使用现场可编程门阵列(fpga)进行人工智能(ai)推理软件堆栈加速(inference software stack acceleration)的方法，所述方法将ai推理软件堆栈的灵活性的优点与fpga的可编程硬件加速能力的优点进行组合，其中所述方法包括以下步骤：对神经网络(nn)模型执行量化(quantization)；使用ai推理软件堆栈对所述nn模型执行逐层剖析(layer-by-layer profiling)；识别所述nn模型的计算密集型层类型(compute-intensive layer type)；以及使用层加速器对所述计算密集型层类型实施加速。

技术介绍

1、人工智能(artificial intelligence，ai)(尤其是神经网络(neural network，nn))正变得越来越受欢迎并且被广泛用于各种领域(domains)，例如视觉应用程序、音频应用程序及时间序列应用程序。ai训练通常是使用中央处理单元(central processingunit，cpu)或图形处理单元(graphics processi本文档来自技高网...

【技术保护点】

1.一种使用现场可编程门阵列(FPGA)进行人工智能(AI)推理软件堆栈加速的方法(101)，包括以下步骤：

2.根据权利要求1所述的使用FPGA进行AI推理软件堆栈加速的方法，其中所述层加速器是定制层加速器、来自至少一个层加速器库的层加速器或它们的组合。

3.根据权利要求2所述的使用FPGA进行AI推理软件堆栈加速的方法，还包括在步骤(iv)之后的以下步骤：

4.根据权利要求1所述的使用FPGA进行AI推理软件堆栈加速的方法，其中所述量化是在训练后完成的或者是通过量化感知训练来完成的。

5.根据权利要求1所述的使用FPGA进行AI推理软件...

【技术特征摘要】

1.一种使用现场可编程门阵列(fpga)进行人工智能(ai)推理软件堆栈加速的方法(101)，包括以下步骤：

2.根据权利要求1所述的使用fpga进行ai推理软件堆栈加速的方法，其中所述层加速器是定制层加速器、来自至少一个层加速器库的层加速器或它们的组合。

3.根据权利要求2所述的使用fpga进行ai推理软件堆栈加速的方法，还包括在步骤(iv)之后的以下步骤：

4.根据权利要求1所述的使用fpga进行ai推理软件堆栈加速的方法，其中所述量化是在训练后完成的或者是通过量化感知训练来完成的。

5.根据权利要求1所述的使用fpga进行ai推理软件堆栈加速的方法，其中所述执行量化是将浮点神经网络模型转换成全整数量化神经网...

【专利技术属性】
技术研发人员：李宇荟，颜庆伦，
申请(专利权)人：EFINIX有限公司，
类型：发明
国别省市：