一种基于面积折叠的神经网络推理加速方法技术

本发明专利技术公开了一种基于面积折叠的神经网络推理加速方法，涉及人工智能技术领域。所述方法包括如下步骤：算子生成：加载待加速的深度神经网络模型，分析该模型的组成结构，根据该模型组成结构生成模型顶层算子与各网络层算子；面积折叠：将FPGA中的存储资源与计算资源分别建模为矩阵面积的横轴与纵轴，并以此对顶层算子与各网络层算子的资源占用进行评估；方案获取：根据分配到的面积确定各网络层算子的折叠尺寸，确定各网络层算子的输入通道数与输出通道数。所述方法可以很好地降低在FPGA上加速神经网络的开发难度，并更好的适应多种不同的开发条件，显著降低开发过程的复杂程度。显著降低开发过程的复杂程度。显著降低开发过程的复杂程度。

【技术实现步骤摘要】
一种基于面积折叠的神经网络推理加速方法


[0001]本专利技术涉及人工智能
，尤其涉及一种基于面积折叠的神经网络推理加速方法。

技术介绍

[0002]深度神经网络技术在图像处理、语音识别、自动驾驶、人脸识别等方面都得到了广泛应用。但是，深度神经网络模型的推理计算往往具有很高的计算复杂度，多数运行于计算能力较强的图形处理单元(GPU)上，耗时较长且能耗较高。在此背景下，业界探索基于现场可编程门阵列(FPGA)平台进行深度神经网络模型推理计算，从而提升推理速度并降低计算功耗。
[0003]但是，随着深度神经网络模型的结构日趋复杂、规模不断增加、参数持续膨胀，在FPGA平台上执行模型推理计算时，往往面临资源不足的问题。比如，用于图像识别的YOLOv5s模型，其Backbone单个卷积网络层具有1182720个参数，假定以FLOAT32的数据格式存储，其所需的存储和计算资源就已超过了ZYNQ7035 FPGA平台的资源总量。因此，迫切需要一种可以基于资源有限的FPGA平台支持复杂深度神经网络模型推理计算的加速方法。r/>
技术实现思路
<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面积折叠的神经网络推理加速方法，其特征在于包括如下步骤：S101：算子生成：加载待加速的深度神经网络模型，分析该模型的组成结构，根据该模型组成结构生成模型顶层算子与各网络层算子；S102：面积折叠：将FPGA中的存储资源与计算资源分别建模为矩阵面积的横轴与纵轴，并以此对顶层算子与各网络层算子的资源占用进行评估，包括各网络层算子资源占用增加量与折叠尺寸的对应关系、各网络层算子基础资源占用量；S103：方案获取：根据各网络算子在不折叠的情况下的所需资源量的比例关系，为各网络层算子分配FPGA平台上的面积，并根据分配到的面积确定各网络层算子的折叠尺寸，确定各网络层算子的输入通道数与输出通道数。2.如权利要求1所述的一种基于面积折叠的神经网络推理加速方法，其特征在于，所述步骤S101具体包括如下步骤：S1011：读取神经网络模型：读取需要加速的神经网络模型，对模型的网络层数、各网络层类别、各网络层的参数与参数形状、模型的输入输出形状以及各网络层的输入输出形状进行提取；S1012：生成顶层算子：根据模型的网络层数、各网络层类别、模型的输入输出形状以及各网络层的输入输出形状生成顶层算子，用于实现输入数据的加载、计算任务的分配和输出结果的卸载；S1013：生成各网络层算子：根据各网络层的类别、各网络层参数形状与各网络层的输入输出形状生成各网络层的算子代码，用于实现模型参数的加载与计算过程的实现。3.如权利要求1所述的一种基于面积折叠的神经网络推理加速方法，其特征在于，所述步骤S102具体包括如下步骤：S1021：资源面积建模：将FPGA中的存储资源与计算资源建模为矩阵面积的横轴与纵轴，各网络层对于存储资源与硬件资源的需求同样建模为矩阵的面积，通过在横向与纵向两个维度上对模型内部各网络层算子进行折叠，使得FPGA的片上资源量可以满足加速模型所需的资源量；S1022：评估顶层算子面积：评估顶层算子对资源的占用情况，因顶层算子不会被折叠，故直接评估资源需求量；S1023：评估各网络层算子面积：评估各网络算子对资源的占用情况，包括各网络层算子资源占用增加量与折叠尺寸的对应关系、各网络层算子基础资源占用量；S1024：算子面积复用：通过复用折叠后的网络层算子面积，实现各网络层完整的计算任务。4.如权利要求3所述的一种基于面积折叠的神经网络推理加速方法，其特征在于，步骤S1023中所述基础资源需求量通过如下步骤进行计算：考虑到折叠尺寸对存储资源B与计算资源D的影响，模型f中的每个网络层l的算子分别以(F
Nl
＝1，F
Ml
＝1)，(F
Nl
＝1，F
Ml
＝2)，(F
Nl
＝2，F
Ml
＝1)的组合进行折叠，计算出网络层l由于横向折叠带来的资源需求增长量[ΔB
Nl
,ΔD
Nl
]和由于纵向折叠带来的资源需求增长量[ΔB
Ml
,ΔD
Ml
]：[ΔB
Nl
,ΔD
Nl
]＝A
l
(2,1)
‑
A
l
(1,1)[ΔB
Ml
,ΔD
Ml
]＝A
l
(1,2)
‑
A
l
(1,1)
然后计算网络层l的基础资源需求量[B
Bl
,D
Bl
]：[B
Bl
,D
Bl
]＝A
l
(1,1)
‑
[ΔB
Nl
,ΔD
Nl
]
‑
[ΔB
Ml
,ΔD
Ml
]其中F
Nl
为网络层l的横向叠尺寸，F
Ml
为纵向叠尺寸，A
l
(F
Nl
,F
Ml
)为计算网络层l在相应折叠尺寸下的资源占用的方法。5.如权利要求3所述的一种基于面积折叠的神经网络推理加速方法，其特征在于，所述步骤S1024中经过折叠后的网络层算子的计算方法包括如下步骤：设单个网络层的表达式为：[Y]＝[W]
·
...

【专利技术属性】
技术研发人员：魏祥麟，王斌，范建华，胡永扬，王彦刚，于龙，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：