一种资源友好的卷积神经网络FPGA部署方法技术

本申请提供一种资源友好的卷积神经网络FPGA部署方法，通过将卷积神经网络抽象为级联的多入多出卷积模块与偏置模块并针对FPGA的并行特性优化模块的工作流程，以减小部署过程的资源消耗。其中多入多出模块通过串并转换将单像素输入转换为多行像素输出，结合多入单出卷积模块的通道切换机制，实现多通道图像的并发卷积。权重存储器根据卷积层参数确定片内存储器实例化数量，输出通道切换逻辑将多个单通道输入图像整合为多通道输出图像。偏置模块融合各层偏置参数生成最终偏置，仅在末级施加一次偏置以减少推理过程的计算量，同时缩减参数规模。该方案通过模块化部署与存储策略优化，显著降低了部署过程的资源开销，同时提升了FPGA的部署效率。

【技术实现步骤摘要】

本申请涉及fpga算法部署方案领域，尤其涉及一种资源友好的卷积神经网络fpga部署方案。

技术介绍

1、卷积神经网络能够提取图像在不同尺度下的特征，在图像增强、目标识别等领域都有广泛的应用。在卷积神经网络的边缘部署场景中，fpga具有高并发性、低功耗等优势，能够有效加速卷积神经网络的推理过程。在传统的部署方案中，训练得到的所有网络参数均存储于fpga的片内存储器中，网络模型从片外存储器(如ddr)读取输入图像，每个卷积层完成一次推理后将特征图像传递到下一个卷积层，从而实现卷积神经网络的推理过程。

2、然而，上述部署方案中fpga的资源开销过大，无法用于部署复杂的神经网络或处理尺寸较大的图像。首先，随着卷积神经网络层数增多，层间存储特征图像导致的资源占用也随之增多，对于一些输出通道数较大卷积层(如，输出通道数是输入通道数的倍数)，片内存储器的消耗将急剧上升。其次，由于每个卷积层偏置参数的规模均与其输出特征图像相等，因而偏置参数的存储也将带来巨大的资源消耗。另外，对于大尺寸图像处理场景，由于卷积操作不能显著压缩图像尺寸，图像数据的存储也将消耗大量资本文档来自技高网...

【技术保护点】

1.一种资源友好的卷积神经网络FPGA部署方法，其特征在于，将卷积神经网络抽象为多个级联的多入多出卷积模块，并在最后一个多入多出卷积模块后连接一个偏置模块；

2.根据权利要求1所述的卷积神经网络FPGA部署方法，其特征在于，所述串并转换模块用于将连续单个像素转换为连续多行单列像素，包括多个级联的FIFO、像素计数器，其工作流程为：

3.根据权利要求1所述的卷积神经网络FPGA部署方法，其特征在于，所述多入单出卷积模块包括多个并联的单入单出卷积模块，像素计数器、输入通道切换逻辑模块、加法器，单入单出卷积模块分别与输入通道切换逻辑模块和加法器相连，像素计数器与输入通道...

【技术特征摘要】

1.一种资源友好的卷积神经网络fpga部署方法，其特征在于，将卷积神经网络抽象为多个级联的多入多出卷积模块，并在最后一个多入多出卷积模块后连接一个偏置模块；

2.根据权利要求1所述的卷积神经网络fpga部署方法，其特征在于，所述串并转换模块用于将连续单个像素转换为连续多行单列像素，包括多个级联的fifo、像素计数器，其工作流程为：

3.根据权利要求1所述的卷积神经网络fpga部署方法，其特征在于，所述多入单出卷积模块包括多个并联的单入单出卷积模块，像素计数器、输入通道切换逻辑模块、加法器，单入单出卷积模块分别与输入通道切换逻辑模块和加法器相连，像素计数器与输入通道切换逻辑模块相连；其工作流程包括：

4.根据权利要求3所述的卷积神经网络fpga部署方法，其特征在于，所述单入单出卷积模块将单通道输入图像与卷积核做卷积，产生单通道输出图像；包括点积存储阵列和卷积核单元，用以执行以...

【专利技术属性】
技术研发人员：陈会，秦岭，陈怀新，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：