多FPGA协同深度神经网络并行加速方法技术

本发明专利技术公开了一种多FPGA协同深度神经网络并行加速方法，其方法包括，获取主控FPGA单元和每个计算FPGA单元的资源量，以及待部署深度神经网络模型的各层参数；判断待部署深度神经网络模型的网络层在输出通道上完全展开计算任务所需要的计算资源量是否达到主控FPGA单元的资源量，若未达到，则将该网络层的计算任务映射到主控FPGA单元的计算引擎并执行；若达到并大于或等于，则将该网络层的计算任务按计算FPGA单元的数量进行拆分，并将拆分后的计算任务映射到每个计算FPGA单元的计算引擎并执行。本发明专利技术根据计算量与资源量确定的拆分策略，将模型网络层的通道进行分割，再将计算任务映射至各FPGA内的计算引擎，能够利用多FPGA带来的性能增益实现并行加速。

【技术实现步骤摘要】

本专利技术涉及人工智能，更具体的说是涉及一种多fpga协同深度神经网络并行加速方法。

技术介绍

1、当前，深度神经网络(deep neural networks,dnn)在多个领域已得到广泛应用，如图像识别、语音识别、自然语言处理等。然而，深度神经网络的复杂性和庞大的计算量对硬件资源提出了极高的要求。传统的中央处理器(cpu)和图形处理器(gpu)在运行dnn模型时，在能效比、实时性和灵活性方面仍存在不足。

2、现场可编程门阵列(fpga)作为一种高能效比硬件计算平台，其高度的并行处理能力和可编程性使在深度神经网络加速中具有良好潜力。fpga可以通过定制化的硬件设计，针对特定的神经网络模型进行优化，从而大幅提升计算效率和能效比。但是，现有的基于fpga的深度神经网络加速方案大多局限于单个fpga，计算性能有限，难以支撑参数量庞大的深度神经网络模型。为此，如何同时利用多个fpga协同进行深度神经网络加速得到了关注。

3、通过将神经网络模型分割成多个部分，并在多块fpga上并行处理，可以充分利用fpga的并行计算能力，提升计算性能和能效本文档来自技高网...

【技术保护点】

1.一种多FPGA协同深度神经网络并行加速方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的多FPGA协同深度神经网络并行加速方法，其特征在于，所述计算引擎包括主控FPGA单元或计算FPGA单元内用于计算网络各层推理任务的功能算子。

3.根据权利要求1所述的多FPGA协同深度神经网络并行加速方法，其特征在于，所述资源量包括主控FPGA单元或计算FPGA单元中用于执行计算任务的DSP数量。

4.一种基于多FPGA协同深度神经网络并行加速系统，其特征在于，包括：一个主控FPGA单元、若干计算FPGA单元、以及一个主机；

<p>5.根据权利要求...

【技术特征摘要】

1.一种多fpga协同深度神经网络并行加速方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的多fpga协同深度神经网络并行加速方法，其特征在于，所述计算引擎包括主控fpga单元或计算fpga单元内用于计算网络各层推理任务的功能算子。

3.根据权利要求1所述的多fpga协同深度神经网络并行加速方法，其特征在于，所述资源量包括主控fpga单元或计算fpga单元中用于执行计算任务的dsp数量。

4.一种基于多fpga协同深度神经网络并行加速系统，其特征在于，包括：一个主控fpga单元、若干计算fpga单元、以及一个主机；

5.根据权利要求4所述的一种基于多fpga协同深度神经网络并行加速系统，其特征在于，所述主机通过高速通信总线与每个计算fpga单元和主控fp...

【专利技术属性】
技术研发人员：魏祥麟，庞明义，胡永扬，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：