加速计算二维图像CNN卷积的方法技术

本公开提供了一种加速计算二维图像CNN卷积的方法，包括：数据以流水线方式排布输入FIFO，卷积窗口在FIFO内成为平行四边形，卷积运算在行和列方向上同时重用数据；根据PE计算单元数量及对速度的要求，PE计算单元采用并行加速计算方法或串行加速计算方法，输出特征图像。本公开的方法有助于硬件单元的设计，对片上存储容量要求低；所有数据以流水线的方式进行处理，不仅最大化地重用了数据，而且并行地执行了若干卷积运算，大幅提高了吞吐率和执行效率。

A method for accelerating the calculation of CNN convolution in two-dimensional images

The invention provides a method for accelerating the calculation of two-dimensional image, CNN convolution includes: data in pipeline arrangement input FIFO, convolution window a parallelogram in the FIFO, and reuse of data convolution in row and column direction; according to the unit number and the requirement for speed PE computing, PE computing unit using parallel computing the method or serial calculation method, the output characteristics of the image. The disclosed method is helpful for designing the hardware unit, the on-chip storage capacity requirements low; all data were processed in a pipelined manner, not only to maximize the reuse of data, and the concurrent execution of several convolution, greatly improves the throughput and efficiency.

【技术实现步骤摘要】
加速计算二维图像CNN卷积的方法
本专利技术涉及在硬件上高效加速计算二维图像CNN卷积的方法，有效减少访问外部存储、提高吞吐率和执行效率。
技术介绍
深度学习在诸多场景有着广泛应用，如无人机、无人驾驶等。在终端应用领域，FPGA(FieldProgrammableGateArray-FPGA)作为硬件平台加速深度学习算法，具有成本低、功耗小、速度快、灵活可配置等优点，有着非常好的应用前景。卷积神经网络CNN(convolutionalneuralnetwork)是深度学习模型的基础，最新代表性的AlexNet、VGG、GoogleNet、ResNets、DenseNet、SqueezeNet等算法均采用了CNN的思想。然而，这些具有实际应用价值的算法计算量非常庞大、对存储和带宽要求极高。若采用传统FPGA设计方法，即使当前最先进FPGA的资源量也远远不能满足要求。这是因为卷积核滑过图像不同区域进行卷积时，会有大量的数据被多次使用，而片上存储空间有限、无法同时存储输入图像和输出特征图像及中间结果。当前普遍采用时分复用的思想来实现深度学习算法，比如深鉴科技的亚里士多德(Aristotle本文档来自技高网...

【技术保护点】
一种加速计算二维图像CNN卷积的方法，包括：数据以流水线方式排布输入FIFO，卷积窗口在FIFO内成为平行四边形，卷积运算在行和列方向上同时重用数据；根据PE计算单元数量及对速度的要求，PE计算单元采用并行加速计算方法或串行加速计算方法，输出特征图像。

【技术特征摘要】
1.一种加速计算二维图像CNN卷积的方法，包括：数据以流水线方式排布输入FIFO，卷积窗口在FIFO内成为平行四边形，卷积运算在行和列方向上同时重用数据；根据PE计算单元数量及对速度的要求，PE计算单元采用并行加速计算方法或串行加速计算方法，输出特征图像。2.根据权利要求1所述的方法，其中，所述的数据以流水线方式排布进入FIFO包括：将矩形方式表示的原始输入图像数据以流水线方式排布后，每行数据相对上一行向右错开一列或多列，整体形成一个平行四边形。3.根据权利要求2所述的方法，其中，PE计算单元处理后输出特征图像的数据也呈现每行数据相对上一行向右错开一列或多列的四边形排布。4.根据权利要求3所述的方法，所述的卷积窗口在FIFO内呈现平行四边形包括：在原始输入图像为矩形方式表示下，卷积核滑过原始输入图像不同位置的卷积窗口在FIFO中呈现平行四边形。5.根据权利要求4所述的方法，其中PE单元从FIFO获取数据，在资源充足速度要求高的情况使用并行加速方法，在要求资源尽可能少时使用串行加速方法。6.根据权利要求5所述的方法，所述的并行计算方法包括：FIFO内包括了若干卷积窗口，即所述平行四边形覆盖的数据，每个固定位置与卷积核中固定位置的元素做乘积是固定的，并将固定的乘...

【专利技术属性】
技术研发人员：李园强，张亚亚，刘洋，徐维涛，蔡刚，
申请(专利权)人：中科亿海微电子科技苏州有限公司，
类型：发明
国别省市：江苏,32