卷积神经网络模块的控制方法技术

本发明专利技术提供一种卷积神经网络模块的控制方法，所述卷积神经网络模块包括多个级联的卷积计算单元，每个卷积计算单元至少包括按顺序设置的第一乘法器、第二乘法器、第一加法器以及第二加法器，所述第一加法器连接至所述第一乘法器以及所述第二乘法器以将所述第一乘法器和第二乘法器的输出数据相加，所述第二加法器连接至所述第一加法器以及上一卷积计算单元的第二加法器，以将当前卷积计算单元的第一加法器和上一卷积计算单元的第二加法器的输出数据相加，所述控制方法包括：使各所述卷积计算单元的第二乘法器相较于第一乘法器晚一个单倍频时钟节拍读取的通道数据。本发明专利技术提高卷积计算速度，进而提高整个系统的计算能力。进而提高整个系统的计算能力。进而提高整个系统的计算能力。

【技术实现步骤摘要】
卷积神经网络模块的控制方法


[0001]本专利技术涉及卷积神经网络领域，尤其涉及一种卷积神经网络模块的控制方法。

技术介绍

[0002]卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它主要包括卷积层(convolutional layer)和池化层(pooling layer)。卷积神经网络已广泛应用于图像分类、物体识别、目标追踪。
[0003]卷积神经网络计算可以通过如FPGA(Field
‑
Programmable Gate Array，即现场可编程门阵列)、芯片等硬件为基础来实现。
[0004]在基于FPGA硬件的神经网络计算中，张量卷积运算是使用最多的一种计算方式，主要有卷积、反卷、空洞、全连接等类型的算子，这类运算的计算核心位乘加运算，即先进行乘法运算然后将各个乘法运算结果进行累加。
[0005]目前，现有的张量卷积运算中，通常为先同时算出多个乘法运算的结果，然后同时对乘法运算结果进行累加，这样在累加运算中可以达到的运行速度有限，从而影响了整体的运行频率，进而使整个系统的计算能力受到限制。

技术实现思路

[0006]本专利技术为了克服上述现有技术存在的缺陷，提供一种卷积神经网络模块的控制方法，以提高卷积计算速度，进而提高整个系统的计算能力。
[0007]根据本专利技术的一个方面，提供一种卷积神经网络模块的控制方法，所述卷积神经网络模块包括多个级联的卷积计算单元，每个卷积计算单元至少包括按顺序设置的第一乘法器、第二乘法器、第一加法器以及第二加法器，所述第一加法器连接至所述第一乘法器以及所述第二乘法器以将所述第一乘法器和第二乘法器的输出数据相加，所述第二加法器连接至所述第一加法器以及上一卷积计算单元的第二加法器，以将当前卷积计算单元的第一加法器和上一卷积计算单元的第二加法器的输出数据相加，所述控制方法包括：
[0008]使各所述卷积计算单元的第二乘法器相较于第一乘法器晚一个单倍频时钟节拍读取的通道数据，以使各所述卷积计算单元的第一乘法器和第二乘法器读取的相邻通道的通道数据在所述第一加法器的加法计算中对齐。
[0009]在本申请的一些实施例中，还包括：
[0010]使当前卷积计算单元的第一乘法器相较于上一卷积计算单元的第二乘法器晚一个单倍频时钟节拍读取的通道数据，以使当前卷积计算单元的第一加法器的输出数据与上一卷积计算单元的第二加法器的输出数据在当前卷积计算单元的第二加法器的加法计算中对齐。
[0011]在本申请的一些实施例中，所述卷积神经网络模块包括多个级联的行卷积计算单元，每个所述行卷积计算单元包括多个级联的所述卷积计算单元，所述控制方法还包括：
[0012]使当前行卷积计算单元的第一个卷积计算单元的第一乘法器相较于上一行卷积计算单元的最后一个卷积计算单元的第二乘法器晚一个单倍频时钟节拍读取的通道数据，以使当前行卷积计算单元的第一个卷积计算单元的第一加法器的输出数据与上一行卷积计算单元的最后一个卷积计算单元的输出数据在当前行卷积计算单元的第一个卷积计算单元的第二加法器的加法计算中对齐。
[0013]在本申请的一些实施例中，基于储存器的读使能的延迟以控制所述通道数据的读取的时钟节拍的延迟。
[0014]在本申请的一些实施例中，所述控制方法包括：
[0015]以单倍频时钟节拍读取通道数据，作为乘法器的一个输入，并以双倍频时钟节拍交替读取第一权重数据和第二权重数据，作为乘法器的另一个输入；
[0016]于所述乘法器的输出端获得所述通道数据和所述第一权重数据的第一卷积结果以及所述通道数据和所述第二权重数据的第二卷积结果。
[0017]在本申请的一些实施例中，所述以单倍频时钟节拍读取通道数据，作为乘法器的一个输入，并以双倍频时钟节拍交替读取第一权重数据和第二权重数据，作为乘法器的另一个输入包括：
[0018]提供基于单倍频时钟节拍的通道数据、第一权重数据以及第二权重数据的信号；
[0019]以两倍频时钟节拍采集基于单倍频时钟节拍的通道数据、第一权重数据以及第二权重数据的信号；
[0020]基于权重数据选择信号，合并基于两倍频时钟节拍第一权重数据以及第二权重数据的信号。
[0021]在本申请的一些实施例中，所述于所述乘法器的输出端获得所述通道数据和所述第一权重数据的第一卷积结果以及所述通道数据和所述第二权重数据的第二卷积结果包括：
[0022]于所述乘法器的输出端获得基于两倍频时钟节拍的卷积结果信号；
[0023]基于卷积结果选择信号，将所述卷积结果信号拆分为基于单倍频时钟节拍的所述通道数据和所述第一权重数据的第一卷积结果以及所述通道数据和所述第二权重数据的第二卷积结果。
[0024]在本申请的一些实施例中，基于卷积结果选择信号，将所述卷积结果信号拆分为基于单倍频时钟节拍的所述通道数据和所述第一权重数据的第一卷积结果以及所述通道数据和所述第二权重数据的第二卷积结果还包括：
[0025]使得基于单倍频时钟节拍的所述通道数据和所述第一权重数据的第一卷积结果以及所述通道数据和所述第二权重数据的第二卷积结果在单倍频时钟节拍上对齐。
[0026]在本申请的一些实施例中，所述卷积计算单元基于数字信号处理芯片实现。
[0027]在本申请的一些实施例中，卷积神经网络模块基于现场可编程门阵列实现。
[0028]相比现有技术，本专利技术的优势在于：
[0029]本专利技术提供的卷积神经网络模块采用卷积计算单元级联的方式对多个相乘的结果进行相加，前一个卷积计算单元的结果级联输出到后一个卷积计算单元的级联输入，通过控制每个乘法器的输入节拍来实现流水线控制以及数据计算的对齐。本专利技术可以最大限度的使用卷积计算单元级联，使乘法器的运行速度达到400MHz以上，提升整个系统的计算
能力。
附图说明
[0030]通过参照附图详细描述其示例实施方式，本专利技术的上述和其它特征及优点将变得更加明显。
[0031]图1示出了根据本专利技术实施例的卷积神经网络模块的示意图；
[0032]图2示出了根据本专利技术实施例的卷积神经网络模块的时序意图；
[0033]图3示出了根据本专利技术实施例的双倍频时钟节拍的控制时序图。
具体实施方式
[0034]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
[0035]此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络模块的控制方法，其特征在于，所述卷积神经网络模块包括多个级联的卷积计算单元，每个卷积计算单元至少包括按顺序设置的第一乘法器、第二乘法器、第一加法器以及第二加法器，所述第一加法器连接至所述第一乘法器以及所述第二乘法器以将所述第一乘法器和第二乘法器的输出数据相加，所述第二加法器连接至所述第一加法器以及上一卷积计算单元的第二加法器，以将当前卷积计算单元的第一加法器和上一卷积计算单元的第二加法器的输出数据相加，所述控制方法包括：使各所述卷积计算单元的第二乘法器相较于第一乘法器晚一个单倍频时钟节拍读取的通道数据，以使各所述卷积计算单元的第一乘法器和第二乘法器读取的相邻通道的通道数据在所述第一加法器的加法计算中对齐。2.如权利要求1所述的卷积神经网络模块的控制方法，其特征在于，还包括：使当前卷积计算单元的第一乘法器相较于上一卷积计算单元的第二乘法器晚一个单倍频时钟节拍读取的通道数据，以使当前卷积计算单元的第一加法器的输出数据与上一卷积计算单元的第二加法器的输出数据在当前卷积计算单元的第二加法器的加法计算中对齐。3.如权利要求1所述的卷积神经网络模块的控制方法，其特征在于，所述卷积神经网络模块包括多个级联的行卷积计算单元，每个所述行卷积计算单元包括多个级联的所述卷积计算单元，所述控制方法还包括：使当前行卷积计算单元的第一个卷积计算单元的第一乘法器相较于上一行卷积计算单元的最后一个卷积计算单元的第二乘法器晚一个单倍频时钟节拍读取的通道数据，以使当前行卷积计算单元的第一个卷积计算单元的第一加法器的输出数据与上一行卷积计算单元的最后一个卷积计算单元的输出数据在当前行卷积计算单元的第一个卷积计算单元的第二加法器的加法计算中对齐。4.如权利要求1至3任一项所述的卷积神经网络模块的控制方法，其特征在于，基于储存器的读使能的延迟以控制所述通道数据的读取的时钟节拍的延迟。5.如权利要求1所述的卷积神经网络模块的控制方法，其特征在于，所述控制方法包括：以单倍频时钟节拍读取通道...

【专利技术属性】
技术研发人员：谭黎敏，朱怀安，宋捷，
申请(专利权)人：上海西井信息科技有限公司，
类型：发明
国别省市：