肺部结节检测神经网络加速器及其控制方法技术

本发明专利技术提供了一种肺部结节检测神经网络加速器及其控制方法，输入数据通过控制模块进入FIFO模块，然后进入卷积模块完成卷积中的乘累加运算，乘累加运算后进入累加模块累加中间值，累加中间值后进入激活函数模块进行激活函数，激活函数后进入降采样模块进行均值池化，均值池化后进入光栅化模块进行光栅化，将输出转化为一维向量返回控制模块；控制模块调用并配置FIFO模块、卷积模块、累加模块、激活函数模块、降采样模块和光栅化模块控制迭代，以及将迭代结果传输至全连接层进行乘累加运算和概率比较。本发明专利技术通过控制模块针对该肺部结节检测网络优化了迭代控制逻辑，以节省资源消耗，增加数据吞吐率。

Neural network accelerator for lung nodule detection and its control method

The invention provides a neural network accelerator for pulmonary nodule detection and its control method. The input data enters the FIFO module through the control module, then enters the convolution module to complete the multiplication and accumulation operation in the convolution, then enters the accumulation middle value of the accumulation module, and then enters the activation function module to excite after accumulating the intermediate value. Live function, after activating the function, it goes into downsampling module for mean pooling, then goes into rasterization module for rasterization, converts the output into one-dimensional vector return control module; control module calls and configures FIFO module, convolution module, accumulation module, activation function module, downsampling module and rasterization module. Control iteration and transfer the result of iteration to the full connection layer for multiplication and accumulation and probability comparison. The invention optimizes the iterative control logic for the pulmonary nodule detection network through the control module to save resource consumption and increase data throughput.

【技术实现步骤摘要】
肺部结节检测神经网络加速器及其控制方法
本专利技术涉及神经网络
，具体地，涉及肺部结节检测神经网络加速器及其控制方法。
技术介绍
神经网络精度高、学习能力强，在图像识别、模式识别等领域有着广泛且重要的应用。神经网络种类较多，有BP神经网络、卷积神经网络(CNN)、循环神经网络(RNN)等。其中，卷积神经网络由于其权重共享、提取区域特征等特性在图像识别领域有着重要的地位。在大规模视觉挑战赛(ILSVRC)中，图像识别的最好成绩都是由卷积神经网络相关算法创造的。肺部结节检测是诊断早期肺癌的重要手段，现阶段大多依靠医生阅读CT图像完成。每位病人可多达上百张CT图像，这对医生是个巨大的负担。利用CNN在图像识别领域的优势实现肺部结节检测为诊断提供参考，可减轻医生负担并加快诊断速度。现有技术往往硬件上仅实现卷积-池化层，利用CPU或ARM核实现全连接层。这样全连接层的并行运算就难以被开发出来，并且卷积层和全连接层之间的数据传输会导致性能下降。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种肺部结节检测神经网络加速器及其控制方法。根据本专利技术提供的一种肺部结节检测神经网络加速器，包括：卷积-池化层和全连接层；所述卷积-池化层包括控制模块，以及与所述控制模块连接的：至少一对FIFO模块和卷积模块、累加模块、激活函数模块、降采样模块和光栅化模块；输入数据通过所述控制模块进入所述FIFO模块，然后进入所述卷积模块完成卷积中的乘累加运算，乘累加运算后进入所述累加模块累加中间值，累加中间值后进入所述激活函数模块进行激活函数，激活函数后进入所述降采样模块进行均值池化，均值池化后进入所述光栅化模块进行光栅化，将输出转化为一维向量返回所述控制模块；所述控制模块调用并配置所述FIFO模块、所述卷积模块、所述累加模块、所述激活函数模块、所述降采样模块和所述光栅化模块控制迭代，以及将迭代结果传输至所述全连接层进行乘累加运算和概率比较。较佳的，所述控制模块在FPGA上实现。较佳的，所述控制模块包括至少两组存储单元，轮流存储从外部获取的原始的输入数据以及需要进行下一次卷积-池化运算的输入数据。较佳的，将神经网络的每个输出节点及迭代后的每个输出节点依次视作独立的状态，每个状态根据执行顺序分为四个阶段：原始特征图输入阶段、数据发送阶段、数据存储阶段和状态转换阶段；状态划分的过程为：第一步：以输出节点数目作为算法状态数目；第二步：每个算法状态的输入特征图数目，除以加速器并行卷积核数目后向上取整，得到算法状态在硬件加速器中迭代的次数；总迭代次数为加速器的总状态数目。较佳的，所述原始特征图输入阶段存在于第一状态以及在所述卷积-池化层进行最后一次迭代运算过程中的所有状态，在所述原始特征图输入阶段，所述控制模块接收外部输入的原始的输入图像并存储在存储单元中；所述数据发送阶段存在于每个状态中，所述控制模块计算对应状态下所述FIFO模块、所述卷积模块、所述累加模块、所述激活函数模块、所述降采样模块和所述光栅化模块所需的数据地址并发送数据和配置信息给相应模块；所述数据存储阶段存在于每个状态中，若当前运算非最后一层卷积-池化层，所述控制模块将卷积-池化的运算结果存储在存储单元中准备进行下一次卷积-池化运算；若当前运算结果为最后一层卷积-池化层的输出结果，则运算结果不经存储单元，直接进入全连接层运算；所述状态转换阶段存在于每个状态中，所述控制模块在所述数据发送阶段结束且所述数据存储阶段存储的数据达到理论数目，则转换回所述原始特征图输入阶段。根据本专利技术提供的一种肺部结节检测神经网络加速器的控制方法，包括：卷积-池化步骤和全连接步骤；所述卷积-池化步骤包括：输入数据通过控制模块进入FIFO模块，然后进入卷积模块完成卷积中的乘累加运算，乘累加运算后进入累加模块累加中间值，累加中间值后进入激活函数模块进行激活函数，激活函数后进入降采样模块进行均值池化，均值池化后进入光栅化模块进行光栅化，将输出转化为一维向量返回控制模块；控制模块调用并配置FIFO模块、卷积模块、累加模块、激活函数模块、降采样模块和光栅化模块控制迭代；所述全连接步骤包括：将迭代结果进行乘累加运算和概率比较。较佳的，所述控制模块在FPGA上实现。较佳的，所述控制模块包括至少两组存储单元，轮流存储从外部获取的原始的输入数据以及需要进行下一次卷积-池化运算的输入数据。较佳的，将神经网络的每个输出节点及迭代后的每个输出节点依次视作独立的状态，每个状态根据执行顺序分为四个阶段：原始特征图输入阶段、数据发送阶段、数据存储阶段和状态转换阶段；状态划分的过程为：第一步：以输出节点数目作为算法状态数目；第二步：每个算法状态的输入特征图数目，除以加速器并行卷积核数目后向上取整，得到算法状态在硬件加速器中迭代的次数；总迭代次数为加速器的总状态数目。较佳的，所述原始特征图输入阶段存在于第一状态以及在所述卷积-池化步骤进行最后一次迭代运算过程中的所有状态，在所述原始特征图输入阶段，所述控制模块接收外部输入的原始的输入图像并存储在存储单元中；所述数据发送阶段存在于每个状态中，所述控制模块计算对应状态下所述FIFO模块、所述卷积模块、所述累加模块、所述激活函数模块、所述降采样模块和所述光栅化模块所需的数据地址并发送数据和配置信息给相应模块；所述数据存储阶段存在于每个状态中，若当前运算非最后一层卷积-池化层，所述控制模块将卷积-池化的运算结果存储在存储单元中准备进行下一次卷积-池化运算；若当前运算结果为最后一层卷积-池化层的输出结果，则运算结果不经存储单元，直接进入全连接层运算；所述状态转换阶段存在于每个状态中，所述控制模块在所述数据发送阶段结束且所述数据存储阶段存储的数据达到理论数目，则转换回所述原始特征图输入阶段。与现有技术相比，本专利技术具有如下的有益效果：本专利技术通过控制模块针对该肺部结节检测网络优化了迭代控制逻辑，以节省资源消耗，增加数据吞吐率。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术肺部结节检测卷积神经网络的架构示意图；图2为本专利技术肺部结节检测神经网络加速器的整体架构示意图；图3为本专利技术一个状态完成的运算示意图；图4为本专利技术实施例状态划分与每个状态的操作示意图；图5为本专利技术不同状态卷积-池化的输入输出情况示意图；图6为本专利技术状态转换示意图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。本专利技术基于肺部结节检测，设计了包含两层卷积-池化层、一层全连接层的卷积神经网络，如图1所示。该网络输入为28×28像素的灰度图像，卷积核固定为5×5大小，采用ReLU激活函数，均值池化。第一层卷积包括6个卷积核，生成6幅24×24像素特征图，降采样为12×12像素特征图。第二层卷积层有6个输入节点，12个输出节点，共72个卷积核，生成12幅8×8像素特征图，降采样为4×4像素特征图，再经过光栅层转化为一维向量，最终通过全连接层实现4个类别的分类输出。本文档来自技高网...

【技术保护点】
1.一种肺部结节检测神经网络加速器，其特征在于，包括：卷积‑池化层和全连接层；所述卷积‑池化层包括控制模块，以及与所述控制模块连接的：至少一对FIFO模块和卷积模块、累加模块、激活函数模块、降采样模块和光栅化模块；输入数据通过所述控制模块进入所述FIFO模块，然后进入所述卷积模块完成卷积中的乘累加运算，乘累加运算后进入所述累加模块累加中间值，累加中间值后进入所述激活函数模块进行激活函数，激活函数后进入所述降采样模块进行均值池化，均值池化后进入所述光栅化模块进行光栅化，将输出转化为一维向量返回所述控制模块；所述控制模块调用并配置所述FIFO模块、所述卷积模块、所述累加模块、所述激活函数模块、所述降采样模块和所述光栅化模块控制迭代，以及将迭代结果传输至所述全连接层进行乘累加运算和概率比较。

【技术特征摘要】
1.一种肺部结节检测神经网络加速器，其特征在于，包括：卷积-池化层和全连接层；所述卷积-池化层包括控制模块，以及与所述控制模块连接的：至少一对FIFO模块和卷积模块、累加模块、激活函数模块、降采样模块和光栅化模块；输入数据通过所述控制模块进入所述FIFO模块，然后进入所述卷积模块完成卷积中的乘累加运算，乘累加运算后进入所述累加模块累加中间值，累加中间值后进入所述激活函数模块进行激活函数，激活函数后进入所述降采样模块进行均值池化，均值池化后进入所述光栅化模块进行光栅化，将输出转化为一维向量返回所述控制模块；所述控制模块调用并配置所述FIFO模块、所述卷积模块、所述累加模块、所述激活函数模块、所述降采样模块和所述光栅化模块控制迭代，以及将迭代结果传输至所述全连接层进行乘累加运算和概率比较。2.根据权利要求1所述的肺部结节检测神经网络加速器，其特征在于，所述控制模块在FPGA上实现。3.根据权利要求1所述的肺部结节检测神经网络，其特征在于，所述控制模块包括至少两组存储单元，轮流存储从外部获取的原始的输入数据以及需要进行下一次卷积-池化运算的输入数据。4.根据权利要求1所述的肺部结节检测神经网络加速器，其特征在于，将神经网络的每个输出节点及迭代后的每个输出节点依次视作独立的状态，每个状态根据执行顺序分为四个阶段：原始特征图输入阶段、数据发送阶段、数据存储阶段和状态转换阶段；状态划分的过程为：第一步：以输出节点数目作为算法状态数目；第二步：每个算法状态的输入特征图数目，除以加速器并行卷积核数目后向上取整，得到算法状态在硬件加速器中迭代的次数；总迭代次数为加速器的总状态数目。5.根据权利要求4所述的肺部结节检测神经网络加速器，其特征在于，所述原始特征图输入阶段存在于第一状态以及在所述卷积-池化层进行最后一次迭代运算过程中的所有状态，在所述原始特征图输入阶段，所述控制模块接收外部输入的原始的输入图像并存储在存储单元中；所述数据发送阶段存在于每个状态中，所述控制模块计算对应状态下所述FIFO模块、所述卷积模块、所述累加模块、所述激活函数模块、所述降采样模块和所述光栅化模块所需的数据地址并发送数据和配置信息给相应模块；所述数据存储阶段存在于每个状态中，若当前运算非最后一层卷积-池化层，所述控制模块将卷积-池化的运算结果存储在存储单元中准备进行下一次卷积-池化运算；若当前运算结果为最后一层卷积-池化层的输出结果，则运算结果不经存储单元，直接进入全连接层运算；所述状态转换阶段存在于每个状态中，所述控制模块在所述数据发送阶段结束且所述数据存储阶...

【专利技术属性】
技术研发人员：王琴，李永博，沈丰毅，景乃锋，蒋剑飞，绳伟光，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31