【技术实现步骤摘要】
本申请涉及图像数据处理，尤其涉及一种轻量型图像分类硬件加速器及其加速方法。
技术介绍
1、深度可分离卷积将传统卷积解耦为深度卷积和逐点卷积，因此传统的卷积神经网络加速器已经不适用于进行深度可分离卷积神经网络的计算，对于此，现有技术提出了一种流水线式的计算架构，通过引入额外的feature bank预先将off-chip memory中的数据进行读入，以两块不同的计算单元分别进行逐点卷积和深度卷积的计算。但是，引入额外的存储单元意味着硬件资源消耗的增加以及数据读写时间的增长，此外，shufflenetv2的构造块交替使用了逐点卷积和深度卷积，这种流水线式的结构也会造成计算的不连贯，降低计算效率；同样也有考虑了网络模型中不同卷积计算模式的组合，进而设计出了一个可重构的深度可分离神经网络加速器，计算模块同时支持逐点卷积和深度卷积的计算。然而这种可重构的结构未能保证各种计算模式能够充分利用计算资源，在进行计算时仍会有一部分计算资源处于闲置状态，其结构也并不支持分组卷积和网络混洗操作，使得加速器无法发掘并行性的潜力从而提升性能；也存在通过算法与硬件协同设计，单独分离了跳跃分支，并在逐点卷积后将两部分的结果相连接，实现了加速器中通道混洗的操作。这种方式虽然在一定程度上保持了特征图存储的连续性，但是仍然会产生大量的内存读写，造成延时。
2、综上，相关技术中存在的技术问题有待得到改善。
技术实现思路
1、本申请实施例的主要目的在于提出一种轻量型图像分类硬件加速器及其加速方法，能够在提高
2、为实现上述目的，本申请实施例的一方面提出了一种轻量型图像分类硬件加速器，所述图像分类硬件加速器包括sd卡、中央处理器、双数据速率存储器和硬件加速器，所述sd卡的输出端与所述中央处理器的输入端连接，所述中央处理器的输出端与所述双数据速率存储器的第一输入端连接，所述双数据速率存储器的输出端与所述硬件加速器的输入端连接，所述硬件加速器的输出端与所述双数据速率存储器的第二输入端连接，其中：
3、所述sd卡用于存储训练后的卷积核权值；
4、所述中央处理器用于产生指令对所述图像分类硬件加速器进行控制；
5、所述双数据速率存储器用于获取特征图像数据并进行分类计算；
6、所述硬件加速器引入卷积阵列与通道混洗模块，用于对所述特征图像数据的分类计算过程进行加速。
7、在一些实施例中，所述硬件加速器包括控制模块、存储模块、缓存模块和计算模块，所述控制模块的第一输出端与所述缓存模块的第一输入端连接，所述控制模块的第二输出端与所述计算模块的第一输入端连接，所述缓存模块的第一输出端与所述计算模块的第二输入端连接，所述计算模块的输出端与所述缓存模块的第二输入端连接，所述缓存模块的第二输出端与所述存储模块的输入端连接，所述存储模块的输出端与所述缓存模块的第三输入端连接，其中：
8、所述控制模块用于控制所述硬件加速器的工作；
9、所述存储模块用于存储所述特征图像数据的分类计算过程的中间数据；
10、所述缓存模块用于对所述特征图像数据的读入与写出；
11、所述计算模块用于对所述特征图像数据的分类计算过程进行加速。
12、在一些实施例中，所述缓存模块包括权值缓存器、激活缓存器和输出缓存器，其中：
13、所述权值缓存器用于读取所述训练后的卷积核权值；
14、所述激活缓存器用于读取所述特征图像数据；
15、所述输出缓存器用于将所述特征图像数据的分类计算过程的中间数据存入所述存储模块。
16、在一些实施例中，所述计算模块包括卷积阵列、加法树模块、池化模块、激活模块和通道混洗模块，所述卷积阵列的输出端与所述加法树模块的输入端连接，所述加法树模块的输出端与所述池化模块的输入端连接，所述池化模块的输出端与所述激活模块的输入端连接，所述激活模块的输出端与所述通道混洗模块的输入端连接，其中：
17、所述卷积阵列用于将所述特征图像数据与所述训练后的卷积核权值进行乘法计算，得到若干乘法计算结果；
18、所述加法树模块用于将若干所述乘法计算结果进行累加，完成卷积计算过程；
19、所述池化模块用于对所述卷积计算过程进行最大池化处理；
20、所述激活模块用于对所述卷积计算过程进行映射处理；
21、所述通道混洗模块用于对特征图像数据分类计算结果进行通道混洗处理，得到最终的特征图像数据分类计算结果。
22、在一些实施例中，所述卷积阵列包括第一图片处理单元、第二图片处理单元和第三图片处理单元，所述第一图片处理单元、所述第二图片处理单元和所述第三图片处理单元均包括若干乘法器单元，所述第一图片处理单元、所述第二图片处理单元和所述第三图片处理单元通过并行方式连接。
23、为实现上述目的，本申请实施例的另一方面提出了一种轻量型图像分类硬件加速器的加速方法，所述方法包括：
24、获取所述训练后的卷积核权值和所述特征图像数据；
25、基于所述训练后的卷积核权值和所述特征图像数据进行图像分类计算处理；
26、引入加速器，对所述图像分类计算处理进行加速，得到最终的特征图像数据分类计算结果。
27、在一些实施例中，所述基于所述训练后的卷积核权值和所述特征图像数据进行图像分类计算处理，包括：
28、对所述图像分类硬件加速器进行初始化处理，将开始信号进行拉高处理并获取载入数据信号；
29、基于所述载入数据信号将所述训练后的卷积核权值和所述特征图像数据进行载入；
30、对载入后的所述训练后的卷积核权值与载入后的所述特征图像数据进行图像分类计算处理，计算结束后获取运算结束标志；
31、循环载入所述训练后的卷积核权值和所述特征图像数据的步骤以及所述图像分类计算处理的步骤，直至所述开始信号为低，结束所述图像分类计算处理。
32、在一些实施例中，所述引入加速器，对所述图像分类计算处理进行加速，得到最终的特征图像数据分类计算结果，包括：
33、引入加速器，将所述特征图像数据与所述训练后的卷积核权值进行乘法计算，得到若干乘法计算结果；
34、对若干所述乘法计算结果进行累加计算，得到累加后的乘法计算结果；
35、对所述累加后的乘法计算结果进行最大池化处理，得到最大池化后的乘法计算结果；
36、对所述最大池化后的乘法计算结果进行映射处理，得到映射后的乘法计算结果；
37、对所述映射后的乘法计算结果进行通道混洗处理，得到最终的特征图像数据分类计算结果。
38、在一些实施例中，所述对所述累加后的乘法计算结果进行最大池化处理，得到最大池化后的乘法计算结果，包括：
39、对所述累加后的乘法计算结果进行行维度比较与列维度比较；
40本文档来自技高网...
【技术保护点】
1.一种轻量型图像分类硬件加速器，其特征在于，所述图像分类硬件加速器包括SD卡、中央处理器、双数据速率存储器和硬件加速器，所述SD卡的输出端与所述中央处理器的输入端连接，所述中央处理器的输出端与所述双数据速率存储器的第一输入端连接，所述双数据速率存储器的输出端与所述硬件加速器的输入端连接，所述硬件加速器的输出端与所述双数据速率存储器的第二输入端连接，其中：
2.根据权利要求1所述的图像分类硬件加速器，其特征在于，所述硬件加速器包括控制模块、存储模块、缓存模块和计算模块，所述控制模块的第一输出端与所述缓存模块的第一输入端连接，所述控制模块的第二输出端与所述计算模块的第一输入端连接，所述缓存模块的第一输出端与所述计算模块的第二输入端连接，所述计算模块的输出端与所述缓存模块的第二输入端连接，所述缓存模块的第二输出端与所述存储模块的输入端连接，所述存储模块的输出端与所述缓存模块的第三输入端连接，其中：
3.根据权利要求2所述的图像分类硬件加速器，其特征在于，所述缓存模块包括权值缓存器、激活缓存器和输出缓存器，其中：
4.根据权利要求2所述的图像分类硬件
5.根据权利要求4所述的图像分类硬件加速器，其特征在于，所述卷积阵列包括第一图片处理单元、第二图片处理单元和第三图片处理单元，所述第一图片处理单元、所述第二图片处理单元和所述第三图片处理单元均包括若干乘法器单元，所述第一图片处理单元、所述第二图片处理单元和所述第三图片处理单元通过并行方式连接。
6.一种轻量型图像分类硬件加速器的加速方法，其特征在于，所述方法包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述训练后的卷积核权值和所述特征图像数据进行图像分类计算处理，包括：
8.根据权利要求6所述的方法，其特征在于，所述引入加速器，对所述图像分类计算处理进行加速，得到最终的特征图像数据分类计算结果，包括：
9.根据权利要求8所述的方法，其特征在于，所述对所述累加后的乘法计算结果进行最大池化处理，得到最大池化后的乘法计算结果，包括：
10.根据权利要求8所述的方法，其特征在于，所述对所述映射后的乘法计算结果进行通道混洗处理，得到最终的特征图像数据分类计算结果，包括：
...【技术特征摘要】
1.一种轻量型图像分类硬件加速器，其特征在于，所述图像分类硬件加速器包括sd卡、中央处理器、双数据速率存储器和硬件加速器，所述sd卡的输出端与所述中央处理器的输入端连接，所述中央处理器的输出端与所述双数据速率存储器的第一输入端连接，所述双数据速率存储器的输出端与所述硬件加速器的输入端连接，所述硬件加速器的输出端与所述双数据速率存储器的第二输入端连接，其中：
2.根据权利要求1所述的图像分类硬件加速器，其特征在于，所述硬件加速器包括控制模块、存储模块、缓存模块和计算模块，所述控制模块的第一输出端与所述缓存模块的第一输入端连接，所述控制模块的第二输出端与所述计算模块的第一输入端连接，所述缓存模块的第一输出端与所述计算模块的第二输入端连接，所述计算模块的输出端与所述缓存模块的第二输入端连接，所述缓存模块的第二输出端与所述存储模块的输入端连接，所述存储模块的输出端与所述缓存模块的第三输入端连接，其中：
3.根据权利要求2所述的图像分类硬件加速器，其特征在于，所述缓存模块包括权值缓存器、激活缓存器和输出缓存器，其中：
4.根据权利要求2所述的图像分类硬件加速器，其特征在于，所述计算模块包括卷积阵列、加法树模块、池化模块、激活模块和通道混洗模块，所述卷积阵列的输出端与所述加法树模块的输...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。