一种FPGA上基于通道剪裁模式的自动探索系统和方法技术方案

本发明专利技术公开了一种FPGA上基于通道剪裁模式的自动探索系统和方法。该系统部署在FPGA上确定SSD模型最佳剪裁比例；其包括敏感度分析模块、模型加载模块、FPGM剪裁器、自动化控制模块、mAP综合评估模块和性能评估模块；本发明专利技术提出了基于FPGM通道剪裁模式的自动探索方法，在达到要求的全类平均正确率mAP的基础上，通过比较各个卷积层剪枝不同比例结果，自动确定卷积层的最佳剪枝比例，以得到整体模型结构的最优压缩策略。本发明专利技术通过所提出的方法实现自动确定最优的剪裁比例和对应的头部特征提取层，进而在FPGA加速器上进行目标识别时，推理速度可以大大提升，同时权衡保证性能、功耗等评价指标较优。指标较优。指标较优。

【技术实现步骤摘要】
一种FPGA上基于通道剪裁模式的自动探索系统和方法


[0001] 本专利技术涉及FPGA
，具体的说，涉及一种FPGA上基于通道剪裁模式的自动探索系统和方法。

技术介绍

[0002]单步多框目标检测SSD（Single Shot MultiBox Detector）是Wei Liu在ECCV 2016上提出的一种目标检测算法，截至目前是主要的检测框架之一，相比Faster RCNN有明显的速度优势。
[0003]现当下的SSD目标识别模型一般是SSDhead（头部）+backbone（骨干网络）。SSD头部从骨干网络中的某些层提取特征，通过下采样得到不断缩小的feature map（特征图），再将这些feature map划分为nn格，n依赖于feature map的size，然后在每一格中从中心点出发，生成大小不一的anchor（一系列固定大小、宽高比的框，正方形和长方形），进而对anchor进行回归和分类得到检测框+类别+置信度。
[0004]由于机器学习领域的迅速发展，对于目标识别模型推理加速有着巨大的需求，而各类模型中若存在不规则的内存数据访问以及运算操作，部署于传统的CPU和GPU时，难以实现并行运算或不能获得高的效率和性能表现。FPGA（Field Programmable Gate Array现场可编程逻辑门阵列）因为其灵活的可编程性和并行性，成为当前研究前沿领域所青睐的部署平台。
[0005]为了使模型推理图片时可以达到更快的推理速度，需要对模型进行压缩操作，缩小模型的体积。剪枝操作即是深度学习模型中有很多冗余的卷积参数，把这些参数去掉可以大大减少参数量。剪枝完成之后在FPGA上进行目标识别时会大大加快模型目标识别的推理速度。
[0006]如图1所示是剪裁的原理：A、B、C均为feature map，A右边的W1是卷积层的参数，有多个卷积核，每个卷积核都对应一个输出通道，剪裁会把一些不重要的卷积核去掉，如虚线所示。相应的卷积之后得到的输出B的通道数会减少。B后面的卷积参数W的每个卷积核的通道数也会减少，卷积核的个数不变，最后输出的结果C的维度是和没有裁剪的时候是一样的。
[0007]在使用卷积神经网络模型进行图片识别或者推理时，一般希望模型识别越快越好，这就需要确定适合的模型剪枝率的以获得简洁的模型结构。但是我们利用人为经验以及自行尝试得到的模型结构以及模型剪裁率往往达不到最佳的模型压缩效果。
[0008]针对于模型压缩的问题在之前是通过对于模型进行剪枝得到的，通常是认为自行指定剪裁比例，且SSD头部从哪些层去提取特征也需要人为指定。
[0009]Zhu M在文献（Gupta S. To prune, or not to prune: exploring the efficacy of pruning for model compression[J]. arXiv: Machine Learning, 2017.）中确定了剪枝后的稀疏模型可以在保证模型精度基本不变的情况下，较好改善模型压缩效果。
[0010]Y He在文献（Y He，P Liu，Z Wang，Z Hu，Y Yang，Filter Pruning via Geometric Median for Deep Convolutional Neural Networks AccelerationIEEE2018， IEEE/CVF Conference on Computer Vision and Pattern Recognition）确定了FPGM（Filter Pruning via Geometric Median基于几何中位数剪裁）通道剪裁模式，剪掉冗余通道的方法。现有技术的弊端是无法实现自动化工作，需要人为实验对比不同剪枝比例下的模型的准确度是否达标以及对应的模型压缩效果。而人为地指定剪枝参数会陷入局部最优解，并且会消耗大量的时间。

技术实现思路

[0011]针对上述现有技术的不足，本专利技术的目的在于提出一种FPGA上基于通道剪裁模式的自动探索系统和方法；其通过确定每一个卷积层的最佳剪枝比例，以得到整体模型结构的最优压缩策略。本专利技术能实现自动确定最优的剪裁比例和对应的头部特征提取层（SSDhead），进而在FPGA加速器上进行目标识别时，推理速度可以大大提升，同时权衡保证性能、功耗等评价指标较优。
[0012]本专利技术自动探索模型最佳剪枝率时，在达到要求的mAP（mean Average Precision全类平均正确率）的基础上，通过比较各个卷积层剪枝不同比例结果，自动确定卷积层的最佳剪枝比例。本专利技术的技术方案具体介绍如下。
[0013]本专利技术提供一种FPGA上基于通道剪裁模式的自动探索系统，其部署在FPGA上确定SSD模型最佳剪裁比例；其包括敏感度分析模块、模型加载模块、FPGM剪裁器、自动化控制模块、mAP综合评估模块和性能评估模块；其中：模型加载模块，用于加载未剪裁的全精度预训练模型；FPGM剪裁器，用于对卷积层的卷积通道进行剪裁；自动化控制模块，用于控制各个模块的自动化运行；敏感度分析模块，用于对比例调整幅度x微调；mAP综合评估模块，用于评估剪裁后模型的mAP；FPGA
‑
EDA模块，用于测试微调剪裁后模型结构的功耗、延迟指标；性能评估模块，用于评估剪裁后模型功耗、延迟指标和最终综合评估结果。
[0014]本专利技术进一步提供一种FPGA上基于通道剪裁模式的自动探索方法，其通过上述自动探索系统部署在FPGA上确定SSD模型最佳剪裁比例；所述系统包括模型加载模块、FPGM剪裁器、mAP评估模块、敏感度分析模块、FPGA
‑
EDA模块和性能评估模块；包括以下步骤：1）在模型层数范围内确定SSD头部特征提取层以确定模型结构；2）模型加载模块加载未剪裁的全精度预训练模型；3）对需要进行剪裁的卷积层按一定剪裁比例p调用FPGM剪裁器依次对卷积通道进行剪裁；4）在完成一次剪裁训练后，使用测试数据集对剪裁后的模型进行评估，记录下该比例下剪裁后模型的mAP；5）敏感度分析模块针对于记录好的所有卷积层的剪裁比例以及对应评估得到的mAP，如果某一个剪裁率下该模型测试的mA下降，则取更小的剪裁比例作为该层的剪裁比
例，并根据下降急剧程度对剪裁比例p进行幅度微调，即p=p+x，x为调整幅度；6） 测试微调剪裁比例得到的模型结构的模型压缩效果，通过mAP评估函数综合进行评估，获得mAP评估结果；7）通过FPGA
‑
EDA模块仿真测试微调剪裁后模型结构的功耗、延迟指标，反馈回性能评估模块评估，得到性能评估结果；8）改变SSD头部特征提取层、改变模型结构重新进行试验，基于剪裁模型的mAP评估结果和性能评估结果获得最终综合评估结果：，其中权重参数需要用户根据需求指定；9）重复步骤2）
‑
8）直至获得最优最终综合评估结果。
[0015]本专利技术中，步骤3）中，剪裁比例在0.01
‑
0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种FPGA上基于通道剪裁模式的自动探索系统，其特征在于，其部署在FPGA上确定SSD模型最佳剪裁比例；其包括敏感度分析模块、模型加载模块、FPGM剪裁器、自动化控制模块、mAP综合评估模块和性能评估模块；模型加载模块，用于加载未剪裁的全精度预训练模型；FPGM剪裁器，用于对卷积层的卷积通道进行剪裁；自动化控制模块，用于控制各个模块的自动化运行；敏感度分析模块，用于对比例调整幅度x微调；mAP综合评估模块，用于评估剪裁后模型的mAP；FPGA
‑
EDA模块，用于测试微调剪裁后模型结构的功耗、延迟指标；性能评估模块，用于评估剪裁后模型功耗、延迟指标和最终综合评估结果。2.一种FPGA上基于通道剪裁模式的自动探索系统方法，其特征在于，其采用权利要求1所述的自动探索系统，系统部署在FPGA上确定SSD模型最佳剪裁比例；所述系统包括模型加载模块、FPGM剪裁器、mAP评估函数、敏感度分析模块、FPGA
‑
EDA模块和性能评估模块；包括以下步骤：1）在模型层数范围内确定SSD头部特征提取层以确定模型结构；2）模型加载模块加载未剪裁的全精度预训练模型；3）对需要进行剪裁的卷积层按一定剪裁比例p调用FPGM剪裁器依次对卷积通道进行剪裁；4）在完成一次剪裁训练后，使用测试数据集对剪裁后的模型进行评估，记录下该比例下剪裁后模型的mAP；5）敏感度分析模块针对于记录好的所有卷积层的剪裁比例以及对应评估得到的mAP，如果某一...

【专利技术属性】
技术研发人员：李国煜，张浩洋，王堃，
申请(专利权)人：复旦大学，
类型：发明
国别省市：