一种基于ZYNQ的压缩YOLOv4-Tiny网络加速器制造技术

本发明专利技术公开了一种基于ZYNQ的压缩YOLOv4‑Tiny网络加速器，涉及目标检测卷积神经网络的硬件加速领域，加速器包括PS端与PL端，以及负责两者之间通信的AXI总线。PS端包含参数配置及运行控制模块，拼接层(Concat层)计算模块，DDR、SD卡数据交互模块；PL端包含卷积激活模块，采样计算模块，卷积、采样输入输出缓存模块。卷积激活模块主要实现卷积运算与激活函数计算，采用BN层融合、卷积并行、激活函数优化、定点量化等手段来提高计算效率；采样计算模块采用流水线结构，提高采样计算速度；卷积、采样输入输出缓存模块用于存储卷积、采样的输入特征图数据、权重数据、输出特征图数据。另外，本发明专利技术能够进一步减小模型的前向推理时间。

【技术实现步骤摘要】

本专利技术涉及目标检测卷积神经网络的硬件加速领域，特别是一种基于zynq的压缩yolov4-tiny网络加速器。

技术介绍

1、在目标检测领域中，随着人工智能技术的不断发展，以卷积神经网络(convolutional neural networks，cnn)为基础的目标检测算法可以解决图像分割、目标跟踪、场景理解等视觉任务，成为了当前目标检测领域研究的主流。yolo系列是cnn中进行目标检测的代表算法，其中，yolov4-tiny网络结合了之前版本yolo网络的优点，又在它们的基础上做了大量的简化，在检测精度与速度上都有着较好的性能。然而，yolov4-tiny网络仍然具有一定规模的参数量和计算量，这阻碍了其在资源受限的嵌入式平台上进行部署。

2、zynq为xilinx公司发布的一款将fpga(pl端)与arm(ps端)结合在一起的嵌入式平台，其中，arm处理器具有低功耗、低成本的优点，且在数据处理和信号控制上具有明显的优势，适用于yolov4-tiny中数据的传输和信号控制；fpga部分作为可编程硬件芯片，具有可编程性、高并行性与低功耗的优点本文档来自技高网...

【技术保护点】

1.一种基于ZYNQ的压缩YOLOv4-Tiny网络加速器，其特征在于，包括处理系统PS端以及与其数据通信的可编程逻辑PL端，PL端包括卷积激活模块、采样计算模块、卷积输入输出缓存模块和采样输入输出缓存模块；其中，

2.根据权利要求1所述的一种基于ZYNQ的压缩YOLOv4-Tiny网络加速器，其特征在于，卷积激活模块的计算结果保存至卷积输入输出缓存模块中的输出特征图缓存单元；采样计算模块的计算结果保存至采样输入输出缓存模块中的输出特征图缓存单元；PS端与PL端通过AXI总线进行数据通信。

3.根据权利要求1所述的一种基于ZYNQ的压缩YOLOv4-Tiny网络加...

【技术特征摘要】

1.一种基于zynq的压缩yolov4-tiny网络加速器，其特征在于，包括处理系统ps端以及与其数据通信的可编程逻辑pl端，pl端包括卷积激活模块、采样计算模块、卷积输入输出缓存模块和采样输入输出缓存模块；其中，

2.根据权利要求1所述的一种基于zynq的压缩yolov4-tiny网络加速器，其特征在于，卷积激活模块的计算结果保存至卷积输入输出缓存模块中的输出特征图缓存单元；采样计算模块的计算结果保存至采样输入输出缓存模块中的输出特征图缓存单元；ps端与pl端通过axi总线进行数据通信。

3.根据权利要求1所述的一种基于zynq的压缩yolov4-tiny网络加速器，其特征在于，加速器是针对剪枝压缩后的yolov4-tiny网络模型的前向推理计算，在进行前向推理计算前，对yolov4-tiny模型预先进行压缩处理，采用剪枝的方法对yolov4-tiny模型进行压缩。

4.根据权利要求1所述的一种基于zynq的压缩yolov4-tiny网络加速器，其特征在于，卷积激活模块的卷积核尺寸、是否使用激活函数、卷积步长、输入通道数、输出通道数、输入特征图像素点个数和填充类型均为可配置参数，可配置参数用于适应于yolov4-tiny网络中不同卷积层的计算；

5.根据权利要求2所述的一种基于zynq的压缩yolov4-tiny网络加速器，其特征在于，将批归一化bn层进行预处理，采用bn层融合的方式将bn层与卷积层的计算进行合并；卷积激活模块包括多个卷积激活计算模块，每个卷积激活计算模块包括pe单元与激活模块，多个pe单元将卷积计算进行并行处理，对卷积输入输出缓存模块中的输入特征图缓存单元中的特征图与权重在输入输出两个维度进行展开，每个pe单元负责多个输入通道的并行计算，多个pe单元的计算结果写入卷积输入输出缓存模块中的输出特征图缓存单元；激活模块采用激活函数优化的方式减少乘...

【专利技术属性】
技术研发人员：葛芬，张毅，吴淑宁，于航，李嘉利，耿萌，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：