一种基于FPGA的目标快速检测系统技术方案

本发明专利技术公开了一种基于FPGA的目标快速检测系统，涉及计算机视觉技术领域。该系统的SoC片上计算模块基于FPGA实现，包括处理器和深度学习协处理器；深度学习协处理器对待处理图像进行第一次检测，得到包含目标物体的局部图像，对局部图像进行第二次检测，得到检测结果。通过FPGA实现SoC片上计算模块功能，进行物体检测可以清楚地知道深度学习推理计算的时延并且该系统具有较高稳定性，SoC片上计算模块先进行目标物体的大致检测，再根据目标物体在全局视图的待处理图像中的信息对相应局部视图的局部图像进行采集及推理检测，使得每个神经网络模型所需的计算量、模型参数大大降低，提高了检测效率。提高了检测效率。提高了检测效率。

【技术实现步骤摘要】
一种基于FPGA的目标快速检测系统


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于FPGA的目标快速检测系统。

技术介绍

[0002]在传统的工业产品制造过程中，通常要求工作人员注意力长时间集中在被检测产品生产线上，处理效率较低，难以满足快速自动化的生产要求。为满足生产要求，视觉定位等机器视觉技术已被引入到工业生产中，视觉定位技术可为机械臂等自动化设备提供待处理物体的位置、种类等相关信息，从而实现对生产线产品的智能化、无人化处理。机器视觉技术可以实现物品的定位功能，但目前现有方案中其实现成本较高。在高速移动的流水线上，需要计算设备对采集到的图像进行实时处理。若对目标物体的检测时间过长或检测稳定性不高都将会导致无法对该物体进行有效处理，容易产生生产事故。

技术实现思路

[0003]本专利技术的目的就在于解决上述
技术介绍
的问题，而提出一种基于FPGA的目标快速检测系统。
[0004]本专利技术的目的可以通过以下技术方案实现：
[0005]本专利技术实施例提供了一种基于FPGA的目标快速检测系统，包括:SoC片上计算模块、图像采集模块和外部存储模块；所述SoC片上计算模块基于FPGA实现，包括处理器和深度学习协处理器；其中：
[0006]所述处理器，用于获取待处理图像，传输给所述深度学习协处理器，控制所述深度学习协处理器对所述待处理图像中的目标物体进行检测，并将检测结果和检测过程中产生的中间数据发送至外部存储模块存储；所述待处理图像包括所述图像采集模块采集的原始图像和所述中间数据；
[0007]所述深度学习协处理器，用于对所述待处理图像进行第一次检测，得到包含所述目标物体的局部图像，对所述局部图像进行第二次检测，得到所述检测结果，所述第一次检测和所述第二次检测产生所述中间数据。
[0008]可选地，所述深度学习协处理器为非阻塞式；所述深度学习协处理器内建于CPU中与所述处理器连接，或者，所述深度学习协处理器作为所述处理器的加速器通过总线与所述处理器连接。
[0009]可选地，所述深度学习协处理器包括指令处理单元、卷积神经网络模块、数据搬运单元、数据缓存单元和存储访问单元；
[0010]所述指令处理单元，用于通过指令通道接收所述处理器发送的控制指令，根据所述控制指令控制所述数据搬运单元、存储访问单元和卷积神经网络模块工作；
[0011]所述存储访问单元，用于通过存储访问通道接收所述待处理图像，向所述处理器发送所述检测结果和所述中间数据；
[0012]所述数据缓存单元，用于缓存所述待处理图像、所述检测结果和所述中间数据；
[0013]所述数据搬运单元，用于根据所述控制指令将所述待处理图像或者所述中间数据从所述数据缓存单元输入所述卷积神经网络模块，并将所述卷积神经网络模块的所述检测结果和所述中间数据缓存入所述数据缓存单元；
[0014]所述卷积神经网络模块，用于对所述待处理图像进行所述第一次检测和所述第二次检测得到所述检测结果和所述中间数据。
[0015]可选地，所述处理器以CPU工作频率运行；所述指令处理单元、所述存储访问单元以及与所述指令处理单元相关的各寄存器接口以CPU工作频率运行；所述数据搬运单元和所述卷积神经网络模块以加速器工作频率运行；所述数据缓存单元与所述存储访问单元的接口以CPU工作频率运行，所述数据缓存单元与所述数据搬运单元的接口以加速器工作频率运行。
[0016]可选地，卷积神经网络模块包括待计算数据缓存单元、模型参数单元、卷积神经网络加速器和结果数据缓存单元；
[0017]所述待计算数据缓存单元，用于缓存所述待处理图像和所述中间数据；
[0018]所述模型参数单元，用于保存训练好的卷积神经网络模型参数；所述卷积神经网络模型包括卷积计算单元、池化填充计算单元、特征相加计算单元、激活计算单元和全连接计算单元；
[0019]所述卷积神经网络加速器，用于根据所述卷积神经网络模型参数依次对所述卷积神经网络模型的各个计算单元进行加速计算，实现目标物体检测；
[0020]所述结果数据缓存单元，用于缓存所述中间数据和所述检测结果。
[0021]可选地，所述待计算数据缓存单元、所述模型参数单元、所述数据缓存单元和所述结果数据缓存单元为双端口BRAM，采用乒乓操作的方式；在所述卷积神经网络加速器执行计算操作的同时，所述待计算数据缓存单元、所述模型参数单元、所述数据缓存单元和所述结果数据缓存单元进行数据搬运。
[0022]可选地，所述控制指令包括卷积神经网络加速器配置指令；卷积神经网络加速器配置指令用于获取待计算数据起始地址信息、模型参数数据起始地址信息、输出结果数据起始地址信息、是否进行激活操作信息、是否进行填充操作信息、全连接层权重参数数量信息和计算模式信息中的至少一种信息；所述计算模式信息为卷积计算模式、池化填充计算模式、特征相加计算模式和全连接计算模式中的一种。
[0023]可选地，所述处理器，还用于根据计算需求向所述深度学习协处理器的数据搬运相关寄存器进行参数配置，提供数据搬运相关信息；所述数据搬运相关信息包括数据搬运源地址信息、数据搬运目的地址信息和数据搬运长度信息。
[0024]本专利技术实施例提供了一种基于FPGA的目标快速检测系统，包括:SoC片上计算模块、图像采集模块和外部存储模块；所述SoC片上计算模块基于FPGA实现，包括处理器和深度学习协处理器；其中：所述处理器，用于获取待处理图像，传输给所述深度学习协处理器，控制所述深度学习协处理器对所述待处理图像中的目标物体进行检测，并将检测结果和检测过程中产生的中间数据发送至外部存储模块存储；所述待处理图像包括所述图像采集模块采集的原始图像和所述中间数据；所述深度学习协处理器，用于对所述待处理图像进行第一次检测，得到包含所述目标物体的局部图像，对所述局部图像进行第二次检测，得到所述检测结果，所述第一次检测和所述第二次检测产生所述中间数据。
[0025]通过FPGA实现SoC片上计算模块功能，进行物体检测可以清楚地知道深度学习推理计算的时延并且该系统具有较高稳定性，SoC片上计算模块先将全局视图的所述待处理图像缩放至较小尺寸，进行所述目标物体的大致检测，再根据所述目标物体在全局视图的所述待处理图像中的信息对相应局部视图的局部图像进行采集及推理检测，使得每个神经网络模型所需的计算量、模型参数大大降低，提高了检测效率。
附图说明
[0026]下面结合附图对本专利技术作进一步的说明。
[0027]图1为本专利技术实施例提供的一种基于FPGA的目标快速检测系统的框图；
[0028]图2为本专利技术实施例提供的深度学习协处理器的框图。
具体实施方式
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA的目标快速检测系统，其特征在于，包括:SoC片上计算模块、图像采集模块和外部存储模块；所述SoC片上计算模块基于FPGA实现，包括处理器和深度学习协处理器；其中：所述处理器，用于获取待处理图像，传输给所述深度学习协处理器，控制所述深度学习协处理器对所述待处理图像中的目标物体进行检测，并将检测结果和检测过程中产生的中间数据发送至外部存储模块存储；所述待处理图像包括所述图像采集模块采集的原始图像和所述中间数据；所述深度学习协处理器，用于对所述原始图像进行第一次检测，得到包含所述目标物体的局部图像，对所述局部图像进行第二次检测，得到所述检测结果，所述第一次检测和所述第二次检测产生所述中间数据。2.根据权利要求1所述的一种基于FPGA的目标快速检测系统，其特征在于，所述深度学习协处理器为非阻塞式；所述深度学习协处理器内建于CPU中与所述处理器连接，或者，所述深度学习协处理器作为所述处理器的加速器通过总线与所述处理器连接。3.根据权利要求2所述的一种基于FPGA的目标快速检测系统，其特征在于，所述深度学习协处理器包括指令处理单元、卷积神经网络模块、数据搬运单元、数据缓存单元和存储访问单元；所述指令处理单元，用于通过指令通道接收所述处理器发送的控制指令，根据所述控制指令控制所述数据搬运单元、存储访问单元和卷积神经网络模块工作；所述存储访问单元，用于通过存储访问通道接收所述待处理图像，向所述处理器发送所述检测结果和所述中间数据；所述数据缓存单元，用于缓存所述待处理图像、所述检测结果和所述中间数据；所述数据搬运单元，用于根据所述控制指令将所述待处理图像或者所述中间数据从所述数据缓存单元输入所述卷积神经网络模块，并将所述卷积神经网络模块的所述检测结果和所述中间数据缓存入所述数据缓存单元；所述卷积神经网络模块，用于对所述待处理图像进行所述第一次检测和所述第二次检测得到所述检测结果和所述中间数据。4.根据权利要求3所述的一种基于FPGA的目标快速检测系统，其特征在于，所述处理器以CPU工作频率运行；所述指令处理单元、所述存储访问单元以及与所述指令处理单元相关的各寄存器接口以CPU...

【专利技术属性】
技术研发人员：杨清海，尹泽芃，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：