低延时的非极大值抑制高效数字电路制造技术

本发明专利技术公开了一种低延时的非极大值抑制高效数字电路，包括：多个并联的预处理模块，仲裁模块，预处理结果缓冲模块，多个串联的NMS单元。该电路是处理流程中不需要排序所有初始候选框，降低启动延时，并行化中间缓存框排序的排序过程与缓存框的抑制过程，使得实现该算法的硬件可无阻塞的接受新的输入候选框，进一步降低处理延时，进而降低目标识别神经网络的整体延时。本发明专利技术能够在保证算法精度几乎不变的条件下，减少非极大值抑制数字电路所需占用的资源和面积，显著降低非极大值抑制算法的处理延时。延时。延时。

【技术实现步骤摘要】
低延时的非极大值抑制高效数字电路


[0001]本专利技术属于目标识别
，具体而言，本专利技术涉及一种低延时的非极大值抑制高效数字电路。

技术介绍

[0002]目标识别神经网络被广泛地应用于机器人、自动驾驶等系统中。处理延时是评判这些系统优劣的一项关键指标。针对目标检测神经网络加速的研究，通常关注卷积神经网络部分的加速，而忽视了后处理部分的延时优化。
[0003]非极大值抑制(Non
‑
Maximum Suppression，NMS)是一类常见的后处理算法，其中，Greedy NMS是一种被广泛应用的NMS算法，因为其二次方的算法复杂度以及频繁且随机的内存访问，导致其成为目标识别神经网络的瓶颈，在通用计算图形处理器(General
‑
Purpose Graphics Processing Unit,GPGPU)中，Greedy NMS的延时在整个目标检测神经网络的执行延时中占比为22％到39％。
[0004]专利《基于FPGA的点云网络的非极大值抑制方法》、《一种基于非极大值抑制算法的FPGA加速方法》提出了基于FPGA的Greedy NMS数字电路。由于Greedy NMS需要对所有初始候选框排序，该加速方法每得到一个输出框后，仍需要对其余所有候选框进行置信度排序，仅能够通过增加运算资源降低单次排序延时，优化有限。
[0005]文章《AFast and Power
‑
Efficient Hardware Architecture for Non
‑
Maximum Suppression》提出了Greedy NMS的高效数字电路，然而其并未涉及核心算法层面的优化，其性能提升主要是通过交并比计算的简化以及引入比特映射表电路加速候选框的访存索引过程，NMS延时降低程度有限。
[0006]文章《PSRR
‑
MaxpoolNMS:Pyramid Shifted MaxpoolNMS with Relationship Recovery》提出了PSRR
‑
MaxpoolNMS，一种可高度并行化的NMS算法。在此基础上，文章《Scalable Hardware Acceleration of Non
‑
Maximum Suppression》提出了PSRR
‑
MaxpoolNMS电路实现方案，较大程度的降低了NMS处理延时，由于并行度的增大及PSRR
‑
MaxpoolNMS中存在冗余运算，导致电路所需要的面积开销大幅提升，使用该方案的成本较高。
[0007]专利《基于FPGA的低延时非极大值抑制方法与装置》提出了一种针对启动延时优化的NMS高效数字电路，该方法不需要对所有初始候选框预排序，但其在输入一个候选框后，需要对所有中间缓存框排序，在排序结束之前，硬件系统不能接受新的输入候选框，造成了阻塞，最终导致NMS延时降低程度有限。

技术实现思路

[0008]本专利技术针对上述现有的NMS数字电路延时高、面积开销大的问题，提出了一种低延时的非极大值抑制高效数字电路。该电路的处理流程中不需要排序所有初始候选框，降低启动延时，并行化中间缓存框排序的排序过程与缓存框的抑制过程，使得实现该算法的硬
件可无阻塞的接受新的输入候选框，进一步降低处理延时，进而降低目标识别神经网络的整体延时。
[0009]本专利技术的技术解决方案如下：
[0010]一种非极大值抑制高效数字电路，其特点在于，包括：多个并联的预处理模块，仲裁模块，预处理结果缓冲模块，多个串联的NMS单元；
[0011]预处理模块，充分利用目标识别神经网络产生的候选框在置信度上的稀疏性，以较高的并行度预筛候选框，排除大量置信度极低的候选框，降低后继硬件电路的工作负载，以降低整个系统的处理延时；
[0012]仲裁模块，负责解决多个预处理模块同时向一个预处理结果缓冲模块写入时的冲突问题，通过分析预处理模块内部的存储体使用率，允许存储体使用率较高的预处理模块优先将结果写入预处理结果缓冲模块；
[0013]预处理结果缓冲模块，负责解决预处理模块与后继硬件电路处理速度不匹配的问题，使用FIFO作为两者间的缓冲，极大降低系统发生阻塞的概率；
[0014]NMS单元，一个NMS单元负责产生一个最终的输出框。
[0015]所述的预处理模块，包括：比较器模块，FIFO模块；
[0016]比较器模块：比较当前候选框的置信度与置信度阈值间的大小关系，若候选框的置信度大于置信度阈值，则向FIFO模块发送写请求信号，将当前候选框信息写入FIFO模块，反之则将丢弃当前候选框的信息；
[0017]FIFO模块：接受读请求信号与写请求信号，发出FIFO空信号、FIFO满信号，用于缓存候选框信息。
[0018]所述的仲裁模块，负责控制预处理模块中FIFO的数据读出过程，接受FIFO发出的FIFO空信号与FIFO满信号，向FIFO模块发送读请求信号，当任一FIFO处于“非空”状态时，仲裁模块将按编号顺序向其发送读请求信号，当任一FIFO处于“满”状态时，将优先向其发送读请求信号。
[0019]所述的预处理结果缓冲模块，包括：多路选通器，FIFO模块；
[0020]多路选通器，根据仲裁模块向预处理模块中的FIFO发出的读请求信号，从多个预处理模块的数据输出通路中选择一路，将其接入到预处理结果缓冲模块的FIFO中；
[0021]FIFO模块，负责缓存经过预处理后的候选框信息，并将其输出到后继的NMS单元中。
[0022]所述的NMS单元包括：候选框存储模块，交并比计算模块，候选框存储更新控制模块；
[0023]候选框存储模块，负责缓存候选框信息，根据候选框存储更新控制模块发出的控制信号，进行数据的写入或读出；
[0024]交并比计算模块，接受前驱NMS模块发送的当前输入候选框数据，以及从候选框存储模块中读出的临时选择框数据，计算候选框存储模块传递的临时选择框与当前输入候选框的交并比，即两候选框交集面积与两候选框并集面积之比，并将结果传递至候选框存储更新控制模块；
[0025]候选框存储更新控制模块，接受前驱NMS模块发送的当前输入候选框数据、从候选框存储模块中读出的临时选择框数据、从候选框存储模块中读出的排序框数据，生成状态
信号，并根据交并比及状态信号，生成候选框存储模块的读写控制信号。
[0026]所述候选框存储模块，包括：I存储单元，S存储单元，C存储单元；
[0027]I存储单元，缓存一个输出给后继NMS单元的候选框信息，所缓存的候选框为后继NMS单元的输入候选框。其缓存的信息有，候选框的坐标、置信度，候选框已保存标志；
[0028]S存储单元，一个冗余的存储单元，能够缓存一个候选框的坐标、置信度。其作用在于辅助候选框存储更新控制模块，对多个NMS单元的C存储单元中的候选框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低延时的非极大值抑制高效数字电路，其特征在于，包括：多个并联的预处理模块，用于利用目标识别神经网络产生的候选框在置信度上的稀疏性，以较高的并行度预筛候选框；预处理结果缓冲模块，用于解决所述预处理模块与后继硬件电路处理速度不匹配的问题，降低发生阻塞概率；仲裁模块，通过分析所述预处理模块内部存储体使用率，允许存储体使用率高的预处理模块优先将结果写入所述预处理结果缓冲模块；多个串联的NMS单元，候选框数据将依次通过各个NMS单元进行处理，当处理完毕后，每个NMS单元将输出负责产生一个最终的输出框。2.根据权利要求1所述的非极大值抑制高效数字电路，其特征在于，所述的预处理模块，包括：比较器模块和FIFO模块；所述比较器模块，比较当前候选框的置信度与置信度阈值间的大小关系，若候选框的置信度大于置信度阈值，则向FIFO模块发送写请求信号，将当前候选框信息写入FIFO模块，反之则将丢弃当前候选框的信息；所述FIFO模块，接受读请求信号与写请求信号，发出FIFO空信号、FIFO满信号，用于缓存候选框信息。3.根据权利要求1所述的非极大值抑制高效数字电路，其特征在于，所述的仲裁模块，负责控制预处理模块中FIFO的数据读出过程，接受FIFO发出的FIFO空信号与FIFO满信号，向FIFO模块发送读请求信号，当任一FIFO处于“非空”状态时，仲裁模块将按编号顺序向FIFO模块发送读请求信号，当任一FIFO处于“满”状态时，将优先向FIFO模块发送读请求信号。4.根据权利要求1所述的非极大值抑制高效数字电路，其特征在于，所述的预处理结果缓冲模块，包括：多路选通器和FIFO模块；所述多路选通器，根据仲裁模块向预处理模块中的FIFO发出的读请求信号，从多个预处理模块的数据输出通路中选择一路，接入到预处理结果缓冲模块的FIFO模块中；所述FIFO模块，负责缓存经过预处理后的候选框信息，并将其输出到后继的NMS单元中。5.根据权利要求1所述的非极大值抑制高效数字电路，其特征在于，所述的NMS单元包括：候选框存储模块，交并比计算模块和候选框存储更新控制模块；所述候选框存储模块，负责缓存候选框信息，根据候选框存储更新控制模块发出的控制信号，进行数据的写入或读出，最终输出框的数据将被保存在候选框存储模块中；所述交并比计算模块，接受前驱NMS单元发送的当前输入候选框数据，以及从候选框存储模块中读出的临时选择框数据，计算候选框存储模块传递的临时选择框与当前输入候选框的交并比，即两候选框交集面积与两候选框并集面积之比，并将结果传递至候选框存储更新控制模块；所述候选框存储更新控制模块，接受前驱NMS单元发送的当前输入候选框数据、从候选框存储模块中读出的临时选择框数据、从候选框存储模块中读出的排序框数据，生成状态信号，并根据交并比及状态信号，生成候选框存储模块的读写控制信号，在该读写控制信号的控制下，输出框数据将被写入选框存储模块中。
6.根据权利要求5所述的非极大值抑制高效数字电路，其特征在于，所述候选框存储模块，包括：I存储单元，S存储单元，C存储单元；I存储单元，缓存一个输出给后继NMS单元的候选框信息，所缓存的候选框为后继NMS单元的输入候选框，缓存的信息包括候选框的坐标、置信度，候选框已保存标志；S存储单元，一个冗余的存储单元，能够缓存一个候选框的坐标、置信度。其作用在于辅助候选框存储更新控制模块，对多个NMS单元的C存储单元中的候选框，按照置信度进行排序；C存储单元，缓存一个输出框的坐标、置信度及单元有效标志位，当所有候选框经过全部NMS单元时，其中保存的为输出框的临时结果。7.根据权利要求5所述的非极大值抑制高效数字电路，其特征在于，所述状态信号包括：S存储单元有效信号，I存储单元输入框已保存信号，交并比大于阈值信号，置信度比较信号；S存储单元有效信号，当前驱NMS单元的S存储单元中，保存的候选框置信度大于1时，该信号为高电平，反之则为低电平；I存储单元输入框已保存信号，当前驱NMS单元I存储单元中，候选框已保存标志为高电平时，该信号为高电平，反之则为低电平；交并比大于阈值信号，当交并比计算模块输出的交并比大于交并比阈值时，该信号为高电平，反之则为低电平；置信度比较信号，在前驱NMS单元的I存储单元中保存的候选框置信度，大于当前NMS单元C存储单元中保存的候选框置信度时，该信号为高电平，反之则为低电平。8.根据权利要求5所述的非极大值抑制高效数字电路，其特征在于，所述的生成候选框存储模块的读写控制信号，包括：I单元读写控制信号，用于控制当前NMS单元的I存储单元的读写；S单元读写控制信号，用于控制当前NMS单元的S存储单元的读写；C单元读写控制信号，用于控制当前NMS单元的C存储单元的读写。9.根据权利要求8所述的非极大值抑制...

【专利技术属性】
技术研发人员：陈昱舟，张津铭，贺光辉，毛荀，夏俊丽，王桢，吕凯，
申请(专利权)人：国网安徽省电力有限公司，
类型：发明
国别省市：