一种基于FPGA的点云网络的目标检测处理系统和方法技术方案

本发明专利技术涉及到点云网络技术领域，尤其涉及到一种基于FPGA的点云网络的目标检测处理系统和方法，该系统包括筛选模块和匹配模块；筛选模块包括有三级比较器、阈值比较器、第一标记计数器、寄存器和FIFO输出端口；匹配模块包括第二标记计数器、标记匹配模块；通过本发明专利技术技术方案系统和处理方法可以大幅提高处理速度降低网络的整体时延，可以实现在较少资源的使用的同时达到了很高的计算效率。

【技术实现步骤摘要】
一种基于FPGA的点云网络的目标检测处理系统和方法
本专利技术涉及到点云网络
，尤其涉及到一种基于FPGA的点云网络的目标检测处理系统和方法。
技术介绍
点云是在三维空间中点集的定义，点云已经成为三维表示中最重要的数据格式之一。由于激光雷达等采集设备的可用性不断提高，以及在机器人、自主驾驶、增强和虚拟现实等领域的应用越来越多，它越来越受欢迎，尤其是今年来车路协同和新基建逐渐成为热门，激光雷达的解决方案能避免很多传统图片处理的很多痛点。以车路协同为例，安全性不仅仅需要传统驾驶领域中物理层面的保障更需要算法层面的保障，传感器对周围环境的感知的正确与否是车路协同的关键，实际使用环境中周围的环境往往是十分多变的。目前用的最多的传感器就是摄像头，但是摄像头经常会出现过曝和欠曝的情况非常不稳定，因此车路协同普遍使用多传感器，除了摄像头外常用的还有GPS，激光雷达等等，其中激光雷达作为车路协同的重要传感器之一。FPGA(FieldProgrammableGateArray)即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物，它是作为专用集成电路(ASIC)领域中的一种半定制电路出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点；其并行计算的特点非常适合用来实现卷积神经网络，在深度学习领域越来越多的人选择了FPGA。深度学习现在是计算机视觉中最强大的数据处理工具，成为分类、分割和检测等任务的首选技术。深度学习技术主要应用于具有结构化网格的数据，而点云则是非结构化的，点云的非结构性使得利用深度学习直接对其进行处理非常具有挑战性。早期的方法通过将点云预处理为结构化网格格式来克服这一挑战，代价是增加计算成本或丢失深度信息，但是最近许多最先进的方法可直接在点云上操作的深度学习技术不断出现，两者由于数据特点的不同很多方面的处理都跟传统意义上的图像不一样。以目标检测(Detection)为例，传统目标检测算法的框都是正框，框的边平行于坐标轴，两框交集均为矩形，计算交并比的时候只需计算出交集的长和宽就可以计算交集的面积。但是对于点云算法框均为带旋转角度的斜框，框的边不一定会平行与坐标轴，两框交集为多边形，交集面积非常不好计算，这就导致点云网络的Detection比传统目标检测算法的Detection复杂且效率低，所以利用FPGA并行计算的特点，如果能在卷积运算的同时将目标检测的部分操作提前处理掉，就可以很大程度上降低整体网络的时延。
技术实现思路
鉴于上述技术问题，本专利技术提供了一种基于FPGA的点云网络的目标检测处理系统和方法，可以大幅提高处理速度降低网络的整体时延，可以实现在较少资源的使用的同时达到了很高的计算效率。一种基于FPGA的点云网络的目标检测处理系统，其特征在于，所述系统包括筛选模块和匹配模块；所述筛选模块包括有三级比较器、阈值比较器、第一标记计数器、寄存器和FIFO输出端口，所述三级比较器用于进行若干框的置信度的筛选，并得出最大的置信度和该置信度对应的分类标记；所述阈值比较器用于对所述最大的置信度和该置信度对应的分类标记进行置信度的阈值比较，比较后将有效的置信度和该置信度对应的分类标记通过FIFO输出端口输出；其中，所述第一数据标记计数器通过所述寄存器对所述有效的置信度和该置信度对应的分类标记进行数据标记，之后通过所述FIFO输出端口输出；所述匹配模块包括第二标记计数器、标记匹配模块；所述第二标记计数器启动并通过标记匹配模块中存储的标记与FIFO输出端口输出的置信度、分类标记、数据标记进行匹配，匹配相同则输出至下另一FIFO输出端口。优选的，上述的基于FPGA的点云网络的目标检测处理系统，其特征在于，所述三级比较器包括有第一级比较器、第二级比较器和第三级比较器，均用于进行若干框的置信度的筛选。优选的，上述的基于FPGA的点云网络的目标检测处理系统，其特征在于，所述系统包括有八个框的置信度，由低到高分别为零到七共八个框的置信度。优选的，上述的基于FPGA的点云网络的目标检测处理系统，其特征在于，所述第一级比较器包括有四个比较器，八个框的置信度进入四个比较器中进行第一级筛选，得出该筛选过程中四组最大的置信度和该置信度对应的分类标记；所述第二级比较器包括有两个比较器，用于对四组最大的置信度和该置信度对应的分类标记进行二次筛选，并得出该筛选过程中两组最大的置信度和该置信度对应的分类标记；所述第三级比较器包括有一个比较器，用于对两组最大的置信度和该置信度对应的分类标记进行三次筛选，得出最终的最大的置信度和该置信度对应的分类标记。优选的，上述的基于FPGA的点云网络的目标检测处理系统的处理方法，其特征在于，所述方法包括：步骤S1：将八个框的置信度进入第一级比较器进行第一级筛选，之后进入第二级比较器进行二次筛选，再次进入第三级比较器进行三次筛选，得出最大的置信度和该置信度对应的分类标记；步骤S2：最大的置信度和该置信度对应的分类标记进入到阈值比较器中，通过阈值比较器对所述最大的置信度和该置信度对应的分类标记进行置信度的阈值比较，得出有效的置信度和该置信度对应的分类标记；步骤S3：第一数据标记计数器通过所述寄存器对所述有效的置信度和该置信度对应的分类标记进行数据标记，之后通过所述FIFO输出端口输出；步骤S4：第二标记计数器启动并通过标记匹配模块中存储的标记与FIFO输出端口输出的置信度、分类标记、数据标记进行匹配，匹配相同则输出至下另一FIFO输出端口。上述技术方案具有如下优点或有益效果：本专利技术提供了一种基于FPGA的点云网络的目标检测处理系统和方法，本专利技术技术方案可以大幅提高处理速度降低网络的整体时延，可以实现在较少资源的使用的同时达到了很高的计算效率。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术及其特征、外形和优点将会变得更加明显。在全部附图中相同的标记指示相同的部分。并未可以按照比例绘制附图，重点在于示出本专利技术的主旨。图1是三分类点云网络RPN输出三层结构图；图2是筛选模块示意图；图3是匹配模块示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，点云网络的输出有三层分别是Conv_box计算回归框的真实信息，Conv_cls计算各个对象的置信度，Conv_dir比较方向信息，基于FPGA的计算方式,每层是单独计算并写回DDR的，但是目标检测的计算是需要置信度信息和回归框的真实信息来进行计算的,这三层的计算是有先后顺序的，例如Conv_box计算的时候，该对象的cls和dir层的信息还没有，需要通过跳地址的方式预留后面信息的空间。那么本文档来自技高网...

【技术保护点】
1.一种基于FPGA的点云网络的目标检测处理系统，其特征在于，所述系统包括筛选模块和匹配模块；/n所述筛选模块包括有三级比较器、阈值比较器、第一标记计数器、寄存器和FIFO输出端口，所述三级比较器用于进行若干框的置信度的筛选，并得出最大的置信度和该置信度对应的分类标记；所述阈值比较器用于对所述最大的置信度和该置信度对应的分类标记进行置信度的阈值比较，比较后将有效的置信度和该置信度对应的分类标记通过FIFO输出端口输出；/n其中，所述第一数据标记计数器通过所述寄存器对所述有效的置信度和该置信度对应的分类标记进行数据标记，之后通过所述FIFO输出端口输出；/n所述匹配模块包括第二标记计数器、标记匹配模块；所述第二标记计数器启动并通过标记匹配模块中存储的标记与FIFO输出端口输出的置信度、分类标记、数据标记进行匹配，匹配相同则输出至下另一FIFO输出端口。/n

【技术特征摘要】
1.一种基于FPGA的点云网络的目标检测处理系统，其特征在于，所述系统包括筛选模块和匹配模块；
所述筛选模块包括有三级比较器、阈值比较器、第一标记计数器、寄存器和FIFO输出端口，所述三级比较器用于进行若干框的置信度的筛选，并得出最大的置信度和该置信度对应的分类标记；所述阈值比较器用于对所述最大的置信度和该置信度对应的分类标记进行置信度的阈值比较，比较后将有效的置信度和该置信度对应的分类标记通过FIFO输出端口输出；
其中，所述第一数据标记计数器通过所述寄存器对所述有效的置信度和该置信度对应的分类标记进行数据标记，之后通过所述FIFO输出端口输出；
所述匹配模块包括第二标记计数器、标记匹配模块；所述第二标记计数器启动并通过标记匹配模块中存储的标记与FIFO输出端口输出的置信度、分类标记、数据标记进行匹配，匹配相同则输出至下另一FIFO输出端口。


2.根据权利要求1所述的基于FPGA的点云网络的目标检测处理系统，其特征在于，所述三级比较器包括有第一级比较器、第二级比较器和第三级比较器，均用于进行若干框的置信度的筛选。


3.根据权利要求2所述的基于FPGA的点云网络的目标检测处理系统，其特征在于，所述系统包括有八个框的置信度，由低到高分别为零到七共八个框的置信度。


4.根据权利要求3所述的基于FPGA的点云网络的目标检测处理系统，其特征在于，所...

【专利技术属性】
技术研发人员：张震，
申请(专利权)人：上海雪湖科技有限公司，
类型：发明
国别省市：上海;31