用于激光雷达的目标检测方法和装置制造方法及图纸

本发明专利技术提供了一种用于激光雷达的目标检测方法和装置。其中，该方法包括设定卷积核锚点，构建空间位置索引矩阵与稀疏特征图，然后采用与卷积核尺寸相同的滑动窗口在稀疏特征图中提取活跃点，并根据提取活跃点的结果计算活跃点卷积，接着进行目标检测并输出结果。本发明专利技术所提供的技术方案不仅提出了能够用于任意卷积核大小的卷积核锚点，还对现有的子流形稀疏卷积进行了改进，从而不仅能够高效利用已有硬件单元进行计算并实现基于子流形稀疏卷积的网络的端侧部署，还减少了CPU设备的交互通信并能够直接在推理设备中完成全网络的推理，从而既提高了推理速度和吞吐率，也降低了推理硬件电路设计的复杂度。推理硬件电路设计的复杂度。推理硬件电路设计的复杂度。

【技术实现步骤摘要】
用于激光雷达的目标检测方法和装置


[0001]本专利技术涉及目标检测
，尤其涉及一种用于激光雷达的目标检测方法和装置。

技术介绍

[0002]激光雷达是一种主动式精确物体位置获取装置，其广泛应用于自动驾驶、高级辅助驾驶、机器人、工业质检、安防等领域。激光雷达主要用于目标检测、跟踪、分割、识别、分类等任务。为实现以上任务，各类相关的算法被提出。这些算法可以分为传统算法和基于机器学习的算法。相较于基于机器学习的激光雷达算法，传统算法具有简单、高效的特点，但也存在精度不足、误检漏检高、通用性鲁棒性较弱等问题。而基于机器学习的激光雷达算法则大大提高了传统算法的精度和识别准确率，也提升了通用性和鲁棒性，但其具有相对较大的计算需求，对部署硬件的要求更高，这也给算法的实用性带来了挑战。
[0003]与二维图像数据对真实世界投影得到致密的矩阵数据形式不同，激光雷达通过接收激光器发射的激光照射到物体形成的反射，计算出激光器距离物体的位置信息，并记录接收激光的反射强度。每个接收到的激光反射的点会产生一行由三维位置信息和反射系数为主的测量记录。多个激光器在同一时刻发送接收多束激光反射，并以机械旋转或电子扫描的方式变换激光发送接收扫描位置，完成对某一指定空间的扫描，形成一帧的数据。这些数据可表示为一个二维矩阵，矩阵的行表示该扫描空间返回的所有测量，矩阵的列表示三维位置信息和反射系数等。矩阵的列一般保持固定，而矩阵的行随着接收的返回激光点数量不一样而变化。
[0004]卷积神经网络是一种基于卷积操作的神经网络算法，其在各类图像、视频的分类、检测、跟踪、分割等任务中具有良好的效果，并取得了广泛的应用。为了将卷积神经网络引入三维激光雷达数据处理，需要对激光雷达数据进行结构化，然后才能利用卷积网络来提升各类任务的性能。通过对扫描空间进行二维或多维的格栅化划分，可将激光雷达数据投影到二维或多维网格中，从而形成结构化数据。针对投影到同一网格的数据，可进行一系列预处理，如截断、取均值等方式，进一步提取出特征化数据。这些规整的网格化特征数据，可以直接输入二维或多维卷积神经网络处理。
[0005]然而，由于空间的遮挡、反射衰减等因素，激光雷达采集的数据投影至网格时无法填满所有网格，这就导致存在大量空的网格，即产生了大量为空的数据，因而有效数据的占比会相对较小。此时，激光雷达数据呈现出稀疏性的特点，若使用传统的卷积计算进行操作，则会导致大量算力浪费在空数据（通常填零处理）上。
[0006]针对上述激光雷达数据具有稀疏性的特点，稀疏卷积网络和子流形稀疏卷积网络被提出。其中，稀疏卷积网络只计算有效数据的卷积并据此提高了计算效率，但其存在稀疏特征有效区域膨胀（dilation）的问题，这导致特征数据的稀疏性随着层数的增加而逐渐降低，也使得计算效率大大降低。针对稀疏卷积网络存在的膨胀问题，子流形卷积网络提出仅在卷积核中心存在有效数据的点进行卷积计算，从而不但保持了特征数据的稀疏性、维持
了高效的计算效率，同时也保持了目标任务上的精度。子流形稀疏卷积组成的神经网络常应用于各类端侧设备上，如无人车、具有辅助驾驶功能的汽车、车路协同路口设备、机器人等，这些设备通常仅支持算力、功耗有限的计算设备。基于领域专用架构（Domain Specific Architecture，DSA）的推理设备能够支持各类端侧任务，以较低功耗支持低延迟、高算力。
[0007]然而，现有技术的子流形稀疏卷积应用于激光雷达数据时还存在一些问题：首先，现有技术的子流形稀疏卷积一般在1
×
1或3
×
3卷积核上以卷积核中心位置作为标的定义活跃点，并据此计算卷积。对于一般形状的卷积核并没有考虑，因此难以应用于一般形状的卷积核计算；其次，现有技术的子流形稀疏卷积网络中，通常需要通过构建哈希表及规则手册等方式来对数据实现映射以及索引，并拷贝整合稀疏数据来计算卷积，这一过程通常较慢，且一般需使用中央处理器生成，还需要与推理设备频繁通信，这就导致了整体速度较慢、效率低下；再次，现有技术的子流形稀疏卷积使用了特殊的数据表示方法，相比于图像可用单一张量的形式，激光雷达数据需要采用数据张量、位置索引以及额外的元数据（如栅格大小、测量范围等）构建的特殊数据结构体来共同表示一帧数据。这些数据也会造成算法部署的困难。如常见的图形处理器部署工具TensorRT并不具备支持以上特殊数据结构体的能力，也不支持基于此数据体的稀疏卷积的操作，这就导致部署效率大大降低。并且，由于无法在实际设备中高效部署，子流形卷积算法的优点也无法得到实际应用；最后，除了图形处理器，端侧部署常见的领域专用架构设备中，通常具有高效的卷积引擎、矩阵乘加单元以及协处理器，主要针对致密的图像数据进行加速计算，因此现有技术中的子流形稀疏卷积在领域专用架构等专用推理计算设备中，实现难度大、效率偏低，无法有效地利用现有计算资源来执行。

技术实现思路

[0008]鉴于此，本专利技术提供了一种用于激光雷达的目标检测方法及装置，以用于解决现有技术中的上述技术问题。
[0009]根据本专利技术的一个方面，提供了一种用于激光雷达的目标检测方法，其中，该目标检测方法包括以下步骤：S1：将激光雷达反射的点云数据作为目标检测的输入数据，每行输入数据包括一个空间目标激光反射点的空间位置信息；S2：判断输入数据的数据稀疏性，若数据稀疏性小于预设稀疏性阈值则执行S3，否则执行S4至S7；S3：采用稠密卷积网络计算输入数据的卷积，然后将卷积的结果作为目标检测特征数据并执行S8；S4：设定卷积核中的任一位置点为卷积核锚点；S5：根据输入数据构建稀疏特征图，稀疏特征图中的每个点表示一行输入数据；S6：采用与卷积核尺寸相同的滑动窗口在稀疏特征图中获取活跃点，其中活跃点的获取方式为：
滑动窗口在稀疏特征图上滑动的过程中，当稀疏特征图上的非零点与卷积核锚点相重合时，则将非零点记为活跃点；S7：根据获取活跃点的结果计算活跃点卷积作为目标检测特征数据；S8：根据目标检测特征数据获得激光雷达目标检测结果。
[0010]根据本专利技术的另一个方面，提供了一种用于激光雷达的目标检测装置，其中，该目标检测装置包括以下模块：数据获取模块，被配置为将激光雷达反射的点云数据作为目标检测的输入数据，每行输入数据包括一个空间目标激光反射点的空间位置信息；稀疏性判断模块，被配置为判断输入数据的数据稀疏性，若数据稀疏性小于预设稀疏性阈值则执行第一卷积计算模块，否则执行锚点设定模块至检测模块；第一卷积计算模块，被配置为采用稠密卷积网络计算输入数据的卷积，然后将卷积的结果作为目标检测特征数据并执行检测模块；锚点设定模块，被配置为设定卷积核中的任一位置点为卷积核锚点；特征构建模块，被配置为根据输入数据构建稀疏特征图，稀疏特征图中的每个点表示一行输入数据；活跃点提取模块，被配置为采用与卷积核尺寸相同的滑动窗口在稀疏特征图中获取活跃点，其中活跃点的获取方式为：滑动窗口在稀疏特征图上滑动的过程中，当稀疏特征图上的非零点与卷积核锚点相重合时，则将非零点记为活跃点；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于激光雷达的目标检测方法，其特征在于，所述目标检测方法包括以下步骤：S1：将激光雷达反射的点云数据作为目标检测的输入数据，每行输入数据包括一个空间目标激光反射点的空间位置信息；S2：判断所述输入数据的数据稀疏性，若所述数据稀疏性小于预设稀疏性阈值则执行S3，否则执行S4至S7；S3：采用稠密卷积网络计算所述输入数据的卷积，然后将卷积的结果作为目标检测特征数据并执行S8；S4：设定卷积核中的任一位置点为卷积核锚点；S5：根据所述输入数据构建稀疏特征图，所述稀疏特征图中的每个点表示一行输入数据；S6：采用与所述卷积核尺寸相同的滑动窗口在所述稀疏特征图中获取活跃点，其中所述活跃点的获取方式为：所述滑动窗口在所述稀疏特征图上滑动的过程中，当所述稀疏特征图上的非零点与所述卷积核锚点相重合时，则将所述非零点记为活跃点；S7：根据获取活跃点的结果计算活跃点卷积作为目标检测特征数据；S8：根据所述目标检测特征数据获得激光雷达目标检测结果。2.根据权利要求1所述的目标检测方法，其特征在于，所述输入数据为稀疏数据或稀疏特征。3.根据权利要求1所述的目标检测方法，其特征在于，所述输入数据以空间位置索引矩阵标识，所述空间位置索引矩阵包括与所述输入数据中的每行输入数据分别相对应的索引号。4.根据权利要求1所述的目标检测方法，其特征在于，所述空间位置信息包括所述输入数据在x轴、y轴以及z轴三维上分别对应的坐标值。5.根据权利要求4所述的目标检测方法，其特征在于，所述稀疏特征图构建为二维坐标系形式。6.根据权利要求5所述的目标检测方法，其特征在于，所述稀疏特征图的构建方式为：根据所述输入数据的空间位置信息，对于每行非零输入数据，在其与所述稀疏特征图相对应的坐标位置上放置所述非零输入数据的索引号，对于每行零点输入数据，则放置与非零输入数据的索引号不冲突的数值。7.根据权利要求6所述的目标检测方法，其特征在于，所述与非零输入数据的索引号不冲突的数值包括任意负值或大于输入数据总个数的正值。8.根据权利要求1所述的目标检测方法，其特征在于，所述S7中计算活跃点卷积的方法包括基于稠密卷积硬件引擎的子流形卷积计算，所述基于稠密卷积硬件引擎的子流形卷积计算包括提取所述活跃点对应的滑动窗口内的特征数据，并将特征数据排列成新的特征图，然后再执行卷积。9.根据权利要求1所述的目标检测方法，其特征在于，所述S7中计算活跃点卷积的方法
包括基于矩阵乘加的子流...

【专利技术属性】
技术研发人员：吴青松，王颖辉，李敏丽，张磊，
申请(专利权)人：瀚博半导体上海有限公司，
类型：发明
国别省市：