点云多视角特征融合方法及装置制造方法及图纸

本申请实施例涉及点云处理技术领域，提供了一种点云多视角特征融合方法及装置，点云多视角特征融合方法包括：根据待融合点云的垂直视场范围和水平视场范围，构建待融合点云的三维极坐标空间，并将三维极坐标空间划分为三维极坐标栅格；将待融合点云中的每个点分别映射到三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；将前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出前视图栅格和俯视图栅格的提取特征，对前视图栅格和俯视图栅格的提取特征进行融合，获取融合结果。本申请实施例提升了点云多视角特征融合效果。

【技术实现步骤摘要】
点云多视角特征融合方法及装置
本申请涉及点云处理
，尤其涉及一种点云多视角特征融合方法及装置。
技术介绍
以点云作为输入的三维目标检测方法，一般使用图像方面成熟的卷积神经网络提取点云的特征。因此需要克服点云无序性特点和卷积神经网络需要规则尺寸输入的难点。构造点云栅格特征作为卷积神经网络的输入是主流的特征构造方法。而所构造的栅格特征很稀疏，因此通常办法是使用多帧叠加或者多视角特征融合来增加特征信息。MVLidarNet(Multi-ViewLidarNet，多视角激光雷达)算法将点云分别使用前视图和俯视图栅格特征映射，其中前视图特征使用语义分割网络提取语义信息，然后投影到俯视图栅格，结合俯视图栅格特征进行目标检测。该算法是一种非端到端网络，需要分成两阶段训练。主体目标检测部分以俯视图栅格特征为主，虽然结合了前视图的语义特征，但是由于点云近密远疏的特性，俯视图栅格特征仍然很稀疏。MVF(Multi-ViewFusion，多视图融合)算法是一种点云多视角目标检测算法，使用端到端训练的方法，在提取前视图栅格和俯视图栅格特征后，使用本文档来自技高网...

【技术保护点】
1.一种点云多视角特征融合方法，其特征在于，包括：/n根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；/n将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；/n将所述前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果。/n

【技术特征摘要】
1.一种点云多视角特征融合方法，其特征在于，包括：
根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；
将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图栅格和俯视图栅格中，并对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征；
将所述前视图栅格和俯视图栅格的统计特征分别作为神经网络的输入，输出所述前视图栅格和俯视图栅格的提取特征，对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果。


2.根据权利要求1所述的点云多视角特征融合方法，其特征在于，所述根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，包括：
根据所述待融合点云的垂直视场范围和水平视场范围，获取所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽；
根据所述前视图栅格的长和宽，以及所述俯视图栅格的长和宽，构建所述待融合点云的三维极坐标空间。


3.根据权利要求1所述的点云多视角特征融合方法，其特征在于，所述前视图栅格为二维矩形栅格；
所述俯视图栅格为二维极坐标栅格；
所述前视图栅格的长度与所述俯视图栅格的长度相等。


4.根据权利要求1-3任一所述的点云多视角特征融合方法，其特征在于，所述对每个前视图栅格和俯视图栅格中点的特征进行统计，获取每个前视图栅格和俯视图栅格的统计特征，包括：
将每个前视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个前视图栅格的统计特征；
对每个俯视图栅格中所有点的特征进行统计，获取每个俯视图栅格的统计特征；和/或，
对每个前视图栅格中所有点的特征进行统计，获取每个前视图栅格的统计特征；
将每个俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征作为每个俯视图栅格的统计特征。


5.根据权利要求4所述的点云多视角特征融合方法，其特征在于，每个前视图栅格和俯视图栅格中距离所述三维极坐标空间的坐标原点最近的点的特征包括是否占据栅格、反射强度、高度、水平方位角和垂直方位角中的一种或多种；
对每个前视图栅格和俯视图栅格中所有点的特征进行统计获取的统计特征包括是否占据栅格、点数、最高高度、平均高度、最高反射强度和平均反射强度中的一种或多种。


6.根据权利要求4所述的点云多视角特征融合方法，其特征在于，所述对所述前视图栅格和俯视图栅格的提取特征进行融合，获取所述前视图栅格和俯视图栅格的提取特征的融合结果，包括：
对于任一前视图栅格，查找该前视图栅格中距离所述坐标原点最近的点映射的俯视图栅格；
将查找的俯视图栅格的提取特征与该前视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第一融合结果；和/或，
对于任一俯视图栅格，查找该俯视图栅格中距离所述坐标原点最近的点映射的前视图栅格；
将查找的前视图栅格的提取特征与该俯视图栅格的提取特征进行叠加，获取所述前视图栅格和俯视图栅格的提取特征的第二融合结果。


7.根据权利要求6所述的点云多视角特征融合方法，其特征在于，所述对所述前视图栅格和俯视图栅格的提取特征进行融合，之后还包括：
基于第一目标检测方法根据所述第一融合结果对所述待融合点云进行目标检测；和/或，
基于第二目标检测方法根据所述第二融合结果对所述待融合点云进行目标检测。


8.一种点云多视角特征融合装置，其特征在于，包括：
构建模块，用于根据待融合点云的垂直视场范围和水平视场范围，构建所述待融合点云的三维极坐标空间，并将所述三维极坐标空间划分为三维极坐标栅格；
统计模块，用于将所述待融合点云中的每个点分别映射到所述三维极坐标栅格的前视图...

【专利技术属性】
技术研发人员：陈海波，李忠蓬，
申请(专利权)人：深兰人工智能深圳有限公司，
类型：发明
国别省市：广东;44