一种基于弱标注的三维点云目标检测方法及标注工具技术

本发明专利技术公开了一种基于弱标注的三维点云目标检测方法及标注工具，属于模式识别技术领域。本发明专利技术方法可用来构筑用于弱监督算法的数据集，减少制作于三维检测的数据集所需要的人力、物力和时间，为三维数据标注降低了成本，能够在自动和半自动两种状态下进行快速的三维目标检测数据集标注。本方法有效利用获得的快速俯视图标注，完成在三维场景中对目标位置进行定位的工作，相比现有方法需要完整的三维框作为监督信息优化网络，能够使用简单快速的标注信息对网络进行优化。本发明专利技术能够有效解决点云三维目标检测对标注数据依赖度高、耗时长、成本高、实现复杂的技术问题。

【技术实现步骤摘要】
一种基于弱标注的三维点云目标检测方法及标注工具
本专利技术涉及一种点云的弱标注方法，具体涉及一种基于弱标注的三维点云目标检测方法以及一种基于弱标注的三维点云目标标注工具，属于目标检测模式识别

技术介绍
随着人工智能和无人驾驶技术的日趋发展，基于点云的三维目标检测已成为研究热点。相比传统的基于图像的目标检测方法，点云能提供更加准确的深度信息，用于对物体进行定位和形状描绘。点云数据在深度上的精度优势，使得它在自动驾驶、家庭机器人、增强现实等领域占据十分重要的地位。近年来，基于深度学习框架的点云数据目标检测器取得了飞速发展。然而，在检测精度不断提升的同时，检测算法对于大量标注数据的依赖度却不断提升。现有的点云三维目标检测方法，大多是基于全监督学习框架设计。然而，这些全监督框架需要大量精细标注的三维框来进行训练，从而满足对检测器的性能需求以及避免过拟合问题。精细标注工作需要消耗大量时间和经济成本。在这种标注方法下，一小时的驾驶视频需要花费上百小时进行标注，导致高质量的三维检测数据集不仅制作开销高，而且在尺度和多样性上受到巨大限制。由此可见，要真正实现泛用的三维目标检测系统，不仅需要整合各种新兴技术，还必须解决它对高成本、高数量、高质量标注数据的依赖。因此，有必要提出一种使用少量、简单、快速标注进行训练的三维目标检测方法，以及能够自动化进行三维目标标注的工具，以解决上述技术问题。
技术实现思路
本专利技术的目的是为了解决点云三维目标检测对标注数据依赖度高、耗时长、成本高、实现复杂的技术问题，创造性地提出了一种基于弱标注的三维点云目标检测方法，以及一种基于弱标注的三维点云目标标注工具。本专利技术方法和工具，能够利用更廉价、更少量、更简单的标注，达到良好的检测效果，并且能够降低标注成本。一种基于弱标注的三维点云目标检测方法，包含以下步骤：步骤1：使用弱标注方法。设数据集中共有N个未标注场景，N0<N。对N0个未标注的自动驾驶点云场景进行标注。通过标注，获得每一个目标中心在俯视图上的坐标(x,z)，存储标注信息。具体地，所述基于俯视图的三维目标快速标注包括以下步骤：步骤1.1：标注人员点击相机视图上需要标注的目标。步骤1.2：程序根据点云和相机的投影关系取得距离点击位置最近的点云点，并显示一个以该点为中心的局部俯视图。步骤1.3：标注人员在局部俯视图上选取目标较精确的中心位置，完成单个目标的快速鸟瞰标注过程。步骤1.4：重复步骤1.1-1.3,标注该场景中所有可见目标，并切换场景将N0个场景全部进行快速俯视图标注，将标注信息进行存储，取得快速俯视图标注，最终获得快速俯视图标注的数据集。步骤2：使用基于俯视图标注的目标定位方法，构建目标定位网络。使用步骤1存储的标注信息对网络进行训练，使网络获得目标定位能力。具体地，所述基于俯视图标注的目标定位方法，包括以下步骤：步骤2.1：使用快速俯视图标注确定目标中心，对每一个点云点生成前景分数标签。步骤2.2：构建目标定位网络，以点云作为输入。步骤2.3：以步骤1生成的俯视图标注作为训练目标，并使用步骤2.1生成的前景分数标签构建损失函数，通过损失函数强化目标定位网络对于目标的敏感程度。步骤2.4：优化目标定位网络。步骤3：N0个场景中共含有M个无标注的目标，M0<M。选择M0个无标注的目标，进行三维位置(x,y,z)、三维尺寸(h,w,l)、航向角θ共七个参数的三维框标注。将标注框临域内的点云以框为单位进行存储，每个点云点的特征除原有信息外，再增加目标定位网络输出的每个点的前景分数并一同存储，形成局部三维检测数据集。步骤4：使用基于少量标注的目标检测方法构建目标检测网络，使用步骤3中存储的信息进行训练，使网络获得目标检测能力。具体地，所述基于少量标注的目标检测方法，包括以下步骤：步骤4.1：构建一级三维目标检测网络，并将步骤3中的局部三维目标检测数据集作为输入。步骤4.2：通过损失函数强化一级三维目标检测网络对目标的检测精度。步骤4.3：优化一级三维目标检测网络。步骤4.4：如果期望更高的检测精度，则构建二级三维目标检测网络，连接在训练完成的一级目标检测网络后。步骤4.5：如果进行步骤4.4，则将步骤3中的局部三维目标检测数据集输入一级目标检测网络，并将输出送入二级目标检测网络。步骤4.6：如果进行步骤4.5，固定除最后一级网络外的所有网络权重参数，通过损失函数强化二级三维目标检测网络对目标的检测精度。步骤4.7：如果二级目标检测网络的输出未达到检测精度的要求，可依照步骤4.4-4.6继续级联更多检测网络。步骤5：将目标定位网络与目标检测网络依次连接，构成基于弱监督框架的目标检测。如果期望获得较快标注速度以控制标注成本，则使用步骤5中连接的网络对剩余未标注场景进行标注，即，作为自动化三维目标标注工具工作，能够较精确地完成数据集的三维框标注工作。具体地，所述自动化三维目标标注工具包括以下步骤：首先，选取一个未标注的场景，将点云输入步骤5连接的网络中，由目标定位网络生成目标的定位信息。然后，使用定位信息根据邻域范围生成局部点云，局部点云输入目标检测网络中取得自动化三维目标标注结果。如果期望获得高标注精度，则使用步骤1的方法，对整个数据集中剩余未标注场景进行标注，即通过人工标注直接完成目标定位，再使用步骤4训练的目标检测网络完成检测任务，即作为半自动化三维目标标注工具工作，能够更精确地完成数据集的三维框标注工作。具体地，所述半自动化三维目标标注工具包括以下步骤：首先，标注人员选取一个未标注的场景，进行步骤1的标注。然后，以标注人员指示的目标中心生成临域，进行局部点云提取。之后，使用步骤2.1计算的点云前景分数，与点云特征叠加。最后，将叠加后的点云输入步骤4训练完成后网络生成半自动标注结果。有益效果1.本专利技术提出的快速俯视图标注方法可用来构筑用于弱监督算法的数据集，大大减少制作于三维检测的数据集所需要的人力、物力和时间，为三维数据标注降低了成本。2.本方法有效利用获得的快速俯视图标注，完成在三维场景中对目标位置进行定位的工作，相比现有方法需要完整的三维框作为监督信息优化网络，能够使用简单快速的标注信息对网络进行优化。3.现有三维目标检测方法，需要将训练集每一个场景的每一个目标都进行传统精细且耗时的三维框标注。而本专利技术只需要一部分场景进行快速标注，并选择一部分目标进行传统标注，大大降低了标注量，从而在减少了标注工作的时间消耗的同时，取得了精确的三维目标检测效果。4.本专利技术能够在自动和半自动两种状态下进行快速的三维目标检测数据集标注，相比纯人工标注大大缩短了标注时间，节省了大量用于标注的人力和物力。附图说明图1是本专利技术所述方法的流程图。图2是局部本文档来自技高网...

【技术保护点】
1.一种基于弱标注的三维点云目标检测方法，其特征在于，包含以下步骤：/n步骤1：使用弱标注方法；设数据集中共有N个未标注场景，N

【技术特征摘要】
20200716 CN 20201068384461.一种基于弱标注的三维点云目标检测方法，其特征在于，包含以下步骤：
步骤1：使用弱标注方法；设数据集中共有N个未标注场景，N0<N；对N0个未标注的自动驾驶点云场景进行标注；通过标注，获得每一个目标中心在俯视图上的坐标(x,z)，存储标注信息；
步骤2：使用基于俯视图标注的目标定位方法，构建目标定位网络。使用步骤1存储的标注信息对网络进行训练，使网络获得目标定位能力；
步骤3：N0个场景中共含有M个无标注的目标，M0<M；选择M0个无标注的目标，进行三维位置(x,y,z)、三维尺寸(h,w,l)、航向角θ共七个参数的三维框标注；将标注框临域内的点云以框为单位进行存储，每个点云点的特征除原有信息外，再增加目标定位网络输出的每个点的前景分数并一同存储，形成局部三维检测数据集；
步骤4：使用基于少量标注的目标检测方法构建目标检测网络，使用步骤3中存储的信息进行训练，使网络获得目标检测能力；
步骤5：将目标定位网络与目标检测网络依次连接，构成基于弱监督框架的目标检测；
如果期望获得较快标注速度以控制标注成本，则使用步骤5中连接的网络对剩余未标注场景进行标注，即，作为自动化三维目标标注工具工作，能够较精确地完成数据集的三维框标注工作；
如果期望获得高标注精度，则使用步骤1的方法，对整个数据集中剩余未标注场景进行标注，即通过人工标注直接完成目标定位，再使用步骤4训练的目标检测网络完成检测任务，即作为半自动化三维目标标注工具工作，能够更精确地完成数据集的三维框标注工作。


2.如权利要求1所述的一种基于弱标注的三维点云目标检测方法，其特征在于，步骤1所述标注方法，包括以下步骤：
步骤1.1：标注人员点击相机视图上需要标注的目标；
步骤1.2：程序根据点云和相机的投影关系取得距离点击位置最近的点云点，并显示一个以该点为中心的局部俯视图；
步骤1.3：标注人员在局部俯视图上选取目标较精确的中心位置，完成单个目标的快速鸟瞰标注过程；
步骤1.4：重复步骤1.1-1.3,标注该场景中所有可见目标，并切换场景将N0个场景全部进行快速俯视图标注，将标注信息进行存储，取得快速俯视图标注，最终获得快速俯视图标注的数据集。


3.如权利要求1所述的一种基于弱标注的三维点云目标检测方法，其特征在于，步骤2所述目标定位方法，包括以下步骤：
步骤2.1：使用快速俯视图标注确定目标中心，对每一个点云点生成前景分数标签；
步骤2.2：构建目标定位网络，以点云作为输入；
步骤2.3：以步骤1生成的俯视图标注作为训练目标，并使用步骤2.1生成的前景分数标签构建损失函数，通过损失函数强化目标定位网络对于目标的敏感程度；
步骤2.4：优化目标定位网络。


4.如权利要求1所述的一种基于弱标注的三维点云目标检测方法，其特征在于，步骤4所述基于少量标注的目标检测方法，包括以下步骤：
步骤4.1：构建一级三维目标检测网络，并将步骤3中的局部三维目标检测数据集作为输入；
步骤4.2：通过损失函数强化一级三维目标检测网络对目标的检测精度；
步骤4.3：优化一级三维目标检测网络；
步骤4.4：如果期望更高的检测精度，则构建二级三维目标检测网络，连接在训练完成的一级目标检测网络后；
步骤4.5：如果进行步骤4.4，则将步骤3中的局部三维目标检测数据集输入一级目标检测网络，并将输出送入二级目标检测网络；
步骤4.6：如果进行步骤4.5，固定除最后一级网络外的所有网络权重参数，通过损失函数强化二级三维目标检测网络对目标的检测精度；
步骤4.7：如果二级目标检测网络的输出未达到检测精度的要求，可依照步骤4.4-4.6继续级联更多检测网络。


5.如权利要求1所述的一种基于弱标注的三维点云目标检测方法，其特征在于，步骤5所述自动化三维目标标注工具实现方法，包括以下步骤：
首先，选取一个未标注的场景，将点云输入步骤5连接的网络中，由目标定位网络生成目标的定位信息；
然后，使用定位信息根据邻域范围生成局部点云，局部点云输入目标检测网络中取得自动化三维目标标注结果。


6.如权利要求1所述的一种基于弱标注的三维点云目标检测方法，其特征在于，步骤5所述所述半自动化三维目标标注工具实现方法，包括以下步骤：
首先，标注人员选取一个未标注的场景，进行步骤1的标注；
然后，以标注人员指示的目标中心生成临域，进行局部点云提取；
之后，使用步骤2计算的点云前景分数，与点云特征叠加；
最后，将叠加后的点云输入步骤4训练完成后网络生成半自动标注结果。


7.如权利要求3所述的一种基于弱标注...

【专利技术属性】
技术研发人员：王文冠，孟庆昊，沈建冰，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11