【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，具体涉及一种基于数字孪生的半监督3d目标检测方法、系统和设备。
技术介绍
1、3d目标检测是3d场景理解的一项基本任务，旨在预测点云场景中每个物体的语义标签和空间定位框。随着ar/vr、3d室内扫描、自动驾驶的普及，3d目标检测已成为促进场景理解的关键技术。在过去的几十年里，许多全监督的3d目标检测方法被提出，在这一领域取得了显著的进展。然而，这些方法依赖于大量精心注释的3d场景数据，这是一个昂贵的和耗时的收集。为了降低完全监督三维目标检测方法的高注释成本，结合少量标记数据和大量未标记数据进行模型训练的半监督方法得到了越来越多的关注。
2、目前，半监督3d目标检测方法大致分为两类：基于一致性约束的方法和基于伪标签的方法。基于一致性约束的方法，其核心思想是鼓励对具有不同数据增强的数据的预测结果保持一致。具体而言，数据会通过数据增强分别输入到教师模型和学生模型，对于不同数据增强的数据分别给出预测结果，使用一致性损失进行约束。基于伪标签的方法旨在从无标签数据的模型预测中选择高质量的伪标签，然后将其与有标签数据结合使用进行模型训练。基于伪标签的方法使用全局度量得分(iou、分类置信度和投票得分等)来选择伪标签，然而，全局度量得分较高的伪标签可能不能很好地覆盖物体的每一面，而全局度量得分较低的伪标签可以为某些面提供正确的预测，故提出一种基于数字孪生的半监督3d目标检测方法。
技术实现思路
1、针对现有技术的不足，本专利技术提出了一种基于数字孪生的半监
2、本专利技术的目的可以通过以下技术方案实现：
3、第一方面，本申请提出一种基于数字孪生的半监督3d目标检测方法，包括：
4、接收点云，分别将点云输入到预设的教师模型和学生模型中进行预处理，分别得到教师模块的不确定预测结果和学生模块的不确定预测结果，其中，所述预处理的步骤如下：
5、输入点云，通过点云特征提取网络pointnet以及平移操作和投票机制，获取候选点pprop的空间位置和特征；
6、基于候选点pprop特征和空间位置，使用多层感知机去预测空间中物体的类别和边界框每一个面的空间分布；
7、结合预测的边界框的空间位置，使用基于面的池化操作得到面的几何特征；
8、将面的几何特征和离散概率分布特征拼接到一起，输入多层感知机，输出不确定度预测结果；
9、将预处理得到的教师模块的不确定预测结果进行伪标签筛选与权重分配；
10、使用伪标签和权重分数对学生模型的无标签数据进行监督，使用groud-truth对学生模型的有标签数据进行监督；
11、对教师模块的不确定预测结果使用iou引导的nms，得到最后的检测结果。
12、在一些实施例中，输入点云通过点云特征提取网络pointnet以及平移操作和投票机制，获取候选点的空间位置和特征；
13、其中，输入点云通过最远点采样得到种子点pseed，种子点pseed使用k近邻和多层感知机来聚合周围点的特征，将其作为下一阶段的输入点云重复两次；
14、使用最后输出的种子点pseed的特征去预测其是前景物体点的概率和其距离物体中心的距离，将其空间位置平移到物体中心。平移后的种子点pseed被称为候选点pprop。
15、在一些实施例中，所述使用多层感知机去预测空间中物体的类别和边界框每一个面的空间分布，包括以下步骤：
16、我们设计了一种侧感知参数化方法来表示边界框。具体来说，给定候选点pprop的特征和位置，我们不是预测到中心点的偏移和物体的大小，而是预测从候选点pprop到每边的距离。基于对预测的概率分布可以测度不确定性的观察，我们将边界盒参数化从确定性方法修正为概率方法。我们将每个面相对于候选点pprop位置的距离划分成空间中离散的格子，预测当前面落在格子中的概率，在通过分布的期望来得到面的空间位置，公式如下：
17、
18、其中si是每个格子代表的距离值，p是预测的概率，是预测的面的空间位置；
19、在一些实施例中，基于面的池化操作得到面的几何特征，包括以下步骤：
20、基于面的池化操作需要选定面点pside，面点是包含对象的特定面的虚拟网格点。更具体地说，对于物体的正面，我们把物体的宽度和高度分成d段。随后，我们在物体正面的前后生成2×d×d个网格点。对于每个面点，我们找到它的k个最近邻，并从种子点pseed的特征传播进行距离加权插值到面点pside。然后，我们将所有的面点pside输入到一个点云特征提取网络pointnet中，得到几何特征fgeo。
21、在一些实施例中，所述面的几何特征和离散概率分布特征拼接到一起，输入多层感知机，输出不确定度预测结果，包括以下步骤：
22、离散概率分布特征是面的离散分布的统计量，我们选择概率最大的k个值的平均值、分布的方差和离散分布的所有概率值作为面的分布特征fxist；
23、将面的分布特征fdist和面的几何特征fgeo拼接到一起；
24、之后将融合后的特征输入到多层感知机中，经过sigmoid激活层输出面的不确定测度us，公式如下：
25、us＝sigmoid(mlp(cat(fgeo,fdist)))
26、使用上述的计算方法可以得到面的不确定度测度，为了指导不确定性估计模块的训练，我们使用预测面和真实面直接的绝对误差作为不确定度的标签进行约束，标签计算公式如下：
27、
28、其中ys是真实面的空间位置，是预测面的空间位置，min是取最小值，α是尺度放缩系数，本专利技术设定为4；进一步，本专利技术使用预测面和真实面的绝对误差和预测的不确定度us之间的均方误差作为不确定性回归损失lxncer：
29、
30、其中u是物体的每一边的不确定性估计u＝{us|∈b}。
31、在一些实施例中，所述伪标签筛选与权重分配，包括以下步骤：
32、伪标签筛选与权重分配模块：该模块由三部分组成：类别特定筛选器，iou引导的低半nms策略和面感知权重分配；类别特定筛选器使用类别置信度、前景置信度和iou预测值来滤除低质量的伪标签；iou引导的低半nms策略通过iou引导的低半nms，只丢弃了一半的预测iou较低的预测结果；面感知权重分配，使用面的不确定度为伪标签的每一个面进行权重分配，权重分配公式为：
33、
34、其中qs是面的质量分数(权重)，α2是尺度因子，最后我们使用质量分数对损失进行加权：
35、
36、qb是qs的平均值，反映了边界框的全局定位质量。这样，我们就减少了模型训练中局部性较差的面的干扰。
37、在一些实施例中，所述使用伪标签和权重分数对学生模型的本文档来自技高网...
【技术保护点】
1.一种基于数字孪生的半监督3D目标检测方法，其特征在于，包括：
2.根据权利要求1所述的基于数字孪生的半监督3D目标检测方法，其特征在于，输入点云，通过点云特征提取网络PointNet以及平移操作和投票机制，获取候选点的空间位置和特征，包括以下步骤：
3.根据权利要求1所述的基于数字孪生的半监督3D目标检测方法，其特征在于，使用多层感知机去预测空间中物体的类别和边界框每一个面的空间分布，包括以下内容：
4.根据权利要求1所述的基于数字孪生的半监督3D目标检测方法，其特征在于，基于面的池化操作得到面的几何特征，包括以下步骤：
5.根据权利要求1所述的基于数字孪生的半监督3D目标检测方法，其特征在于，所述面的几何特征和离散概率分布特征拼接到一起，输入多层感知机，输出不确定度预测结果，包括以下步骤：
6.根据权利要求1所述的基于数字孪生的半监督3D目标检测方法，其特征在于，所述伪标签筛选与权重分配通过伪标签筛选与权重分配模块实现，所述伪标签筛选与权重分配模块类别特定筛选器，IoU引导的低半NMS策略和面感知权重分配；所述类别
7.根据权利要求1所述的基于数字孪生的半监督3D目标检测方法，其特征在于，所述使用伪标签和权重分数对学生模型的无标签数据进行监督，使用Groud-Truth对学生模型的有标签数据进行监督，包括以下步骤：
8.一种基于面不确定度估计的半监督3D目标检测系统，其特征在于，包括：
9.一种终端设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，其特征在于，所述存储器中存储有能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了权利要求1至7中任一项所述的一种基于数字孪生的半监督3D目标检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器加载并执行时，采用了权利要求1至7中任一项所述的一种基于数字孪生的半监督3D目标检测方法。
...【技术特征摘要】
1.一种基于数字孪生的半监督3d目标检测方法，其特征在于，包括：
2.根据权利要求1所述的基于数字孪生的半监督3d目标检测方法，其特征在于，输入点云，通过点云特征提取网络pointnet以及平移操作和投票机制，获取候选点的空间位置和特征，包括以下步骤：
3.根据权利要求1所述的基于数字孪生的半监督3d目标检测方法，其特征在于，使用多层感知机去预测空间中物体的类别和边界框每一个面的空间分布，包括以下内容：
4.根据权利要求1所述的基于数字孪生的半监督3d目标检测方法，其特征在于，基于面的池化操作得到面的几何特征，包括以下步骤：
5.根据权利要求1所述的基于数字孪生的半监督3d目标检测方法，其特征在于，所述面的几何特征和离散概率分布特征拼接到一起，输入多层感知机，输出不确定度预测结果，包括以下步骤：
6.根据权利要求1所述的基于数字孪生的半监督3d目标检测方法，其特征在于，所述伪标签筛选与权重分配通过伪标签筛选与权重分配模块实现，所述伪标签筛选与权重分配模块类别特定筛选器，iou引导的低半nms策略和面感知权重分配；所述类别特定筛选器使用类...
【专利技术属性】
技术研发人员：张天柱，杨文飞，潘晓扬，张哲，王诗良，吴枫，
申请(专利权)人：深空探测实验室天都实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。