本发明专利技术提供了一种无监督多模态3D框错误检测系统和方法，包括：虚拟错误的生成模块：生成虚拟的错误3D框；模型训练模块：训练一个端到端的错误检测器，用来回归错误分数；错误检测模块：将初始标注输入到错误检测器中，得到每一个3D框的错误分数，通过使用一个阈值τ，将3D框的错误分数映射为0或1，0表示正确，1表示错误。本发明专利技术无需人工为3D框标注是否错误打标签，也不依赖于任何先验知识，通过融合多模态数据，能够更有效地检测3D框的标注错误。
1、近年来，自动驾驶技术飞速进步，3d目标检测方法在众多领域发挥着关键作用。3d目标检测模型的训练极大地依赖于准确且高质量的3d框标注。这些标注数据可以由专业数据标注工程师提供，也可通过半自动或自动方式(例如3d框的自动标注工具)获取。然而，标注出来的3d框并非百分之百可靠，可能存在各种错误。精确的3d目标检测在车辆周围环境的准确理解方面发挥着至关重要的作用。它为自动驾驶系统提供了必要的信息，以便进行高效的路径规划和智能驾驶决策，从而确保车辆能够安全、准确地到达目的地。如果在训练过程中使用含有错误的3d框标注作为真值标签，这将严重影响模型的性能，可能导致目标检测任务中的误报等问题。因此，我们迫切需要一种方法来检测这些错误的3d框标注，以确保模型能够获得高质量的训练数据，从而提高其准确性和可靠性。
2、然而，无监督的且多模态的3d框标注错误检测是一项充满挑战的任务，其中存在三个主要原因。首先，3d框的错误类型多种多样。首先，它们可能会错误地分类某些物体，例如将小型轿车误识别为公交车，或者误将背景中的非目标物体框出。其次，多种传感器被装配在数据采集车上，如摄像头和激光雷达等。它们在不同时间戳下生成了多模态数据，有效地融合这些多模态数据以进行3d框标注错误检测是一项充满挑战的任务。最后，无监督的标注错误检测要求我们不能对任何3d框标注是否错误打标签，这使得无法人工为3d框错误检测系统提供有效的训练数据来进行训练。
r/>技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种无监督多模态3d框错误检测系统和方法。
2、根据本专利技术提供的无监督多模态3d框错误检测系统，包括：
3、虚拟错误的生成模块：生成虚拟的错误3d框；
4、模型训练模块：训练一个端到端的错误检测器，用来回归错误分数；
5、错误检测模块：将初始标注输入到错误检测器中，得到每一个3d框的错误分数，通过使用一个阈值τ，将3d框的错误分数映射为0或1，0表示正确，1表示错误。
6、优选地，在多模态融合过程中，将激光雷达点云中的点投影到rgb图像像素上，进而建立起点云中的点与图像中像素的映射关系，三维点云中的点与二维图像像素之间的映射关系通过投影几何建立，将激光雷达中的点投影到rgb图像上，表达式为：
7、[x,y,1]t＝k(rp+t)
8、其中，(x,y)是三维点p投影到rgb图像中的像素坐标，k是相机的固有校准矩阵，r和t是将三维点从激光雷达坐标系转换到相机坐标系的旋转矩阵和平移向量。
9、优选地，所述虚拟错误的生成模块包括：
10、设3d框类别集合为c，其中包含3d框内物体所有可能的类别，在标注结果中，统计每一个3d框类别c出现的频数，表示为nc；
11、采用如下两种方式生成虚拟的错误3d框：
12、i)更改初始标注内的3d框的类别：当3d框内实际物体与3d框标注的类别不符时，认为3d框是错误的，更改部分初始标注内的3d框的类别c′为类别c来得到错误的3d框，其中c≠c′，当3d框的标注类别为c′时，根据概率分布其中nci为类别ci出现的频数，来选取更改后的类别c；
13、ii)伪造3d框：当将背景中的非目标物体框出时，认为3d框是错误的，随机框出部分背景物体来伪造3d框。
14、优选地，所述端到端的错误检测器包括：特征提取器和错误分数生成器；
15、所述特征提取器从rgb图像i和激光雷达点云p中提取3d框的特征表示，特征提取器为3d框提取三类特征：
16、a)关注区域的点云特征
17、为提取3d框内激光雷达点云的局部特征，首先从激光雷达点云中获取3d框关注区域内的点云，记为pb，将关注区域内的点云pb作为三维点云特征提取网络的输入，输出为其中db3d为输出的特征维度；
18、b)关注区域的图像特征
19、将3d框投影到rgb图像上，并找到对应二维3d框的最小外接矩形，该最小外接矩形内的区域作为图像的关注区域，关注区域内的图像记为ib，将关注区域内的图像ib作为图像特征提取网络的输入，输出为其中db2d为输出的特征维度；
20、c)关注区域的融合特征
21、为深度融合多模态特征，将rgb图像输入到图像语义分割网络中，生成高层次并带有全局语义信息的像素语义特征将点云p输入到三维分割网络中，生成高层次并带有全局语义信息的逐点特征其中w，h分别为输入图像i的宽度和高度；n为点云中点的总个数；d2d以及d3d为输出的特征维度；
22、利用点云中的点与图像像素之间的映射关系，将图像的语义特征转换为将图像特征h′2d与点云特征h3d进行逐点连接，得到高层次的融合点云融合点云内的每一个点都包含点云与图像的全局信息；
23、为获得关注区域的融合特征，从融合点云h中获取3d框关注区域内的点云，记为hb，将关注区域内的点云hb作为三维点云特征提取网络的输入，输出为其中dbh为输出的特征维度；
24、将特征提取器提取的特征与3d框的固有特征连接在一起，生成最终的特征将特征f输入到错误分数生成器中，错误分数生成器采用标准的多层感知机结构，在每一层中，该生成器接受3d框的类别特征作为额外输入，即上一层的输出与类别特征的连接作为下一层的输入；
25、在错误分数生成器中，每一层后都跟随着批归一化层以及dropout层，以减少过拟合并增强模型泛化能力，使用的激活函数为leakyrelu，在输入为负值时提供一个梯度，避免梯度消失问题；
26、将mlp的输出结果输入sigmoid激活函数，得到一个介于0到1之间的标量z，该标量表示3d框的错误分数，越接近1表示错误程度越大。
27、优选地，在训练过程中，将初始标注中的所有3d框视为正确，对于生成的虚拟错误3d框，将其视为错误，训练损失函数如下：
28、
29、其中，表示3d框标注集合，yb∈{0,1}表示3d框b是否错误，yb＝1表示3d框b是错误的，zb表示3d框b的错误分数。
30、根据本专利技术提供的无监督多模态3d框错误检测方法，包括：
31、步骤1：生成虚拟的错误3d框；
32、步骤2：训练一个端到端的错误检测器，用来回归错误分数；
33、步骤3：将初始标注输入到错误检测器中，得到每一个3d框的错误分数，通过使用一个阈值τ，将3d框的错误分数映射为0或1，0表示正确，1表示错误。
34、优选地，在多模态融合过程中，将激光雷达点云中的点投影到rgb图像像素上，进而建立起点云中的点与图像中像素的映射关系，三维点云中的点与二维图像像素之间的映射关系通过投影几何建立，将激光雷达中的点投影到rgb图像上，表达式为：
35、[x,y,1本文档来自技高网...
【技术保护点】
1.一种无监督多模态3D框错误检测系统，其特征在于，包括：
2.根据权利要求1所述的无监督多模态3D框错误检测系统，其特征在于，在多模态融合过程中，将激光雷达点云中的点投影到RGB图像像素上，进而建立起点云中的点与图像中像素的映射关系，三维点云中的点与二维图像像素之间的映射关系通过投影几何建立，将激光雷达中的点投影到RGB图像上，表达式为：
3.根据权利要求2所述的无监督多模态3D框错误检测系统，其特征在于，所述虚拟错误的生成模块包括：
4.根据权利要求3所述的无监督多模态3D框错误检测系统，其特征在于，所述端到端的错误检测器包括：特征提取器和错误分数生成器；
5.根据权利要求4所述的无监督多模态3D框错误检测系统，其特征在于，在训练过程中，将初始标注中的所有3D框视为正确，对于生成的虚拟错误3D框，将其视为错误，训练损失函数如下：
6.一种无监督多模态3D框错误检测方法，其特征在于，包括：
7.根据权利要求6所述的无监督多模态3D框错误检测方法，其特征在于，在多模态融合过程中，将激光雷达点云中的点投影到RGB图像像素上，进而建立起点云中的点与图像中像素的映射关系，三维点云中的点与二维图像像素之间的映射关系通过投影几何建立，将激光雷达中的点投影到RGB图像上，表达式为：
8.根据权利要求7所述的无监督多模态3D框错误检测方法，其特征在于，所述步骤1包括：
9.根据权利要求8所述的无监督多模态3D框错误检测方法，其特征在于，所述端到端的错误检测器包括特征提取器和错误分数生成器；
10.根据权利要求9所述的无监督多模态3D框错误检测方法，其特征在于，在训练过程中，将初始标注中的所有3D框视为正确，对于生成的虚拟错误3D框，将其视为错误，训练损失函数如下：
...
【技术特征摘要】
1.一种无监督多模态3d框错误检测系统，其特征在于，包括：
2.根据权利要求1所述的无监督多模态3d框错误检测系统，其特征在于，在多模态融合过程中，将激光雷达点云中的点投影到rgb图像像素上，进而建立起点云中的点与图像中像素的映射关系，三维点云中的点与二维图像像素之间的映射关系通过投影几何建立，将激光雷达中的点投影到rgb图像上，表达式为：
3.根据权利要求2所述的无监督多模态3d框错误检测系统，其特征在于，所述虚拟错误的生成模块包括：
4.根据权利要求3所述的无监督多模态3d框错误检测系统，其特征在于，所述端到端的错误检测器包括：特征提取器和错误分数生成器；
5.根据权利要求4所述的无监督多模态3d框错误检测系统，其特征在于，在训练过程中，将初始标注中的所有3d框视为正确，对于生成的虚拟错误3d框，将其视为错误，训练损失函数如下：<...
【专利技术属性】
技术研发人员：曹健，关威，钱诗友，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。