一种基于双域主动学习的跨域目标检测方法技术

本申请提供一种基于双域主动学习的跨域目标检测方法，该方法包括：获取待检测目标域的一帧点云；将所述点云输入训练好的双域主动学习三维目标检测模型中，得到所述点云场景中每个物体的类别及标记框；其中，所述双域主动学习三维目标检测模型采用源域数据集进行训练，所述源域和所述待检测目标域为不同域。该方案可以大幅提高了跨域数据检测任务的检测精度。精度。精度。

【技术实现步骤摘要】
一种基于双域主动学习的跨域目标检测方法


[0001]本专利技术属于无人驾驶
，特别涉及一种基于双域主动学习的跨域目标检测方法。

技术介绍

[0002]3D目标检测技术是自动驾驶领域中发挥非常关键的作用，能够帮助车辆感知周围的环境。到目前为止，最先进的基于lidar的3D目标检测方法通常在单个数据集中进行训练和评估，很少涉及到跨域数据集的研究。然而，在自动驾驶的许多现实场景中，由于不同厂商往往采用不同参数的激光雷达，并且不同城市的环境差异巨大，跨数据集的三维目标检测成为自动驾驶中亟待解决的问题。
[0003]一些研究者试图通过无监督域适应(Unsupervised Domain Adaptation,UDA)技术来解决这种跨数据集性能下降的问题。SPG(参考Qiangeng Xu,Yin Zhou,Weiyue Wang,Charles R Qi,and Dragomir Anguelov.Spg:Unsupervised domain adaptation for 3d object detection via semantic point generation.In Proceedings of the IEEE/CVF International Conference on Computer Vision,pages 15446
–
15456,2021)设计了一种语义点生成方法，并尝试恢复给定前景实例的缺失区域。ST3D(参考Jihan Yang,Shaoshuai Shi,Zhe Wang,Hongsheng Li,and Xiaojuan Qi.St3d:Self
‑
training for unsupervised domain adaptation on 3d object detection.In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,pages 10368
–
10378,2021)设计了一个基于自监督训练的框架，将预先训练好的检测器从源域数据集适应到新的目标域数据集。LiDAR Distillation(参考Yi Wei,Zibu Wei,Yongming Rao,Jiaxin Li,Jie Zhou,and Jiwen Lu.Lidar distillation:Bridging the beaminduced domain gap for 3d object detection.arXiv preprint arXiv:2203.14956,2022)利用从高线束激光雷达数据中获得的可迁移知识来蒸馏低线束激光雷达数据。虽然这些UDA检测方法在跨数据集任务中取得了成功，但它们与使用全量标注的监督学习之间仍有很大的检测精度差距。而为了验证基于2D图像的ADA方法对3D点云的可扩展性，我们将现有的基于2D图像的ADA方法(如TQS(参考Bo Fu,Zhangjie Cao,Jianmin Wang,and Mingsheng Long.Transferable query selection for active domain adaptation.In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,pages7272
–
7281,2021)和CLUE(参考Viraj Prabhu,Arjun Chandrasekaran,Kate Saenko,and Judy Hoffman.Active domain adaptation via clustering uncertainty
‑
weighted embeddings.In Proceedings of the IEEE/CVF International Conference on Computer Vision,pages 8505
–
8514,2021))直接集成到许多典型的3D基线检测器中进行研究，但其在解决跨域数据集的差异方面并不能取得令人满意的结果。

技术实现思路

[0004]本说明书实施例的目的是提供一种基于双域主动学习的跨域目标检测方法。
[0005]为解决上述技术问题，本申请实施例通过以下方式实现的：
[0006]本申请提供一种基于双域主动学习的跨域目标检测方法，其特征在于，方法包括：
[0007]获取待检测目标域的一帧点云；
[0008]将点云输入训练好的双域主动学习三维目标检测模型中，得到点云场景中每个物体的类别及标记框；
[0009]其中，双域主动学习三维目标检测模型采用源域数据集进行训练，源域和待检测目标域为不同域。
[0010]在其中一个实施例中，双域主动学习三维目标检测模型，包括：
[0011]前景区域判别器，用于确定输入的点云数据的域标签及实例级描述；
[0012]基于域感知的源域采样策略，用于根据域标签从源域数据集中选择类目标域样本；
[0013]基于多样性的目标域采样策略，用于根据实例级描述从目标域数据集中选出具有多样性和代表性的目标域数据。
[0014]在其中一个实施例中，前景区域判别器包括检测器和判别器；
[0015]检测器用于确定输入的点云数据的目标评分和实例级描述；
[0016]判别器根据目标评分确定域标签。
[0017]在其中一个实施例中，检测器用于确定输入的点云数据的目标评分和实例级描述，包括：
[0018]将输入的点云数据的3D特征由3D主干网络进行特征提取，将提取的特征映射到鸟瞰图，得到2D鸟瞰图特征；
[0019]利用2D主干网络对2D鸟瞰图特征进行特征提取，提取的特征通过区域建议网络运算得到目标评分和建议框；
[0020]建议框经过检测头，得到实例级描述。
[0021]在其中一个实施例中，建议框经过检测头，得到实例级描述，包括：
[0022]检测头输出各个感兴趣特征及对应的置信度分数；
[0023]根据感兴趣特征和置信度分数，确定实例级描述。
[0024]在其中一个实施例中，判别器根据目标评分确定域标签，包括：
[0025]根据目标评分，确定熵值；
[0026]根据目标评分、熵值、2D鸟瞰图特征，确定前景区域的感知特征图；
[0027]根据前景区域的感知特征图，确定域标签。
[0028]在其中一个实施例中，根据域标签从源域数据集中选择类目标域样本，包括：
[0029]采用前景区域判别器计算源域数据集中所有源域数据的场景级域特性评分；
[0030]对所有源域数据的场景级域特性评分进行排序，按预设条件对排序后的域特性评分进行抽样，得到类目标域样本。...

【技术保护点】

【技术特征摘要】
1.一种基于双域主动学习的跨域目标检测方法，其特征在于，所述方法包括：获取待检测目标域的一帧点云；将所述点云输入训练好的双域主动学习三维目标检测模型中，得到所述点云场景中每个物体的类别及标记框；其中，所述双域主动学习三维目标检测模型采用源域数据集进行训练，所述源域和所述待检测目标域为不同域。2.根据权利要求1所述的方法，其特征在于，所述双域主动学习三维目标检测模型，包括：前景区域判别器，用于确定输入的点云数据的域标签及实例级描述；基于域感知的源域采样策略，用于根据所述域标签从源域数据集中选择类目标域样本；基于多样性的目标域采样策略，用于根据所述实例级描述从目标域数据集中选出具有多样性和代表性的目标域数据。3.根据权利要求2所述的方法，其特征在于，所述前景区域判别器包括检测器和判别器；所述检测器用于确定所述输入的点云数据的目标评分和所述实例级描述；所述判别器根据所述目标评分确定所述域标签。4.根据权利要求3所述的方法，其特征在于，所述检测器用于确定所述输入的点云数据的目标评分和所述实例级描述，包括：将所述输入的点云数据的3D特征由3D主干网络进行特征提取，将提取的特征映射到鸟瞰图，得到2D鸟瞰图特征；利用2D主干网络对所述2D鸟瞰图特征进行特征提取，提取的特征通过区域建议网络运算得到目标评分和建议框；所述建议框经过检测头，得到所述实例级描述。5.根据权利要求4所述的方法，其特征在于，所述建议框经过检测头，得到所述实例级描述，包括：所述检测头输出各个感兴趣特征及对应的置信度分数；根据所述感兴趣特征和所述置信度分数，确定所述实例级描述。6.根据权利要求4所述的方法，其特征在于，所述判别器根据所述目标评分确定所述域标签，包括：根据所述目标评分，确定熵值；根据所述目标评分、所述熵值、所述2D鸟瞰图特征，确定前景区域的感知特征图；根据所述前景区域的感知特征图，确定所述域标签。7.根据权利要求2<...

【专利技术属性】
技术研发人员：李怡康，张铂，袁家康，闫翔超，石博天，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：