一种基于虚拟点云的三维目标检测方法和系统技术方案

本发明专利技术涉及目标检测技术领域，具体涉及一种基于虚拟点云的三维目标检测方法和系统，所述方法包括，获取数据集，将数据集划分为训练集和测试集；将获取到的数据集进行预处理，生成虚拟点云数据；构建基于虚拟点云的三维目标检测网络模型；将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。本发明专利技术能够解决由于点云数据自身的稀疏性和不完整性造成的小目标物体检测困难的问题，使得稀疏点云目标检测结果更加准确，提高小目标物体的检测精度。小目标物体的检测精度。小目标物体的检测精度。

【技术实现步骤摘要】
一种基于虚拟点云的三维目标检测方法和系统


[0001]本专利技术涉及目标检测
，具体涉及一种基于虚拟点云的三维目标检测方法和系统。

技术介绍

[0002]自动驾驶感知任务是指自动驾驶系统中的一项关键任务，旨在从环境中获取并理解各种传感器数据，以对周围环境进行感知和理解。感知任务对于自动驾驶系统的安全性和可靠性至关重要，它提供了关于道路、障碍物、交通标志、行人等的关键信息，用于决策和规划。
[0003]现有技术中，由于点云数据在空间上通常是稀疏和不完整的，造成数据稀疏性和不完整性，可能存在缺失或遮挡的情况，这给目标检测带来了额外的挑战。并且目标形状和尺度具有多样性，在三维场景中的目标形状和尺度各异，涵盖了各种物体类型和大小，对于一些具有复杂形状或小尺度的目标，检测的准确性可能会下降，难以从稀疏的点云中捕捉到细节信息。
[0004]因此有必要提供新的一种基于虚拟点云的三维目标检测方法和系统。

技术实现思路

[0005]基于现有技术中存在的上述问题，本专利技术实施例的目的在于提供一种基于虚拟点云的三维目标检测方法，用于解决由于点云数据自身的稀疏性和不完整性造成的小目标物体检测困难的问题，能够使得稀疏点云目标检测结果更加准确，提高小目标物体的检测精度。
[0006]为实现上述目的，本专利技术采用的技术方案是：一种基于虚拟点云的三维目标检测方法，包括：S1，获取数据集，将数据集划分为训练集和测试集；S2，将获取到的数据集进行预处理，生成虚拟点云数据；S3，构建基于虚拟点云的三维目标检测网络模型；S4，将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；S5，将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。
[0007]进一步的，S1中，所述获取数据集，包括：从公开数据集中获取若干幅带有标注信息的RGB图像、与每幅RGB图相对应场景的带有标注信息的点云数据、与RGB图相对齐的深度图以及用于RGB图像和点云数据相互转换的相机内参、外参校正文件。
[0008]进一步的，S2中，所述将获取到的数据集进行预处理，生成虚拟点云数据，包括：S2
‑
1，利用calib校正文件中的内参矩阵P、外参矩阵Tr、校正矩阵R、将原始点云数据中的点云映射到RGB图像像素点X；
S2
‑
2，通过步骤S2
‑
1能够得到每个像素点带有深度信息的稀疏深度图D，然后借助预设的深度补全网络PENet，对稀疏深度信息图D进行处理，可以得到稠密深度信息图D*；S2
‑
3，在RGB图上进行目标边缘检测，采用canny边缘检测算法进行目标检测；S2
‑
4，使用经过噪点去除的稠密信息图D*中带有深度信息的像素点生成虚拟点云。
[0009]进一步的，S2
‑
1中，像素点映射公式为：其中，X为图像像素点，为原始点云数据，Tr为外参矩阵，R为校正矩阵，P为内参矩阵。
[0010]进一步的，S2
‑
4中，点云映射公式为：其中，为虚拟点云数据，Tr为外参矩阵，R为校正矩阵，P为内参矩阵，X*为带有深度信息的像素点。
[0011]进一步的，S3中，所述基于虚拟点云的三维目标检测网络模型包括依次连接的点云体素化模块、辅助网络模块、点云特征提取模块、候选框生成模块和检测头模块。
[0012]进一步的，所述点云体素化模块对每帧的虚拟点云数据在X轴上裁剪保留[0,70.4]m范围，在Y轴上裁剪保留[
‑
40,40]m范围，在X轴上裁剪保留[
‑
3,1]m范围，每个体素的大小为[0.05, 0.05, 0.05]m，划分出若干体素。
[0013]进一步的，S5中，所述辅助网络模块包括点云坐标系转换模块、辅助网络标签生成模块、点云编解码模块和辅助网络检测模块。
[0014]进一步的，所述辅助网络标签生成模块包括首先利用虚拟点V来生成近似完整的点云目标A，在训练阶段通过获取到每个物体的标签来为虚拟点做镜像补点，同时判断每个物体与训练集中其他物体B的相似性得分，将其他物体的点云添加到待补点的物体中来获得完整点。不同物体的相似度判断公式为：其中，A为近似完整的点云目标，B为训练集中其他物体，P
A
为A点云目标所在集合，P
B
为B点云目标所在集合，D
A
为A的边界框，D
B
为B的边界框。αIoU计算A物体和B物体的边界框的交并比，用于判断两个边界框的相似度。
[0015]一种基于虚拟点云的三维目标检测系统，应用于上述基于虚拟点云的三维目标检测方法，所述三维目标检测系统包括：采集模块，用于获取数据集，将数据集划分为训练集和测试集；预处理模块，用于将获取到的数据集进行预处理，生成虚拟点云数据；建模模块，用于构建基于虚拟点云的三维目标检测网络模型；训练模块，用于将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；检测模块，用于将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。
[0016]本专利技术的有益效果是：本专利技术的基于虚拟点云的三维目标检测方法包括：获取数据集，将数据集划分为训练集和测试集；将获取到的数据集进行预处理，生成虚拟点云数据；构建基于虚拟点云的三维目标检测网络模型；将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。本专利技术能够解决由于点云数据自身的稀疏性和不完整性造成的小目标物体检测困难的问题，使得稀疏点云目标检测结果更加准确，提高小目标物体的检测精度。
附图说明
[0017]下面结合附图和实施例对本专利技术作进一步说明。
[0018]图中：图1为本专利技术实施例一提供的基于虚拟点云的三维目标检测方法的流程图；图2为本专利技术的实施例二提供的基于虚拟点云的三维目标检测系统的模块示意图；图3为本专利技术的实施例三提供的基于虚拟点云的三维目标检测系统的结构示意图。
具体实施方式
[0019]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]第一实施方式：本专利技术的第一实施方式提供了一种基于虚拟点云的三维目标检测方法，包括：获取数据集，将数据集划分为训练集和测试集；将获取到的数据集进行预处理，生成虚拟点云数据；构建基于虚拟点云的三维目标检测网络模型；将训练集生成的虚拟点云数据代入到基于虚拟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟点云的三维目标检测方法，其特征在于，包括：S1，获取数据集，将数据集划分为训练集和测试集；S2，将获取到的数据集进行预处理，生成虚拟点云数据；S3，构建基于虚拟点云的三维目标检测网络模型；S4，将训练集生成的虚拟点云数据代入到基于虚拟点云的三维目标检测网络模型进行迭代训练；S5，将测试集生成的虚拟点云数据代入到训练后的基于虚拟点云的三维目标检测网络模型进行预测结果，并检测每一帧点云场景中的物体。2.根据权利要求1所述的基于虚拟点云的三维目标检测方法，其特征在于，S1中，所述获取数据集，包括：从公开数据集中获取若干幅带有标注信息的RGB图像、与每幅RGB图相对应场景的带有标注信息的点云数据、与RGB图相对齐的深度图以及用于RGB图像和点云数据相互转换的相机内参、外参校正文件。3.根据权利要求1所述的基于虚拟点云的三维目标检测方法，其特征在于，S2中，所述将获取到的数据集进行预处理，生成虚拟点云数据，包括：S2
‑
1，利用calib校正文件中的内参矩阵P、外参矩阵Tr、校正矩阵R、将原始点云数据中的点云映射到RGB图像像素点X；S2
‑
2，通过步骤S2
‑
1能够得到每个像素点带有深度信息的稀疏深度图D，然后借助预设的深度补全网络PENet，对稀疏深度信息图D进行处理，可以得到稠密深度信息图D*；S2
‑
3，在RGB图上进行目标边缘检测，采用canny边缘检测算法进行目标检测；S2
‑
4，使用经过噪点去除的稠密信息图D*中带有深度信息的像素点生成虚拟点云。4.根据权利要求3所述的基于虚拟点云的三维目标检测方法，其特征在于，S2
‑
1中，像素点映射公式为：其中，X为图像像素点，为原始点云数据，Tr为外参矩阵，R为校正矩阵，P为内参矩阵。5.根据权利要求3所述的基于虚拟点云的三维目标检测方法，其特征在于，S2
‑
4中，点云映射公式为：其中，为虚拟点云数据，Tr为外参矩阵，R为校正矩阵，P为内参矩阵，X*为带有深度信息的像素点。6.根据权利要求1所述的基于虚拟点云的三维目标检测方法，其特征...

【专利技术属性】
技术研发人员：赵世伟，周翔，李鹏，彭丽君，项兰兰，闫胜业，
申请(专利权)人：江苏源驶科技有限公司，
类型：发明
国别省市：