【技术实现步骤摘要】
本专利技术属于三维目标检测，具体涉及一种基于视觉测距先验信息的三维目标检测方法。
技术介绍
1、目前，三维目标检测是计算机视觉和自动驾驶领域的一个热门研究方向，三维目标检测的主流方法有基于激光点云和基于多传感器的方法。其中，基于激光点云的方法大多采用点云的深度学习方法，虽然深度学习方法具有较强的的泛化能力和精度，但在获取大规模、多样化的点云数据集时比较困难，对点云数据的标注工作也较为繁琐和耗时。基于多传感器的方法中，最常使用的传感器有相机和激光雷达，因相机图像具有丰富的语义信息，而激光雷达的点云数据可以提供物体的距离信息，将它们融合使用可以弥补彼此的缺点，因此，融合激光雷达和相机的目标检测研究逐渐成为研究热点。
2、现有的基于相机和激光雷达融合的三维目标检测方法首先使用成熟的二维检测模型在图像中检测出物体并确定其边界框，然后在点云中生成对应视锥体，接着，针对视锥体内的点云数据，进行进一步的三维目标检测。
3、然而，由于图像缺乏深度信息，在视锥体内的进一步检测和定位任务往往受到限制。因此，在视锥体内确定目标深度是最终能否实现三维目标检测的关键。但目前尚未发现相关的文献。
技术实现思路
1、为了解决上述问题，本专利技术的目的在于提供一种基于视觉测距先验信息的三维目标检测方法。
2、为了达到上述目的，本专利技术提供的基于视觉测距先验信息的三维目标检测方法包括按顺序进行下列步骤：
3、步骤1)建立由激光雷达、相机和计算机组成的三维目标检测系统
4、步骤2)根据小孔成像模型建立上述三维目标检测系统中相机的投影模型；借助棋盘格标定板，根据单应矩阵映射原理和非线性优化原理完成相机内参的标定，根据3d点云和2d图像特征之间的对应关系完成相机外参标定；
5、步骤3)在使用激光雷达和相机采集点云数据和图像时，对点云数据和图像添加时间戳信息，并采用时间同步算法将点云数据和图像的时间戳对齐，由此完成相机和激光雷达的时间同步；
6、步骤4)采用相机从不同深度、不同角度采集足够数量的目标图像，应保证目标图像的全面性且不重复；并对目标图像进行筛选以保留高质量图像，然后进行手动标注，利用方形标注框标注出目标的位置而获得标注后的目标图像，由所有标注后的目标图像构成目标图像样本数据集，之后将目标图像样本数据集按比例划分成训练集和测试集：
7、步骤5)使用深度学习yolov7算法模型搭建原始二维目标检测模型，然后利用步骤4)获得的训练集、测试集分别对原始二维目标检测模型进行训练、评估和优化，从而建立起目标检测模型；然后将相机采集的原始目标图像输入上述目标检测模型，目标检测模型输出目标的二维检测框和类别；
8、步骤6)结合步骤2)中获得的相机内参和外参，对步骤5)中相机采集的原始目标图像所对应同一时刻的原始点云数据进行深度筛选、相机视场筛选和地面点云剔除在内的预处理，获得预处理后的目标点云数据；
9、步骤7)根据步骤2)获得的相机内参求出相机焦距，然后利用步骤5)获得的目标检测模型确定出待检测目标的图像宽度，之后由上述相机焦距和待检测目标的图像宽度并结合待检测目标的先验长度，根据相机成像原理计算得到待检测目标深度；
10、步骤8)利用步骤2)获得的相机内参和外参、步骤5)获得的目标的二维检测框和步骤6)获得的预处理后的目标点云数据，结合步骤7)获得的待检测目标深度，完成三维目标检测。
11、在步骤1)中，所述激光雷达为点云采集设备，采用固态激光雷达或机械式激光雷达；相机为图像采集设备，采用cmos相机或ccd相机；计算机为数据处理设备。
12、在步骤2)中，所述根据小孔成像模型建立上述三维目标检测系统中相机的投影模型；借助棋盘格标定板，根据单应矩阵映射原理和非线性优化原理完成相机内参的标定，根据3d点云和2d图像特征之间的对应关系完成相机外参标定的方法是：
13、所述的相机内参标定采用matlab中的标定工具箱或者opencv中的标定函数实现；
14、利用已进行过内参标定的相机和激光雷达分别采集多组不同角度和距离下的棋盘格标定板的图像和点云数据，以激光雷达坐标系作为世界坐标系，在计算机内提取出棋盘格标定板中特征点的像素坐标和世界坐标，并根据棋盘格标定板中特征点在像素坐标系和世界坐标系下的对应关系求出相机外参，方法是：利用opencv库提取棋盘格标定板图像中特征点的像素坐标，利用pcl库提取棋盘格标定板点云数据中特征点的世界坐标，然后根据特征点的像素坐标与世界坐标之间的关系建立如下方程：
15、
16、其中，s为相机的尺度因子，[ui vi]t和[xi yi zi]t分别为棋盘格标定板的特征点在像素坐标系和世界坐标系下的坐标，m为相机的内参矩阵，根据上式计算出相机的外参矩阵[r t]。
17、在步骤3)中，所述时间同步算法采用最近邻匹配法。
18、在步骤4)中，所述标注采用labellmg.exe标注方法；训练集和测试集的比例为8:2；目标包括飞机机翼、飞机尾翼、飞机发动机和汽车在内的实际长度可测量的物体。
19、在步骤5)中，所述使用深度学习yolov7算法模型搭建原始二维目标检测模型，然后利用步骤4)获得的训练集、测试集分别对原始二维目标检测模型进行训练、评估和优化，从而建立起目标检测模型的方法是：
20、使用步骤4)获得的训练集对原始二维目标检测模型进行训练，通过迭代优化损失函数，不断调整模型参数以提高检测性能，然后使用测试集对训练后的二维目标检测模型进行评估，计算检测精确度及平均精度以评估模型的准确性和效果，并根据评估结果优化二维目标检测模型，最后选择具有最佳检测性能的二维目标检测模型作为最终的目标检测模型。
21、在步骤6)中，所述结合步骤2)中获得的相机内参和外参，对步骤5)中相机采集的原始目标图像所对应的原始点云数据进行深度筛选、相机视场筛选和地面点云剔除在内的预处理，获得预处理后的目标点云数据的方法是：
22、对于待检测目标的原始点云数据，设定一个目标所在感兴趣区域的深度阈值，剔除该深度阈值范围以外的原始点云数据，获得深度筛选后的点云数据；然后利用步骤2)中获得的相机内参和外参，将深度筛选后的点云数据投影到相机的图像平面上，得到对应像素点的坐标，并判断每个像素点的坐标是否位于相机视场范围内，将位于相机视场范围内的像素点保留，获得相机视场内的点云数据；最后使用随机采样一致性方法拟合出地面点云并从相机视场内的点云数据中剔除，获得预处理后的目标点云数据。
23、在步骤7)中，所述根据步骤2)获得的相机内参求出相机焦距，然后利用步骤5)获得的目标检测模型确定出待检测目标的图像宽度，之后由上述相机焦距和待检测目标的图像宽度并结合待检测目标的先验长度，根据相机成像原理计算得到待检测目标深度的方法是本文档来自技高网...
【技术保护点】
1.一种基于视觉测距先验信息的三维目标检测方法，其特征在于：所述基于视觉测距先验信息的三维目标检测方法包括按顺序进行下列步骤：
2.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤1)中，所述激光雷达为点云采集设备，采用固态激光雷达或机械式激光雷达；相机为图像采集设备，采用CMOS相机或CCD相机；计算机为数据处理设备。
3.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤2)中，所述根据小孔成像模型建立上述三维目标检测系统中相机的投影模型；借助棋盘格标定板，根据单应矩阵映射原理和非线性优化原理完成相机内参的标定，根据3D点云和2D图像特征之间的对应关系完成相机外参标定的方法是：
4.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤3)中，所述时间同步算法采用最近邻匹配法。
5.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤4)中，所述标注采用labellmg.exe标注方法；训练集和测试集的比例为8:2；目标包
6.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤5)中，所述使用深度学习YOLOv7算法模型搭建原始二维目标检测模型，然后利用步骤4)获得的训练集、测试集分别对原始二维目标检测模型进行训练、评估和优化，从而建立起目标检测模型的方法是：
7.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤6)中，所述结合步骤2)中获得的相机内参和外参，对步骤5)中相机采集的原始目标图像所对应的原始点云数据进行深度筛选、相机视场筛选和地面点云剔除在内的预处理，获得预处理后的目标点云数据的方法是：
8.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤7)中，所述根据步骤2)获得的相机内参求出相机焦距，然后利用步骤5)获得的目标检测模型确定出待检测目标的图像宽度，之后由上述相机焦距和待检测目标的图像宽度并结合待检测目标的先验长度，根据相机成像原理计算得到待检测目标深度的方法是：
9.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤8)中，所述利用步骤2)获得的相机内参和外参、步骤5)获得的目标的二维检测框和步骤6)获得的预处理后的目标点云数据，结合步骤7)获得的待检测目标深度，完成三维目标检测的方法是：
...【技术特征摘要】
1.一种基于视觉测距先验信息的三维目标检测方法，其特征在于：所述基于视觉测距先验信息的三维目标检测方法包括按顺序进行下列步骤：
2.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤1)中，所述激光雷达为点云采集设备，采用固态激光雷达或机械式激光雷达；相机为图像采集设备，采用cmos相机或ccd相机；计算机为数据处理设备。
3.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤2)中，所述根据小孔成像模型建立上述三维目标检测系统中相机的投影模型；借助棋盘格标定板，根据单应矩阵映射原理和非线性优化原理完成相机内参的标定，根据3d点云和2d图像特征之间的对应关系完成相机外参标定的方法是：
4.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤3)中，所述时间同步算法采用最近邻匹配法。
5.根据权利要求1所述的基于视觉测距先验信息的三维目标检测方法，其特征在于：在步骤4)中，所述标注采用labellmg.exe标注方法；训练集和测试集的比例为8:2；目标包括飞机机翼、飞机尾翼、飞机发动机和汽车在内的实际长度可测量的物体。
6.根据权利要求1所述的基于视觉测距先验...
【专利技术属性】
技术研发人员：吴军，靳龙，黄硕，连劲松，郭润夏，杜海龙，陈玖圣，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。