一种基于环境感知的3D目标检测方法及系统技术方案

本发明专利技术公开了一种基于环境感知的3D目标检测方法及系统，构建基于激光SLAM的静态全局地图，并与得到的点云数据进行配准，确定AGV小车在静态全局地图中的位置信息；将配准好的3D点云信息投影到2D像素空间，保存2D像素坐标和3D点云之间的映射关系，得到相机和激光雷达的融合数据；获取障碍物的类别和2D检测框，并反向搜索融合数据，筛选出包含在2D检测框中的点云信息；建立不同障碍物的仿真模型并转为对应的模板点云，再将模板点云位姿变换后替代真实点云并扩充；将得到的静态全局地图中的目标点云作为单机感知结果上传云端进行感知融合，实现基于环境感知的3D目标检测。本发明专利技术不需要真实的3D标签，而是依赖于容易获取的2D目标检测结果进行训练。结果进行训练。结果进行训练。

【技术实现步骤摘要】
一种基于环境感知的3D目标检测方法及系统


[0001]本专利技术属于嵌入式环境感知
，具体涉及一种基于环境感知的3D目标检测方法及系统。

技术介绍

[0002]环境感知系统的硬件基础是多种传感器以及它们的组合，而软件方面的核心则是感知算法。环境感知是根据自主智能体基于多种传感器采集周边环境信息，根据设定的感知算法，识别环境中重要的目标信息比如静态和动态障碍物。
[0003]不同的传感器有着不同的特性，各自都有优缺点，因此也适用于不同的任务。摄像头是感知系统中最常用的传感器，优势在于能够提取丰富的纹理和颜色信息，因此适用于目标的分类。但是其缺点在于对于距离的感知能力较弱，并且受光照条件影响较大。激光雷达在一定程度上弥补了摄像头的缺点，可以精确的感知物体的距离和形状，因此适用于中近距的目标检测和测距。但是其缺点在于成本较高，量产难度大。在本专利技术中，相机获取的信息用来进行2D目标检测。使用2D目标检测结果和激光雷达采集的点云数据进行3D目标检测。
[0004]传统的3D目标检测方法主要基于手工提取特征；传统检测算法流程概括如下：
[0005]1.选取感兴趣区域，选取可能包含物体的区域；
[0006]2.对可能包含物体的区域进行特征提取；
[0007]3.对提取的特征进行检测分类。
[0008]存在以下缺点：
[0009]1.识别效果不够好，准确率不高；
[0010]2.计算量比较大，运算速度慢；
[0011]3.可能产生多个正确识别的结果。<br/>[0012]卷积神经网络兴起后，目标检测领域出现了新的思路。基于CNNs的目标检测算法主要有两条技术发展路线：anchor
‑
based和anchor
‑
free方法，而anchor
‑
based方法则包括一阶段和二阶段检测算法(二阶段目标检测算法一般比一阶段精度要高，但一阶段检测算法速度会更快)。二阶段检测算法主要分为以下两个阶段Stage1：从图像中生成region proposals。Stage2：从region proposals生成最终的物体边框。
[0013]基于Anchor的目标检测算法存在以下缺点：
[0014]1.Anchor的大小，数量，长宽比对于检测性能的影响很大(通过改变这些超参数Retinanet在COCO benchmark上面提升了4％的AP)，因此Anchor based的检测性能对于anchor的大小、数量和长宽比都非常敏感；
[0015]2.固定的Anchor极大地损害了检测器的普适性，导致对于不同任务，其Anchor都必须重新设置大小和长宽比；
[0016]3.为了去匹配真实框，需要生成大量的Anchor，但是大部分的Anchor在训练时标记为负样本，所以造成样本极度不均衡问题；
[0017]4.在训练中，网络需要计算所有Anchor与真实框的IOU，这样就会消耗大量内存和时间。
[0018]基于anchor free方法的缺点：
[0019]1.正负样本极端不平衡
[0020]2.语义模糊性(两个目标中心点重叠)现在这两者大多是采用Focus Loss和FPN来缓解的，但并没有真正解决。
[0021]3.检测结果不稳定，需要设计更多的方法来进行re
‑
weight。

技术实现思路

[0022]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于环境感知的3D目标检测方法及系统，用于解决采用弱监督方式处理真实场景中真实3D标签制作成本高，无法进行大规模3D目标检测训练的技术问题。
[0023]本专利技术采用以下技术方案：
[0024]一种基于环境感知的3D目标检测方法，包括以下步骤：
[0025]S1、对AGV小车当前行进方向的点云数据进行预处理；
[0026]S2、构建基于激光SLAM的静态全局地图，并与步骤S1得到的点云数据进行配准，确定AGV小车在静态全局地图中的位置信息；
[0027]S3、步骤S2完成后，将相机和激光雷达进行联合标定，将配准好的3D点云信息投影到2D像素空间，并用一个6维数据结构保存2D像素坐标和3D点云之间的映射关系，得到相机和激光雷达的融合数据；基于AGV小车采集的RGB图像进行2D目标检测，获取障碍物的类别和2D检测框，并反向搜索融合数据，筛选出包含在2D检测框中的点云信息；
[0028]S4、建立不同障碍物的仿真模型并转为对应的模板点云，再将模板点云位姿变换后替代真实点云，对步骤S3得到的目标对象点云进行扩充；
[0029]S5、采用MQTT通信方式将步骤S4得到的静态全局地图中的目标点云作为单机感知结果上传云端进行感知融合，实现基于环境感知的3D目标检测。
[0030]具体的，步骤S1中，对AGV小车当前行进方向的点云数据进行预处理具体为：
[0031]采用直通滤波方式对点云数据进行裁剪，在点云的指定维度上设置阈值，将对应维度上的数据分为在阈值范围内和不在阈值范围内，剔除不在阈值范围内的点云数据。
[0032]进一步的，采用阈值法去除地面点云数据。
[0033]具体的，步骤S2中，位置信息中融合有里程计和匹配定位信息，里程计的信息集成IMU合成定位信息，将定位信息与静态地图进行匹配，维护里程计定位和实际定位的偏差。
[0034]具体的，步骤S3具体为：
[0035]利用二维目标检测方法在RGB图像中定位到2D目标框，并对2D目标框的内容完成分类任务；
[0036]将采集到的点云数据通过相机参数映射到二维平面，然后根据2D目标检测的Bounding boxes筛选位于2D检测框内的点云，得到ROI区域的点云。
[0037]进一步的，对于干扰点云，预估目标点云的深度区间，对ROI区域中的点云进行过滤，然后对点云进行聚类操作。
[0038]进一步的，筛选包括有效深度区间筛选、聚类运算、点云簇打分机制。
[0039]更进一步的，2D目标检测结果包括目标检测得到的box的左上角点信息、检测框的大小、置信度以及时间戳；
[0040]目标点云包括当前AGV小车在全局坐标系下的具体位置，3D检测框的定位角点、点云数、置信度以及障碍物类别。
[0041]具体的，步骤S4中，通过CAD建立不同类别障碍物的仿真模型，再转化成点云，将仿真点云作为对应类别障碍物的模板点云；将检测的点云和模板点云进行特征匹配，得到真实点云的类别以及相对于模板点云的位姿；通过相对位姿将模板点云调整到真实点云的位置，再将调整后的模板点云用于后续的检测工作。
[0042]第二方面，本专利技术实施例提供了一种基于环境感知的目标检测系统，包括：
[0043]数据模块，对AGV小车当前行进方向的点云数据进行预处理；
[0044]地图模块，构建基于激光SLAM的静态全局地图，并与数据模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于环境感知的3D目标检测方法，其特征在于，包括以下步骤：S1、对AGV小车当前行进方向的点云数据进行预处理；S2、构建基于激光SLAM的静态全局地图，并与步骤S1得到的点云数据进行配准，确定AGV小车在静态全局地图中的位置信息；S3、步骤S2完成后，将相机和激光雷达进行联合标定，将配准好的3D点云信息投影到2D像素空间，并用一个6维数据结构保存2D像素坐标和3D点云之间的映射关系，得到相机和激光雷达的融合数据；基于AGV小车采集的RGB图像进行2D目标检测，获取障碍物的类别和2D检测框，并反向搜索融合数据，筛选出包含在2D检测框中的点云信息；S4、建立不同障碍物的仿真模型并转为对应的模板点云，再将模板点云位姿变换后替代真实点云，对步骤S3得到的目标对象点云进行扩充；S5、采用MQTT通信方式将步骤S4得到的静态全局地图中的目标点云作为单机感知结果上传云端进行感知融合，实现基于环境感知的3D目标检测。2.根据权利要求1所述的基于环境感知的3D目标检测方法，其特征在于，步骤S1中，对AGV小车当前行进方向的点云数据进行预处理具体为：采用直通滤波方式对点云数据进行裁剪，在点云的指定维度上设置阈值，将对应维度上的数据分为在阈值范围内和不在阈值范围内，剔除不在阈值范围内的点云数据。3.根据权利要求2所述的基于环境感知的3D目标检测方法，其特征在于，采用阈值法去除地面点云数据。4.根据权利要求1所述的基于环境感知的3D目标检测方法，其特征在于，步骤S2中，位置信息中融合有里程计和匹配定位信息，里程计的信息集成IMU合成定位信息，将定位信息与静态地图进行匹配，维护里程计定位和实际定位的偏差。5.根据权利要求1所述的基于环境感知的3D目标检测方法，其特征在于，步骤S3具体为：利用二维目标检测方法在RGB图像中定位到2D目标框，并对2D目标框的内容完成分类任务；将采集到的点云数据通过相机参数映射到二维平面，然后根据2D目标检测的Bounding boxes筛选位于2D检测框内的点云，得到ROI区域的点云...

【专利技术属性】
技术研发人员：杨勐，温源，丁焱，陈荣海，王荣鑫，吴江凡，任鹏举，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：