一种三维目标检测方法、装置及计算机存储介质制造方法及图纸

本发明专利技术公开了一种三维目标检测方法、装置及计算机存储介质，所述三维目标检测方法包括：对基于车载摄像头采集的图像数据进行语义分割预测；将语义分割结果与基于车载激光雷达采集的点云数据进行融合；将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息。本发明专利技术提供的一种三维目标检测方法、装置及计算机存储介质，首先对图像进行基于语义分割的目标检测，识别出目标的前景和背景像素区域，然后将识别的图像语义信息投影到点云中，进一步转换为鸟瞰图后，进行后续的三维目标检测，采用串行方式的融合，解决了相机图像转换成鸟瞰图的困难，提升了点云针对行人等小目标的检测性能。性能。性能。

【技术实现步骤摘要】
一种三维目标检测方法、装置及计算机存储介质


[0001]本专利技术涉及计算机图像处理
，特别是涉及一种三维目标检测方法、装置及计算机存储介质。

技术介绍

[0002]三维目标检测是自动驾驶感知系统的核心，通常带有相应三维点云的立体/单目图像的传感器已经是三维目标检测的标准配置，能够提供准确的深度信息。点云的使用越来越普遍，尽管已有很多进展，但由于点云本质上的高度稀疏性和不规则性，以及相机视图和激光雷达鸟瞰视图之间的不对齐，导致模态协同、遮挡和远距离尺度变化等原因，使得在点云上的三维目标检测仍处于初级阶段。
[0003]目前，用于自动驾驶的三维目标检测在很大程度上依赖于激光雷达提供信息丰富的周围信息，但由于固有的安全风险(如破坏、不利条件和盲点等)，过度依赖单个传感器是不够明智的。此外，远距离点云的低分辨率和较差的纹理信息也带来了巨大的挑战，当距离较远时，在激光雷达模式中更难区分行人和路标，显然，每种传感器类型都有其缺陷。因此，有必要提出一种三维目标检测方法，以解决上述问题。

技术实现思路

[0004]本专利技术的目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维目标检测方法，其特征在于，所述三维目标检测方法包括：对基于车载摄像头采集的图像数据进行语义分割预测；将语义分割结果与基于车载激光雷达采集的点云数据进行融合；将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息。2.根据权利要求1所述的三维目标检测方法，其特征在于，所述对基于车载摄像头采集的图像数据进行语义分割预测，包括：将所述图像数据输入卷积神经网络PSPNet中进行所述语义分割预测；输出语义分割预测的特征图；对所述语义分割预测的特征图进行最小区域连通面积过滤和噪点去除；输出所述语义分割结果。3.根据权利要求2所述的三维目标检测方法，其特征在于，所述将所述图像数据输入卷积神经网络PSPNet中进行所述语义分割预测，包括：对所述图像数据的目标区域进行手动标记；将所述图像数据转换为数字信号并读取到内存中；对所述图像数据进行尺寸归一化；构建卷积神经网络PSPNet，将进行手动标记后的图像数据作为所述卷积神经网络PSPNet的输入；对所述卷积神经网络PSPNet按照第一预设迭代次数进行训练；输出所述卷积神经网络PSPNet最佳的权重参数。4.根据权利要求1所述的三维目标检测方法，其特征在于，所述将语义分割结果与基于车载激光雷达采集的点云数据进行融合，包括：基于相机内外参数，将所述点云数据投影到图像坐标中；将所述语义分割结果添加到投影后的点云数据中。5.根据权利要求1所述的三维目标检测方法，其特征在于，所述将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息，包括：将所述融合所述语义分割结果后的点云数据进行体素化处理；将进行体素化处理后的所述融合所述语义分割结果后的点云数据输入卷积神经网络PointPillars中进行三维目标检测；计算候选三维边界框之间的交并比；基于3D
‑
NMS，从所述候选三维边界框中筛选出目标三维边界框；输出所述目标三维边界框的...

【专利技术属性】
技术研发人员：王鑫琛，徐高伟，王逸平，陈大宇，于诗梦，吴建康，董树才，邢少杰，
申请(专利权)人：智马达上海机器人科技有限公司，
类型：发明
国别省市：