目标检测方法和装置、电子设备、无人车和存储介质制造方法及图纸

本公开涉及一种目标检测方法和装置、电子设备、无人车和存储介质。该目标检测方法包括：获取图像信号和激光雷达信号；根据图像信号确定目标物体的分类预测图、位姿预测图和深度信息预测图；根据激光雷达信号对目标物体的深度信息预测图进行校正；根据目标的分类预测图、位姿预测图和校正后的深度信息预测图确定三维目标物体的检测输出结果。本公开通过引入激光雷达信号作为模型的辅助输入，可以弥补单一图像信号的缺陷，得到更加准确的3D目标检测输出。出。出。

【技术实现步骤摘要】
目标检测方法和装置、电子设备、无人车和存储介质


[0001]本公开涉及目标检测领域，尤其涉及无人驾驶领域，特别涉及一种目标检测方法和装置、电子设备、无人车和存储介质。

技术介绍

[0002]目前，无人驾驶设备用于将人或者物从一个位置自动运送到另一个位置，无人驾驶设备通过设备上的传感器采集环境信息并完成自动运送。基于无人驾驶技术控制的无人配送车进行物流运输极大地提高了生产生活的便捷性，节约了人力成本。
[0003]在无人驾驶或自动驾驶领域，通常需要通过图像信号进行3D目标检测。典型的3D目标检测方法将单目相机拍摄的图像作为实时输入，通过神经网络模型预测出场景中目标物体的3D位姿信息，实现对场景的智能感知。相关技术的3D目标检测方法大多依赖单一的图像输入信号，利用模型对其提取特征，得到场景的分类预测图、位姿预测图和目标物体中心深度预测图。随后对它们实施解码操作，得到最终的检测输出结果。

技术实现思路

[0004]专利技术人通过研究发现：相关技术的3D目标检测方法由于图像中缺少场景的深度信息，相关技术方法最大的难点在于无法得到准确的目标物体中心深度预测图，模型的精度往往很低。
[0005]鉴于以上技术问题中的至少一项，本公开提供了一种目标检测方法和装置、电子设备、无人车和存储介质，通过引入激光雷达信号作为模型的辅助输入，可以弥补单一图像信号的缺陷，得到更加准确的3D目标检测输出。
[0006]根据本公开的一个方面，提供一种目标检测方法，包括：
[0007]获取图像信号和激光雷达信号；
[0008]根据图像信号确定目标物体的分类预测图、位姿预测图和深度信息预测图；
[0009]根据激光雷达信号对目标物体的深度信息预测图进行校正；
[0010]根据目标的分类预测图、位姿预测图和校正后的深度信息预测图确定三维目标物体的检测输出结果。
[0011]在本公开的一些实施例中，所述深度信息预测图包括目标物体所在场景的表面深度预测图。
[0012]在本公开的一些实施例中，所述根据激光雷达信号对目标物体的深度信息预测图进行校正包括：
[0013]根据目标物体所在场景的表面深度预测图和激光雷达信号，确定深度校正图；
[0014]根据深度校正图对目标物体的深度信息预测图进行校正。
[0015]在本公开的一些实施例中，所述根据目标物体所在场景的表面深度预测图和激光雷达信号，确定深度校正图包括：
[0016]根据目标物体所在场景的表面深度预测图确定预测雷达信号；
[0017]对预测雷达信号和激光雷达信号进行低通滤波，得到预测雷达平滑信号和激光雷达平滑信号；
[0018]对预测雷达平滑信号和激光雷达平滑信号进行差分低通滤波，确定深度校正图。
[0019]在本公开的一些实施例中，所述根据目标物体所在场景的表面深度预测图确定预测雷达信号包括：
[0020]根据目标物体所在场景的表面深度预测图和雷达信号的掩膜信号，确定预测雷达信号。
[0021]在本公开的一些实施例中，所述对预测雷达平滑信号和激光雷达平滑信号进行差分低通滤波，确定深度校正图包括：
[0022]对预测雷达平滑信号和激光雷达平滑信号求差，确定差分图；
[0023]对所述差分图进行低通滤波，确定深度校正图。
[0024]在本公开的一些实施例中，所述深度信息预测图还包括目标物体的中心深度预测图。
[0025]在本公开的一些实施例中，所述根据图像信号确定目标物体的分类预测图、位姿预测图和深度信息预测图包括：
[0026]根据图像信号确定目标物体的分类预测图、目标物体的位姿预测图和目标物体所在场景的表面深度预测图；
[0027]根据目标物体的位姿预测图和目标物体所在场景的表面深度预测图，确定目标物体的中心深度预测图。
[0028]在本公开的一些实施例中，所述根据深度校正图对目标物体的深度信息预测图进行校正包括：
[0029]根据深度校正图对目标物体的中心深度预测图进行校正，得到校正后的中心深度预测图。
[0030]在本公开的一些实施例中，所述根据目标的分类预测图、位姿预测图和校正后的深度信息预测图确定三维目标物体的检测输出结果包括：
[0031]对目标的分类预测图、位姿预测图和校正后的目标物体中心深度预测图进行目标界面解码，得到目标物体位姿信息；
[0032]将目标物体位姿信息和目标物体所在场景的表面深度预测图，作为检测结果输出。
[0033]在本公开的一些实施例中，所述获取激光雷达信号包括：
[0034]将激光雷达原始扫描数据根据相机外参与内参投影到图像坐标系后的稀疏深度图，作为激光雷达信号。
[0035]根据本公开的另一方面，提供一种目标检测装置，包括：
[0036]信号获取模块，被配置为获取图像信号和激光雷达信号；
[0037]预测图确定模块，被配置为根据图像信号确定目标物体的分类预测图、位姿预测图和深度信息预测图；
[0038]深度校正模块，被配置为根据激光雷达信号对目标物体的深度信息预测图进行校正；
[0039]检测结果确定模块，被配置为根据目标的分类预测图、位姿预测图和校正后的深
度信息预测图确定三维目标物体的检测输出结果。
[0040]在本公开的一些实施例中，所述深度信息预测图包括目标物体所在场景的表面深度预测图。
[0041]在本公开的一些实施例中，深度校正模块包括校正图确定单元和深度校正单元，其中：
[0042]校正图确定单元，被配置为根据目标物体所在场景的表面深度预测图和激光雷达信号，确定深度校正图；
[0043]深度校正单元，被配置为根据深度校正图对目标物体的深度信息预测图进行校正。
[0044]在本公开的一些实施例中，校正图确定单元，被配置为根据目标物体所在场景的表面深度预测图确定预测雷达信号；对预测雷达信号和激光雷达信号进行低通滤波，得到预测雷达平滑信号和激光雷达平滑信号；对预测雷达平滑信号和激光雷达平滑信号进行差分低通滤波，确定深度校正图。
[0045]在本公开的一些实施例中，校正图确定单元，被配置为在根据目标物体所在场景的表面深度预测图确定预测雷达信号的情况下，根据目标物体所在场景的表面深度预测图和雷达信号的掩膜信号，确定预测雷达信号。
[0046]在本公开的一些实施例中，校正图确定单元，被配置为在对预测雷达平滑信号和激光雷达平滑信号进行差分低通滤波，确定深度校正图的情况下，对预测雷达平滑信号和激光雷达平滑信号求差，确定差分图；对所述差分图进行低通滤波，确定深度校正图。
[0047]在本公开的一些实施例中，所述深度信息预测图还包括目标物体的中心深度预测图。
[0048]在本公开的一些实施例中，所述预测图确定模块，被配置为根据图像信号确定目标物体的分类预测图、目标物体的位姿预测图和目标物体所在场景的表面深度预测图；根据目标物体的位姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，包括：获取图像信号和激光雷达信号；根据图像信号确定目标物体的分类预测图、位姿预测图和深度信息预测图；根据激光雷达信号对目标物体的深度信息预测图进行校正；根据目标的分类预测图、位姿预测图和校正后的深度信息预测图确定三维目标物体的检测输出结果。2.根据权利要求1所述的目标检测方法，其中，所述深度信息预测图包括目标物体所在场景的表面深度预测图；所述根据激光雷达信号对目标物体的深度信息预测图进行校正包括：根据目标物体所在场景的表面深度预测图和激光雷达信号，确定深度校正图；根据深度校正图对目标物体的深度信息预测图进行校正。3.根据权利要求2所述的目标检测方法，其中，所述根据目标物体所在场景的表面深度预测图和激光雷达信号，确定深度校正图包括：根据目标物体所在场景的表面深度预测图确定预测雷达信号；对预测雷达信号和激光雷达信号进行低通滤波，得到预测雷达平滑信号和激光雷达平滑信号；对预测雷达平滑信号和激光雷达平滑信号进行差分低通滤波，确定深度校正图。4.根据权利要求3所述的目标检测方法，其中，所述根据目标物体所在场景的表面深度预测图确定预测雷达信号包括：根据目标物体所在场景的表面深度预测图和雷达信号的掩膜信号，确定预测雷达信号。5.根据权利要求3所述的目标检测方法，其中，所述对预测雷达平滑信号和激光雷达平滑信号进行差分低通滤波，确定深度校正图包括：对预测雷达平滑信号和激光雷达平滑信号求差，确定差分图；对所述差分图进行低通滤波，确定深度校正图。6.根据权利要求2
‑
5中任一项所述的目标检测方法，其中，所述深度信息预测图还包括目标物体的中心深度预测图；所述根据图像信号确定目标物体的分类预测图、位姿预测图和深度信息预测图包括：根据图像信号确定目标物体的分类预测图、目标物体的位姿预测图和目标物体所在场景的表面深度预测图；根据目标物体的位姿预测图和目标物体所在场景的表面深度预测图，确定目标物体的中心深度预测图。7.根据权利要求6所述的目标检测方法，其中，所述根据深度校正图对目标物体的深度信息预测图进行校正包括：根据深度校正图对目标物体的中心深度预测图进行校正，得到校正后的中心深度预测图。8.根据权利要求7所述的目标检测方法，其中，所述根据目标的分类预测图、位姿预测图和校正后的深度信息预测图确定三维目标物体的检测输出结果包括：对目标的分类预测图、位姿预测图和校正后的目标物体中心深度预测图进行目标界面
解码，得到目标物体位姿信息；将目标物体位姿信息和目标物体所在场景的表面深度预测图，作为检测结果输出。9.根据权利要求1
‑
5中任一项所述的目标检测方法，其中，所述获取激光雷达信号包括：将激光雷达原始扫描数据根据相机外参与内参投影到图像坐标系后的稀疏深度图，作为激光雷达信号。10.一种目标检测装置，包括：信号获取模块，被配置为获取图像信号和激光雷达信号；预测图确定模块，被配置为根据图像信号确定目标物体的分类预测图、位姿预测图和深度信息预测图；深度校正模块，被配置为根据激光雷达信号对目标物体的深度信息预测图进行校正；检测结果确定...

【专利技术属性】
技术研发人员：姚卓坤，
申请(专利权)人：北京京东乾石科技有限公司，
类型：发明
国别省市：