一种目标融合感知方法技术

本发明专利技术涉及目标识别技术领域，公开了一种目标融合感知方法

【技术实现步骤摘要】
一种目标融合感知方法、装置、计算机设备及存储介质


[0001]本专利技术涉及目标识别
，具体涉及一种目标融合感知方法
、
装置
、
计算机设备及存储介质
。

技术介绍

[0002]对于工程机械而言，转向数字化
、
智能化是提升行业核心竞争力的必经之路
。
目前智能网联化的目标是在封闭
/
半封闭场景实现自动驾驶作业，而这一目标的实现依赖于设备对周围环境的感知结果并进行自主决策
。
于感知设备而言，摄像头受光照的影响较为敏感，且难以获取精确的目标深度信息，激光雷达的点云数据无法获取目标颜色
、
纹理等特征信息，所以仅依靠单一传感器已经无法满足自动驾驶对环境感知的要求，多传感器融合已经成为当前主流的环境感知方案
。
中国专利
CN113111887B
公开了一种基于相机和激光雷达信息融合的语义分割方法及系统，其主要内容为：首先使用深度神经网络在图像中确定目标物体的
2D
检测框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种目标融合感知方法，其特征在于，所述方法包括：对相机和激光雷达进行空间同步和时间同步；通过所述相机和所述激光雷达分别获取同一时刻的图像数据和点云数据，并分别对所述图像数据和所述点云数据进行目标识别，得到图像目标信息和点云目标信息，所述图像目标信息包括目标的
2D
检测框和第一目标置信度，所述点云目标信息包括目标的
3D
检测框和第二目标置信度，所述第一目标置信度和所述第二目标置信度均用于表示识别到的目标属于各个预设类别的概率；将所述
3D
检测框投影到所述图像数据的平面中；通过所述
2D
检测框和投影后的
3D
检测框之间的距离，判断所述图像目标信息和所述点云目标信息中分别识别的目标是否是相同目标；当所述图像目标信息和所述点云目标信息中分别识别的目标是相同目标时，根据所述第一目标置信度和所述第二目标置信度确定识别的相同目标的目标类别；将所述
3D
检测框和所述目标类别映射到所述图像数据中，得到目标融合检测结果
。2.
根据权利要求1所述的方法，其特征在于，所述通过所述
2D
检测框和投影后的
3D
检测框之间的距离判断所述图像目标信息和所述点云目标信息中分别识别的目标是否是相同目标，包括：计算所述投影后的
3D
检测框和所述
2D
检测框的中心点欧氏距离；当所述中心点欧氏距离小于等于预设距离阈值时，判定所述投影后的
3D
检测框和所述
2D
检测框识别的目标是相同目标
。3.
根据权利要求1所述的方法，其特征在于，所述根据所述第一目标置信度和所述第二目标置信度确定该相同目标的目标类别，包括：确定所述第一目标置信度和所述第二目标置信度中置信度最大的类别，并将所述置信度最大的类别作为所述目标类别
。4.
根据权利要求1所述的方法，其特征在于，所述图像数据中的目标通过
YOLOv7
模型进行识别，所述点云数据中的目标通过
PointPillars
模型进行识别；其中，所述
YOLOv7
模型和所述
PointPillars
模型在训练完成后均进行模型参数量化，所述模型参数的量化步骤通过下式进行：下式进行：下式进行：式中，
R
表示量化前的模型参数，
Q
表示量化后的模型参数，
S
表示量化后可表示的最小刻度，
Z
表示量化前的0点对应的量化后的值，
R
max
和
R
min
分别表示量化前的模型参数的数据类型对应的取值范围，
Q
max
和
Q
min
分别表示量化后的模型参数的数据类型对应的取值范围，所述量化前的模型参数为浮点型，所述量化后的模型参数为定点整型
。5.
根据权利要求4所述的方法，其特征在于，所述分别对所述图像数据和点云数据进行
目标识别，包括：将所述图像数据输入所述
YOLOv7
模型，输出第一结果图像；将所述第一结果图像与反量化比例相乘，得到第二结果图像；获取所述第二结果图像中的
2D
检测框
、
第一目标类别信息和所述第一目标类别信息对应的第一目标置信度，所述第一目标类别信息包括多个所述预设类别；将所述点云数据纳入多个体素中，得到体素集；从前视和俯视角度分别对所述体素集进行投影映射处理，得到多个伪图像；将所述伪图像输入所述
PointPillars
模型，输出第一结果点云；将所述第一结果点云与所述反量化比例相乘，得到第二结果点云；获取所述第二结果点云中的
3D
检测框
、
第二目标类别信息和所述第二类别信息对应的第二目标置信度，所述第二目标类别信...

【专利技术属性】
技术研发人员：张兰心，贾成禹，杨达，
申请(专利权)人：三一汽车制造有限公司，
类型：发明
国别省市：