基于物体通用特征的目标检测方法、装置、设备及介质制造方法及图纸

本申请涉及一种基于物体通用特征的目标检测方法、装置、设备及介质，其中，方法包括：通过获取激光雷达点云图像、可见光图像和热红外图像，将激光雷达点云图像输入至预设的骨干网络，提取点云特征，并根据可见光图像和热红外图像融合得到双光融合图像，从双光融合图像中提取目标图像特征，并基于预设的鸟瞰图空间，对目标图像特征和点云特征进行跨模态融合，将融合结果在鸟瞰图空间进行目标检测。由此，解决了相关技术中的目标检测方法无法获取检测任务的深度信息，从而不能满足环境感知系统在各个领域中的各种复杂场景等问题，通过对不同传感器采集的数据提取中间层特征，并对传感器有效特征进行融合，从而达到目标检测的最佳推理效果。理效果。理效果。

【技术实现步骤摘要】
基于物体通用特征的目标检测方法、装置、设备及介质


[0001]本申请涉及物体通用特征提取和多传感器特征融合
，特别涉及一种基于物体通用特征的目标检测方法、装置、设备及介质。

技术介绍

[0002]随着用于环境感知任务的多传感器融合方法的快速发展，逐渐形成了从多传感器特征表示，到更复杂、稳健的多传感器融合深度学习模型和技术。其中，根据融合规则可以将多传感器融合方法分为前融合、特征融合和后融合三大类，分别对应数据级、特征级和目标级融合，而特征融合是多传感器融合的主要发展趋势。
[0003]相关技术中，大多采用前融合方法以达到使用多模态传感器融合来检测目标的目的，即通过数据级处理技术对传感器采集的数据进行融合并提取物体特征。
[0004]然而，前融合方法在检测目标时，易造成大量的资源浪费且在不同传感器信息融合后会出现信息冗余的情况，导致数据和算力的损耗；同时，在通过前融合方法检测目标后，环境噪声也会容易影响特征提取的质量，从而不能满足环境感知系统在各个领域中的各种复杂场景。

技术实现思路

[0005]本申请提供一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于物体通用特征的目标检测方法，其特征在于，包括以下步骤：获取激光雷达采集的激光雷达点云图像、可见光相机采集的可见光图像和红外相机采集的热红外图像；将所述激光雷达点云图像输入至预设的骨干网络，基于多尺度点云分割网络分割点云特征，提取得到所述激光雷达点云图像的点云特征，并根据所述可见光图像和所述热红外图像融合得到双光融合图像；以及从所述双光图像中提取目标图像特征，并基于预设的鸟瞰图空间，对所述目标图像特征和所述点云特征进行跨模态融合，并基于跨模态融合结果在所述鸟瞰图空间进行目标检测。2.根据权利要求1所述的方法，其特征在于，获取所述激光雷达采集的激光雷达点云图像、可见光相机采集的可见光图像和红外相机采集的热红外图像之前，还包括：根据预设标定策略，对所述激光雷达点云图像进行外参标定，并对所述可见光图像和所述热红外图像进行内参标定；同步所述可见光相机和所述红外相机的时间戳。3.根据权利要求1所述的方法，其特征在于，根据所述可见光图像和所述热红外图像融合得到双光融合图像，包括：采集转换后的所述可见光图像和所述热红外图像，生成已转换可见光图像和已转换热红外图像；基于预设的变换模型，分别配准所述已转换可见光图像和所述已转换热红外图像，得到已配准可见光图像和已配准热红外图像，其中，所述预设的变换模型为：其中，(x
i
,y
i
)和(x,y)分别为可见光图像和红外图像下的坐标，(t
x
,t
y
)为偏移矩阵；基于预设的双判别器生成对抗网络分别融合高分辨率的转换可见光图像和低分辨率的已配准热红外图像，得到双光融合图像。4.根据权利要求1所述的方法，其特征在于，从所述双光图像中提取目标图像特征，并基于预设的鸟瞰图空间，对所述目标图像特征和所述点云特征进行跨模态融合，并基于跨模态融合结果在所述鸟瞰图空间进行目标检测，包括：基于ResNet101骨干网络提取所述双光图像的2D图像特征，并利用BEVFormer网络将所述双光融合图像的2D图像特征转化到所述预设的鸟瞰图空间的3D点云特征，得到所述预设的鸟瞰图空间点云特征；利用预设的融合加权算法，对所述激光雷点云特征和所述预设的鸟瞰图空间点云特征进行跨模态融合，得到所述跨模态融合结果；基于所述跨模态融合结果在所述鸟瞰图空间进行目标检测。5.一种基于物体通用特征的目标检测装置，其特征在于，包括：获取模块，用于获取激光雷达采集的激光雷达点云图像、可见光相机采集的可见光图像和红外相机采集的热...

【专利技术属性】
技术研发人员：刘欢，汪娟，闫亚庆，徐铎，
申请(专利权)人：雄狮汽车科技南京有限公司奇瑞汽车股份有限公司，
类型：发明
国别省市：