一种基于相机与毫米波雷达的目标检测方法及装置制造方法及图纸

本申请公开了一种基于相机与毫米波雷达的目标检测方法及装置。先将毫米波雷达点云转换为深度图，将其与拆分后的相机图片拼接得到四通道图，再对所述四通道图进行特征提取，以输入到yolov5目标检测模型，最终获得包含距离信息的检测框图，将之与获取的速度信息融合得到包含空间信息的检测框图。由毫米波雷达点云生成的深度图可以提供目标的距离信息，同时提高抗干扰能力，并且毫米波雷达可提供目标的速度信息，用于获得同时包含距离和速度信息的检测框图。利用毫米波雷达点云与相机图片融合得到的四通道图，将yolov5目标检测模型的输入信息从RGB三通道扩展成为RGBD四通道，可提高信息输入量和目标检测的准确度。息输入量和目标检测的准确度。息输入量和目标检测的准确度。

【技术实现步骤摘要】
一种基于相机与毫米波雷达的目标检测方法及装置


[0001]本申请涉及目标检测
，特别涉及一种基于相机与毫米波雷达的目标检测方法及装置。

技术介绍

[0002]近年来，目标检测因其广泛的应用和近年来的技术突破而受到越来越多的关注。它是一种与计算机视觉和图像处理相关的计算机技术，用于检测数字图像和视频中某一对象(如人、建筑物或汽车)的实例。
[0003]现有技术中，目标检测技术往往仅使用图像进行检测，无法得到目标的空间信息，且易受干扰。因此，如何获得准确且包含空间信息的目标检测结果，成为了亟需解决的问题。

技术实现思路

[0004]基于上述问题，本申请提供了一种基于相机与毫米波雷达的目标检测方法及装置，以获得准确且包含空间信息的目标检测结果。
[0005]本申请公开了一种基于相机与毫米波雷达的目标检测方法，所述方法包括：
[0006]将毫米波雷达点云转换为深度图；
[0007]基于所述深度图与拆分后的相机图片，得到四通道图；
[0008]对所述四通道图进行特征提取；<br/>[0009]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于相机与毫米波雷达的目标检测方法，其特征在于，包括：将毫米波雷达点云转换为深度图；基于所述深度图与拆分后的相机图片，得到四通道图；对所述四通道图进行特征提取；将提取出的特征数据输入yolov5目标检测模型中，得到包含距离信息的检测框图；将通过毫米波雷达获取的速度信息与所述包含距离信息的检测框图融合，得到包含空间信息的检测框图。2.根据权利要求1所述的方法，其特征在于，所述将毫米波雷达点云转换为深度图，包括：根据毫米波雷达与相机的相对位置，将所述毫米波雷达点云投影到相机坐标系以获取深度图。3.根据权利要求2所述的方法，其特征在于，所述将所述毫米波雷达点云投影到相机坐标系以获取深度图，包括：根据毫米波雷达坐标系和相机坐标系，获取并合并旋转矩阵与平移向量，得到变换矩阵；将所述毫米波雷达坐标系中的初始坐标与所述变换矩阵、相机内参和修正矩阵进行矩阵相乘，得到所述相机坐标系中与所述初始目标对应的投影坐标；基于所述投影坐标获取所述深度图。4.根据权利要求1所述的方法，其特征在于，所述基于所述深度图与拆分后的相机图片，得到四通道图，包括：通过RGB三条通道将所述相机图片拆分，得到与所述三条通道对应的三张图片；将所述三张图片与所述深度图拼接得到四通道图。5.根据权利要求1所述的方法，其特征在于，所述将提取出的特征数据输入yolov5目标检测模型中，得到包含距离信息的检测框图，包括：所述yolov5目标检测模型将所述包含距离信息的检测框图通过最大池化层和全连接层进行输出。6.根据权利要求1所述的方法，其特征在于，在所述将提取出的特征数据输入yolo...

【专利技术属性】
技术研发人员：张军，陶征，宋清峰，
申请(专利权)人：南京慧尔视智能科技有限公司，
类型：发明
国别省市：