一种基于相机和雷达的目标检测方法及系统技术方案

本发明专利技术公开了一种基于相机和雷达的目标检测方法及系统，所述方法包括，首先获取雷达探测到的雷达数据与相机同步采集到的图像；然后对雷达数据中的雷达目标进行稳定性检测，筛选出有效雷达目标；其次，通过深度学习方法检测图像中的相机目标以及相机目标的目标信息；最后，根据交小比公式，融合有效雷达目标与相机目标，并筛选、输出融合目标结果。采用上述检测方法具有更强的鲁棒性，能够做到全天候检测，且具有较低的虚警率，获取的融合目标结果更加精确、全面。

A method and system of target detection based on camera and radar

【技术实现步骤摘要】
一种基于相机和雷达的目标检测方法及系统
本专利技术属于目标检测
，特别涉及一种基于相机和雷达的目标检测方法及系统。
技术介绍
目前现有的目标检测方案大致可以分为基于视觉和非视觉两大类，基于视觉的目标检测常局限于目标是否存在以及目标大致位置的判断，但是无法判断目标的具体位置及速度。非视觉类的目标检测，如依靠雷达等，只能得到目标的位置及速度信息，无法获得目标的类型及大小。然而在当代生产生活中，往往需要同步获得目标的类型、尺寸信息和位置速度信息。例如在有轨电车路口入侵物检测中，如果能够同时知道目标类型以及目标的位置及速度，就能根据具体情况作出预判，减小损失。针对以上问题，如何有效地实现对目标全方位的实时检测越来越成为亟待解决的技术问题。
技术实现思路
针对上述问题，本专利技术提供了一种基于相机和雷达的目标检测方法及系统，其中，所述检测方法具有较低的虚警率，且获取的融合目标结果更加精确、全面。本专利技术的目的在于提供一种基于相机和雷达的目标检测方法，所述方法包括，获取雷达探测到的雷达数据与相机同步采集到本文档来自技高网...

【技术保护点】
1.一种基于相机和雷达的目标检测方法，其特征在于，所述方法包括，/n获取雷达探测到的雷达数据与相机同步采集到的图像；/n对雷达数据中的雷达目标进行稳定性检测，筛选出有效雷达目标；/n通过深度学习方法检测图像中的相机目标以及相机目标的目标信息；/n根据交小比公式，融合有效雷达目标与相机目标，并筛选、输出融合目标结果。/n

【技术特征摘要】
1.一种基于相机和雷达的目标检测方法，其特征在于，所述方法包括，
获取雷达探测到的雷达数据与相机同步采集到的图像；
对雷达数据中的雷达目标进行稳定性检测，筛选出有效雷达目标；
通过深度学习方法检测图像中的相机目标以及相机目标的目标信息；
根据交小比公式，融合有效雷达目标与相机目标，并筛选、输出融合目标结果。


2.根据权利要求1所述的目标检测方法，其特征在于，所述方法还包括，
安装并调整雷达与相机的位置，令二者具有共同的视场；
建立图像平面坐标系、雷达平面坐标系以及靶标平面坐标系；
对图像平面与雷达平面进行结构参数的标定。


3.根据权利要求2所述的目标检测方法，其特征在于，所述雷达数据包括雷达目标在雷达平面坐标系下的位置坐标、速度、距离、方位信息；
所述相机目标的目标信息包括候选框位置、类型、尺寸；
所述融合目标结果包括相机目标的尺寸、类型以及相应有效雷达目标的距离、速度。


4.根据权利要求3所述的目标检测方法，其特征在于，所述对图像平面与雷达平面进行结构参数的标定包括，
将平面靶标放置在视场范围内的地面上，相机拍摄平面靶标，提取靶标图像中至少4个靶标图像特征点；
基于目标在图像平面坐标系与靶标平面坐标系下的坐标，得到图像平面坐标系和靶标平面坐标系之间的单应矩阵Hti；
基于平面靶标相对雷达平面坐标系的摆放角度与靶标平面坐标系原点相对雷达平面坐标系的平移关系，得到靶标平面坐标系到雷达平面坐标系之间的单应矩阵Htr；
基于所述单应矩阵Hti与Htr，得到雷达平面到图像平面之间的转换关系H矩阵。


5.根据权利要求1所述的目标检测方法，其特征在于，所述对雷达数据中的雷达目标进行稳定性检测，筛选出有效雷达目标包括，
判断雷达目标是否为首次出现，其中，
若所述雷达目标为首次出现，令雷达目标连续出现的次数等于1，
若所述雷达目标不是首次出现，则判断判断所述雷达目标是否在上一帧中出现，其中，
若所述雷达目标在上一帧出现，则对所述雷达目标连续出现的次数进行累计加1；
若所述雷达目标在上一帧未出现，则剔除所述雷达目标；
判断所述雷达目标连续出现的次数是否大于或等于第一预设值，其中，
若所述雷达目标连续出现的次数大于或等于第一预设值，则所述雷达目标为稳定检测的目标，并作为有效雷达目标输出；
若所述雷达目标连续出现的次数小于第一预设值，则等待下一帧,重复上述判断。


6.根据权利要求5所述的目标检测方法，其特征在于，所述对雷达数据中的雷达目标进行稳定性检测，筛选出有效雷达目标还包括当所述稳定检测的目标在当前帧消失时，包括以下步骤：
判断所述稳定检测的目标消失的次数是否大于或等于第二预设值，其中，
若所述稳定检测的目标消失的次数大于或等于第二预设值，则剔除所述稳定检测的目标；
若所述稳定检测的目标消失的次数小于第二预设值，则对消失次数进行累计加1，并判断所述稳定检测的目标在下一帧中是否重新出现；其中，
若所述稳定检测的目标在下一帧中重新出现，则消失次数的累计值进行清零；
若所述稳定检测的目标在下一帧中未重新出现，则重复执行上述步骤。


7.根据权利要求1-6任一所述的目标检测方法，其特征在于，根据交小比公式，融合有效雷达目标与相机目标，并筛选、输出融合目标结果包括，
根据交小比计算公式，获取所述有效雷达目标与相机目标的交小比；
判断所述交小比是否大于第三预设值，其中，
若所述交小比大于第三预设值，所述有效雷达目标与相机目标为同一目标，并对判定次数进行累计加1；
判断所述判定次数是否大于或等于第四预设值，其中，
若所述判定次数大于或等于第四预设值，则输出融合目标结果；
若所述判定次数小于第四预设值，对下一帧中的所述有效雷达目标与相机目标重复执行上述步骤。


8.根据权利要求7所述的目标检测方法，其特征在于，所述有效雷达目标与相机目标的交小比为:
有效雷达目标候选框与相机目标候选框相重叠的面积与有效雷达目标候选框面积和相机目标候选框面积中最小面积的比值。


9.根据权利要求8所述的目标检测方法，其特征在于，所述方法还包括获取所述有效雷达目标的候选框：
基于所述H矩阵，将所述有效雷达目标从雷达坐标转换到图像平面坐标系下，其中，所述有效雷达目标的候选框为scale[w,h]，其中，
scale为候选框的放缩因子，且满足：

【专利技术属性】
技术研发人员：陈晓光，阎峰，王智新，史龙，李斌，吴穗宁，
申请(专利权)人：北京全路通信信号研究设计院集团有限公司，
类型：发明
国别省市：北京;11