【技术实现步骤摘要】
一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
本专利技术涉及传感器融合进行目标识别和定位领域，具体地说是一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法。
技术介绍
目前，公知的图像目标识别和定位算法主要是利用神经网络直接对图像进行处理，主要有RCNN系列，YOLO系列，SSD等。这些神经网络的处理方法主要分两种：一种是通过穷举搜索或者神经网络结构提取图像上的感兴趣区域，随后将感兴趣区域送入神经网络进行位置回归和种类识别；另一种是使用神经网络直接对整张图像中的目标位置和类别进行回归。前者获取感兴趣区域步骤占用大量时间，成为目标检测算法的主要时间瓶颈；后者在识别小物体时精度较低，容易产生漏检现象。
技术实现思路
针对现有单传感器进行图像目标识别和定位方法的不足，本专利技术提供了一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法，将毫米波雷达获得的位置信息映射到图像获得感兴趣区域，借助当前先进的深度学习图像处理技术，达到既快又准地检测图像中目标的位置和距离信息的目的。本专利技术为实现上述目的所采用的技术方案是：一种基于神经网络的毫米波雷达与视觉协...
【技术保护点】
1.一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法，其特征在于：包括以下步骤：S1：毫米波雷达扫描获得点云数据，相机获取视觉图像信息；S2：将所述的图像信息缩放至256x256像素大小，并送入Darknet‑53网络结构进行处理获得特征图；S3：将毫米波点云映射到所述的S2的图像特征图中，得到每个毫米波点在图像特征图中的位置；S4：设定先验框大小；S5：在S3获得的每个位置上按照S4的所述的先验框大小划定感兴趣区域，并计算每个框的特征值；S6：将S5的感兴趣区域送入神经网络Softmax层进行处理，获得图像中目标的定位和识别结果；S7：对S6中获得的所有目标识别框...
【技术特征摘要】
1.一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法，其特征在于：包括以下步骤：S1：毫米波雷达扫描获得点云数据，相机获取视觉图像信息；S2：将所述的图像信息缩放至256x256像素大小，并送入Darknet-53网络结构进行处理获得特征图；S3：将毫米波点云映射到所述的S2的图像特征图中，得到每个毫米波点在图像特征图中的位置；S4：设定先验框大小；S5：在S3获得的每个位置上按照S4的所述的先验框大小划定感兴趣区域，并计算每个框的特征值；S6：将S5的感兴趣区域送入神经网络Softmax层进行处理，获得图像中目标的定位和识别结果；S7：对S6中获得的所有目标识别框进行非极大值抑制处理，获得最终目标定位框和每个框的识别结果。2.根据权利要求1所述的基于神经网络的毫米波雷达与视觉协同目标检测与识别方法，其特征在于：所述的S3的将毫米波点云映射到所述的S2的图像特征图中的具体步骤如下：某毫米波点坐标为P＝[X；Y；Z；1]，其对应的图像坐标为p＝[u；v]，中间坐标值M＝[a；b；c]，此时图像和毫米波的大小为3x4标定矩阵为H，其中M＝HPu＝a/cv＝b/cH即毫米波点云坐标系和相机图像坐标系间的空间标定矩阵，通过相机内参矩阵及两坐标系间的旋转平移关系即可确定。图像到Darknet53最后一个特征图间的缩放倍数s，毫米波点P在特征图中的坐标为F，其中F＝p/s。3.根据权...
【专利技术属性】
技术研发人员：宋春毅，宋钰莹，徐志伟，赵自豪，陈钦，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。