一种基于雷视融合的目标识别方法、系统及电子设备技术方案

本发明专利技术提供了一种基于雷视融合的目标识别方法、系统及电子设备，涉及目标识别技术领域。本发明专利技术将视频数据进行分帧处理得到视频帧序列输入到视频目标识别模型，得到多个视频识别目标；视频目标识别模型是利用待测路口的历史标注视频数据，对YOLO神经网络进行训练后得到的；根据雷达点云数据确定多个雷达识别目标；利用融合模型，对多个视频识别目标和多个雷达识别目标进行融合，得到待测路口的目标识别结果。本发明专利技术通过构建融合模型结合雷达数据和视频数据进行道路目标识别，以提高道路目标识别的精度，进而提高制定道路自适应配时方案的合理性。的合理性。的合理性。

【技术实现步骤摘要】
一种基于雷视融合的目标识别方法、系统及电子设备


[0001]本专利技术涉及目标识别
，特别是涉及一种基于雷视融合的目标识别方法、系统及电子设备。

技术介绍

[0002]随着经济发展，道路上机动车数量愈发增加，道路拥挤程度越来越大，车辆排队时间越来越长，城市交通管理迫切需要一种自适应的信号机配时调节方案，以缓解道路上的车流量不畅的状况。而自适应配时依赖于道路信息感知能力。道路信息感知及时准确地获得当前路口目标及车流量统计信息（比如平均车速、目标车辆位置以及排队长度等）为配时算法提供数据基础和依据。
[0003]现有的道路感知方案主要包括地感线圈、毫米波雷达和视频分析等。其中地感线圈安装不便，且感知范围狭小、数据盲区大，其不稳定性并不适用于配时方案；毫米波雷达通过多普勒红移原理来测量目标的位置、角度和速度。但毫米波雷达检测不到静止物体，且无法区分小范围内存在的多个目标；视频分析通过计算机视觉技术分析光学摄像头的视频影像来检测目标及目标种类。但是视频分析中受限于画面的分辨率和主流的深度学习模型对小目标检测效果较差，远距离目标易漏检，或者本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于雷视融合的目标识别方法，其特征在于，包括：获取待测路口的视频数据和雷达点云数据；将所述视频数据进行分帧处理，得到视频帧序列；将所述视频帧序列输入到视频目标识别模型，得到多个视频识别目标；所述视频目标识别模型是利用待测路口的历史标注视频数据，对YOLO神经网络进行训练后得到的；根据所述雷达点云数据确定多个雷达识别目标；利用融合模型，对多个视频识别目标和多个雷达识别目标进行融合，得到待测路口的目标识别结果；所述融合模型是利用待测路口的历史视频数据和历史雷达点云数据，对多层感知器神经网络进行训练得到的；所述多层感知器神经网络为对偶结构。2.根据权利要求1所述的一种基于雷视融合的目标识别方法，其特征在于，在所述获取待测路口的视频数据和雷达点云数据之前，还包括：获取待测路口的多个历史视频数据；将多个所述历史视频数据均进行分帧处理，得到多个历史视频帧序列；将每个历史视频帧序列中的多个历史视频帧中的目标及目标种类进行标注，得到多个历史标注视频帧序列；以多个所述历史视频帧序列为输入，以多个历史视频帧中的目标位置及目标种类为输出，对YOLO神经网络进行训练，得到所述视频目标识别模型。3.根据权利要求1所述的一种基于雷视融合的目标识别方法，其特征在于，所述利用融合模型，对多个视频识别目标和多个雷达识别目标进行融合，得到待测路口的目标识别结果，包括：确定任一雷达识别目标为当前雷达识别目标；将所述当前雷达识别目标的物理坐标数据输入到所述融合模型，得到所述当前雷达识别目标在视频坐标系下的坐标数据；根据所述当前雷达识别目标在视频坐标系下的坐标数据，分别计算当前雷达识别目标与每个视频识别目标的欧式距离；判断最小欧式距离是否小于欧式距离阈值，得到第一判断结果；若所述第一判断结果为是，则确定当前雷达识别目标为匹配雷达识别目标，确定最小欧式距离对应的视频识别目标为匹配视频识别目标，并判定所述匹配雷达识别目标与所述匹配视频识别目标为同一目标；若所述第一判断结果为否，则判定当前雷达识别目标为未匹配雷达识别目标。4.根据权利要求3所述的一种基于雷视融合的目标识别方法，其特征在于，在所述确定当前雷达识别目标为匹配雷达识别目标，确定最小欧式距离对应的视频识别目标为匹配视频识别目标，并判定所述匹配雷达识别目标与所述匹配视频识别目标为同一目标之后，还包括：获取匹配视频识别目标在当前视频帧中所在位置在视频坐标系下的坐标数据为第一坐标；所述当前视频帧为第一帧视频帧之外的任一视频帧；获取匹配视频识别目标在前一视频帧中所在位置在视频坐标系下的坐标数据为第二坐标；获取当前视频帧和前一视频帧的时间间隔；
将所述第一坐标输入到所述融合模型中，得到匹配视频识别目标当前时刻在物理坐标系下...

【专利技术属性】
技术研发人员：冯帆，
申请(专利权)人：联易云科北京科技有限公司，
类型：发明
国别省市：