一种车路协同时频异构数据交通状态感知系统技术方案

本发明专利技术公开了一种车路协同时频异构数据交通状态感知系统，涉及交通状态管控技术领域，公开了包括路端监控设备、远程服务器、用户设备，路端监控设备用于控制相机通过以太网连接ROS系统设备，以及控制毫米波雷达通过CAN将数据传输到ROS系统设备，ROS系统设备通过数据融合交通目标检测方法将交通目标检测结果以视频的方式进行topic发布，通过RTMP方式将检测结果的视频，通过IP地址传输协议的方式并加密，连接网络进行实时推流，解决对交通状态的精准感知和实时监控，并进行数据存储，以便用户随时查看交通状况和对历史交通状况进行回放，对交通事故视频点进行标注，以便快速进行交通事故分析。交通事故分析。交通事故分析。

【技术实现步骤摘要】
一种车路协同时频异构数据交通状态感知系统


[0001]本专利技术涉及交通状态管控
，更具体地说，它涉及一种车路协同时频异构数据交通状态感知系统。

技术介绍

[0002]交通运行状态的精准感知是交通运行分析、交通运行管控、交通安全风险分析与预警的基础。近年来，对于交通运行状态的精准感知受到了极高的重视，交通运行状态的动态精准感知成为我国道路交通运输行业亟须解决的关键技术问题。
[0003]目前的交通状态感知系统中用户无法随时查看交通状况和对历史交通状况进行回放，用户无法对交通事故进行标注，进而无法高效的对交通事故进行分析。

技术实现思路

[0004]针对现有技术存在的不足，本专利技术的目的在于提供一种车路协同时频异构数据交通状态感知系统。
[0005]为实现上述目的，本专利技术提供了如下技术方案：一种车路协同时频异构数据交通状态感知系统，包括路端监控设备、远程服务器、用户设备；所述路端监控设备用于控制相机通过以太网连接ROS系统设备，以及控制毫米波雷达通过CAN将数据传输到ROS系统设备，ROS系统设备通过数据融合交通目标检测方法将交通目标检测结果以视频的方式进行topic发布，通过RTMP方式将检测结果的视频，通过IP地址传输协议的方式并加密，连接网络进行实时推流；数据融合交通目标检测方法具体包括如下步骤：步骤一：通过张氏标定和人工标定的方式，将毫米波雷达与相机进行数据同步；步骤二：将同步好的毫米波雷达和相机数据进行处理，判断毫米波雷达与相机的失效情况；步骤三：当相机和毫米波雷达都正常时，对毫米波雷达与相机进行特征融合：1）对相机图像信息进行特征提取，将主干网络加入FPN进行特征金字塔处理，从特征网络中融合出不同深度的3层图像特征图；2）对毫米波雷达进行特征提取，构造RF图像并在此基础上通过CFAR算法进行峰值判断提取出关键地物位置节点，同时根据目标的距离、径向速度和垂直与径向的速度形成3张毫米波雷达热力特征图；3）将3张毫米波雷达热力特征图根据3层图像特征图与原始图像缩放比例，在3层图像特征图中的每一层都加入3张毫米波雷达热力特征图，形成3层融合特征图；4）将毫米波雷达获得的位置节点投影到3层融合特征图中，此时在每一层融合特征图的节点附近形成多个提议框，将3层的多个提议框根据每一层的缩放比例，综合到一层中，并对提议框进行极大值抑制的方式筛选出有效的提议框，然后再将提议框分配到各自层中；5）对各层的提议框内的特征进行缩放，并判断提议框内容目标物的类型、边界框、距离、速度信息；
步骤四：当相机正常而毫米波雷达失效时，采用基于CenterNet视觉的目标检测方法，判断目标类型、边界框、距离，此时没有速度，设置为None；步骤五：当相机失效而毫米波雷达正常时，采用毫米波雷达聚类框的大小和点云反射率判断目标的类型、边界框大小、距离和速度；步骤六：根据权重判断运行的识别框架，并获得图像中目标识别的结果，将结果通过设备硬件结构传回到远程服务器或者用户设备；所述远程服务器通过接收和解码路端监控设备的IP传输协议，对路端监控设备的实时推流数据的抓取，并将视频流数据以时间段的方式进行存储；同时，实时响应用户设备请求，接入存储服务器，将数据发送到用户设备；所述用户设备用于抓取并查看网络上由路端监控设备发送的实时推流数据以及历史监控。
[0006]进一步的，所述毫米波雷达为4D毫米波雷达。
[0007]进一步的，视频包含多目标检测的类型、速度、距离和车流量。
[0008]进一步的，毫米波雷达与相机进行数据同步方式包括硬同步与软同步。
[0009]进一步的，硬同步的过程为：在雷达结束回波采用时马上发出触发信号，相机接收触发信号曝光，并保存当前时刻的图像，相机和毫米波雷达同时进行数据采集。
[0010]进一步的，软同步的过程为：通过运动补偿的方式将获得的毫米波雷达数据按照每一个点云的运动态势，增加位移补偿，位移补偿根据前几帧的毫米波雷达数据运动态势，预估当前帧后一个微小时间的各点运动位移，补偿出毫米波雷达的与相机相差的时间。
[0011]进一步的，判断毫米波雷达与相机的失效情况的具体方式如下：当图片全黑或者已经没有目标时，说明相机失效，否则正常，当毫米波雷达没有数据输出或者毫米波雷达探测障碍物的数量都是超出128时，说明毫米波雷达失效，否则正常。
[0012]与现有技术相比，本专利技术具备以下有益效果：解决对交通状态的精准感知和实时监控，并进行数据存储，以便用户随时查看交通状况和对历史交通状况进行回放，对交通事故视频点进行标注，以便快速进行交通事故分析。
附图说明
[0013]图1为一种车路协同时频异构数据交通状态感知系统的原理框图；图2为本专利技术数据融合交通目标检测方法的流程框图。
具体实施方式
[0014]参照图1至图2，一种车路协同时频异构数据交通状态感知系统，包括路端监控设备、远程服务器、用户设备；路端监控设备用于控制相机通过以太网连接ROS系统设备，以及控制毫米波雷达通过CAN将数据传输到ROS系统设备，ROS系统设备通过数据融合交通目标检测方法将交通目标检测结果以视频的方式进行topic发布，视频包含多目标检测的类型、速度、距离和车流量，通过RTMP方式将检测结果的视频，通过IP地址传输协议的方式并加密，连接网络进行实时推流；
数据融合交通目标检测方法具体包括如下步骤：步骤一：通过张氏标定和人工标定的方式，将毫米波雷达与相机进行数据同步，由于相机的频率一般为30Hz，毫米波雷达的频率在一次信号采样、数据处理和传输中会受到当前环境目标数量影响，频率在11
‑
20Hz。由于两者的时频不一致，要实现两者数据的融合，首先就要实现两者数据的同步，主要进行时间硬同步和软同步。其中硬同步为：由于相机的曝光时间较短约为几个毫秒，因此可以通过毫米波雷达频率触发相机同步曝光的形式。即在雷达结束回波采用时马上发出触发信号，相机接收触发信号曝光，并保存当前时刻的图像，这样可以保证相机和毫米波雷达几乎同时进行数据采集。软同步为：为了更近实现相机和毫米波雷达的数据对齐，通过运动补偿的方式将获得的毫米波雷达数据按照每一个点云的运动态势，增加一定距离的位移补偿，位移补偿方法可以根据前几帧的毫米波雷达数据运动态势，估计当前帧后一个微小时间的各点运动位移，从而补偿出毫米波雷达的与相机相差的几毫米时间，从而使得相机和毫米波雷达的数据对齐精度更高。
[0015]步骤二：将同步好的毫米波雷达和相机数据进行处理，判断毫米波雷达与相机的失效情况，为了提高目标检测的稳定性和可靠性，在任意一个传感器失效是整个系统还能工作。系统的目标检测分成三个分支，分别是相机和毫米波雷达都正常，相机正常而毫米波雷达失效，相机失效而毫米波雷达正常，其中的正常与失效是通过自检系统以及探测效果来判断。对于相机，当图片全黑或者已经没有目标时，说明相机失效，此时权重设置为0，否则为1；对于毫米波雷达，当毫米波雷达没有数据输出或者毫米波雷达探测障碍物的数量都是超出128时，说明毫米波雷达失效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车路协同时频异构数据交通状态感知系统，其特征在于，包括路端监控设备、远程服务器、用户设备；所述路端监控设备用于控制相机通过以太网连接ROS系统设备，以及控制毫米波雷达通过CAN将数据传输到ROS系统设备，ROS系统设备通过数据融合交通目标检测方法将交通目标检测结果以视频的方式进行topic发布，通过RTMP方式将检测结果的视频，通过IP地址传输协议的方式并加密，连接网络进行实时推流；数据融合交通目标检测方法具体包括如下步骤：步骤一：通过张氏标定和人工标定的方式，将毫米波雷达与相机进行数据同步；步骤二：将同步好的毫米波雷达和相机数据进行处理，判断毫米波雷达与相机的失效情况；步骤三：当相机和毫米波雷达都正常时，对毫米波雷达与相机进行特征融合：1）对相机图像信息进行特征提取，将主干网络加入FPN进行特征金字塔处理，从特征网络中融合出不同深度的3层图像特征图；2）对毫米波雷达进行特征提取，构造RF图像并在此基础上通过CFAR算法进行峰值判断提取出关键地物位置节点，同时根据目标的距离、径向速度和垂直与径向的速度形成3张毫米波雷达热力特征图；3）将3张毫米波雷达热力特征图根据3层图像特征图与原始图像缩放比例，在3层图像特征图中的每一层都加入3张毫米波雷达热力特征图，形成3层融合特征图；4）将毫米波雷达获得的位置节点投影到3层融合特征图中，此时在每一层融合特征图的节点附近形成多个提议框，将3层的多个提议框根据每一层的缩放比例，综合到一层中，并对提议框进行极大值抑制的方式筛选出有效的提议框，然后再将提议框分配到各自层中；5）对各层的提议框内的特征进行缩放，并判断提议框内容目标物的类型、边界框、距离、速度信息；步骤四：当相机正常而毫米波雷达失效时，采用基于CenterNet视觉的目标检测方法，判断目标类型、边界框、距离，此时没有速度，设置为None；步骤五：当相机失效而毫米波雷达正常时，采用毫米波雷达聚类框...

【专利技术属性】
技术研发人员：仝盼盼，杨丽艳，
申请(专利权)人：镇江同润智能科技有限公司，
类型：发明
国别省市：