基于雷视多源数据深度融合的车辆全息感知及风险行为识别系统技术方案

本发明专利技术公布了基于雷视多源数据深度融合的车辆全息感知及风险行为识别系统，包括：集成了路侧激光雷达、视频感知器及高清抓拍相机融合的雷视融合车辆信息感知层；基于边缘计算服务器的车辆全息识别与风险行为辨识边缘计算层；基于智慧门架协同与融合运算的云端中心处理服务器层；集成了车辆全息感知、高精度车辆轨迹追踪、车辆风险识别以及统计分析的应用软件层。发明专利技术的有益效果在于：能够将激光雷达信息与视频图像信息融合，实现复杂公路场景下车辆风险行为识别，并根据风险行为识别结果获取对应车辆全息感知数据，对全路段风险行为区域统计分析及风险车辆追踪，为道路安全监测系统提供高精度、高可靠性的车辆信息感知及风险行为识别的功能。行为识别的功能。行为识别的功能。

【技术实现步骤摘要】
基于雷视多源数据深度融合的车辆全息感知及风险行为识别系统


[0001]本专利技术专利涉及高速公路复杂场景下车辆信息感知及风险识别领域，尤其涉及基于雷视多源数据深度融合的车辆全息感知及风险行为识别系统。

技术介绍

[0002]目前，高速公路风险管理系统主要是对车速进行监测，受限于道路、环境、设备因素的影响，同时由于风险监测类型较为单一，在实际风险管理中存在监测遗漏、失效等现象，给交通安全管理带来了隐患，不能满足当下复杂场景下车辆风险监测的需求。

技术实现思路

[0003]本专利技术所要解决的技术问题在于，提供基于雷视多源数据深度融合的车辆全息感知及风险行为识别系统，在风险行为监测方面，系统增加了风险行为识别的监测类型，包括常发性车辆异常行为(超速、低速、逆行、违停、跨车道)和偶发性车辆异常行为(轨迹异常)，在复杂条件下通过对视频和激光雷达的信息融合提高了风险行为识别精度，同时系统能够实现风险车辆追踪以及风险行为区域统计功能，以提升高速公路通行能力和交通安全管理水平，提高交通智能化发展水平和运营管理水平。
[0004]针对现有的高速公路风险监测系统存在的问题，本专利技术提出了基于雷视多源数据深度融合的车辆全息感知及风险行为识别系统。包括：路侧激光雷达、视频感知器及高清抓拍相机融合的雷视融合车辆信息感知层、车辆全息识别与风险行为辨识的边缘计算层、云端中心处理服务器层和应用软件层；路侧激光雷达、视频感知器及高清抓拍相机融合的雷视融合车辆信息感知层包括路侧激光雷达、视频感知器及高清抓拍相机、专用数据传输设备；车辆全息识别与风险行为辨识的边缘计算层包括每个门架对应的边缘计算服务器；所述云端中心处理服务器层包括云端中心运算服务器；所述应用软件层包括边缘计算服务器应用软件和云端中心运算服务器应用软件，具体过程如下：
[0005]在距离门架一定范围内，激光雷达和高清视频相机判断高速公路上是否有车辆通过，当有车辆通过时，激光雷达作为主传感器采集通过车辆的轮廓尺寸以及车型信息，同时触发高清视频相机获取车辆号牌、品牌、类型和颜色组成的全息信息，两类信息在边缘计算服务器中实现匹配。如果通过的车辆存在风险行为，则会驱动对应车道上的抓拍相机进行拍摄，获取车辆的风险行为图像并传输至边缘计算服务器，对指定车辆进行全息信息感知，获取其全息数据。通过对各个节点获得的数据信息进行整合，实现全路段风险行为区域统计分析以及风险车辆的追踪功能。
[0006]作为本专利技术的进一步改进，边缘计算服务器的系统硬件组成主要包括边缘计算服务器、数据保存装置、高分辨率车辆点云、视频及图像采集设备、通信设备、能源及安全保障设备；边缘计算服务器于每个节点处配置一台，安装在节点适当位置；边缘计算服务器配置有高性能CPU和GPU，以满足包括点云感知处理与轨迹追踪、视频感知处理、图像全息感知及
雷视数据融合在内的多种模型对服务器算力的要求；数据保存装置包括安装在机架式服务器或者机柜内的存储硬盘；激光雷达和视频感知器组成雷视融合子系统设备，安装在门架的一侧；高分辨率车辆点云、视频及图像采集设备布置在门架处，每车道、每方向布置一台高分辨率车辆点云、视频及图像采集设备，对通过门架的车辆的车脸、车辆侧面两个方向的车辆图像信息依次进行采集；通信设备指各边缘计算服务器之间、以及边缘计算服务器同云端中心运算服务器之间实现信息交换所依仗的信息通信协议、通信硬件与通信设施设备；能源及安全保障设备包括边缘计算服务器系统的全天候供电装置、系统运行监控传感器系统、机架及机柜内温湿度监测系统、故障诊断及告警设备。作为本专利技术的进一步改进，边缘计算服务器的系统包括边缘计算服务器系统控制模块、多源信息识别模块和全息感知模块。控制模块负责边缘计算服务器的运行状态监控、访问请求接收和风险警告的功能；多源信息识别模块包括前端采集数据自动接收、点云数据处理算法与三维轨迹追踪算法调用、视频轨迹追踪算法调用、多源数据信息显示、风险行为识别模型调用与风险行为判定；全息感知模块主要功能包括车辆全息感知模型调用与车辆信息显示。
[0007]作为本专利技术的进一步改进，所述边缘计算服务器边接收来自前端信息感知设备推送的三维点云数据和二维图像数据，其中二维图像数据包括视频和图片；针对激光雷达的点云数据，利用PointNet
‑
based Fusion算法对原始点云信息进行预处理，以便实现不同的模块功能；通过包含PointPillars和SECOND的多种Voxel
‑
based目标检测将覆盖区域内全车道的3D点云数据转化为满足不同功能的车辆感知数据，包括覆盖区域内所有被感知车辆的位移、尺寸、位置以及具有唯一性的ID编码；根据提取的感知数据，通过Center
‑
based系列目标检测追踪模型实现基于三维点云图像的高精度车辆轨迹追踪，其中Center
‑
based系列包括CenterNet、CenterTrack、CenterPoint；对于采集的视频数据，调用基于Deep
‑
SORT MOT的视频车辆高精度轨迹追踪模型，完成公路场景的视频车辆高精度轨迹追踪并输出结构化数据；利用深度学习网络融合算法，完成Center
‑
based系列三维高精度轨迹追踪模型和Deep
‑
SORT视频轨迹追踪模型的深度融合，实现雷视融合的车辆高精度全时段车辆轨迹追踪；根据雷视融合的车辆数据信息，利用深度学习车辆异常行为检测算法，最终实现复杂公路场景下多源数据深度融合的车辆风险行为识别；针对被车辆风险行为识别检测出的存在风险的行为及其对应车辆，将驱动对应车道上的抓拍相机在特定位置进行抓拍，获取其高清图片；调用车辆全息感知模块，获取其车辆全息感知数据；最终将获取的所有结构化数据包括三维车辆感知数据、轨迹数据、全息感知数据及风险行为识别数据合并上传到云端中心运算服务器中。
[0008]作为本专利技术的进一步改进，所述全路段风险行为区域统计分析以及风险车辆追踪功能是基于云端中心运算服务器对各个门架进行的控制的，根据各点边缘计算服务器上传的包含三维车辆感知数据、轨迹数据、全息感知数据及风险行为识别数据组成的结构化数据，实现智慧协同、融合运算。
[0009]作为本专利技术的进一步改进，所述应用软件层包括边缘计算服务器应用软件和云端中心运算服务器应用软件。云端中心运算服务器应用软件界面包括服务器控制界面和云端服务统计分析界面。其中服务器控制界面包括节点状态显示模块、当前节点运行统计模块和风险车辆详情显示模块界面三部分；云端服务统计分析界面包括今日数据统计、七日内数据统计、风险行为车辆全路段节点分布统计和全路段各节点累计风险行为车辆数统计。
[0010]作为本专利技术的进一步改进，边缘计算服务器中，针对采集得到的原始三维点云数据进行预处理，多目标检测将覆盖区域内全车道的3D点云数据转化为满足不同功能的车辆感知数据，包括覆盖区域内所有被感知车辆的位移、尺寸、位置以及具有唯一性的ID编码，目标检测追踪模型实现基于三维点云图像的高精度车辆轨本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于雷视多源数据深度融合的车辆全息感知及风险行为识别系统，其特征在于，包括：路侧激光雷达、视频感知器及高清抓拍相机融合的雷视融合车辆信息感知层、车辆全息识别与风险行为辨识的边缘计算层、云端中心处理服务器层和应用软件层；所述路侧激光雷达、视频感知器及高清抓拍相机融合的雷视融合车辆信息感知层包括激光雷达、高清视频相机、高清抓拍相机和专用数据传输设备；所述车辆全息识别与风险行为辨识的边缘计算层包括每个门架对应的边缘计算服务器；所述云端中心处理服务器层包括云端中心运算服务器；所述应用软件层包括边缘计算服务器应用软件和云端中心运算服务器应用软件。2.如权利要求1所述的基于雷视多源数据深度融合的车辆全息感知及风险行为识别系统，其特征在于，系统具体执行过程如下：当车辆通过门架附近，激光雷达与高清视频相机分别获取通过车辆的三维信息和二维信息；激光雷达作为主传感器采集通过车辆的轮廓尺寸以及车型信息，同时触发高清视频相机获取车辆号牌、品牌、类型和颜色组成的全息信息，两类信息在计算服务器中实现匹配；如果通过的车辆存在风险行为，则会驱动对应车道上的抓拍相机进行拍摄，获取车辆的风险行为图像并传输至边缘计算服务器，对指定车辆进行全息信息感知，获取其全息数据，将获取的所有结构化数据包括三维车辆感知数据、轨迹数据、全息感知数据及风险行为识别数据合并上传到云端中心运算服务器，云端中心运算服务器通过对多个节点的边缘计算服务器进行协同控制，根据各点边缘计算服务器上传的包含三维车辆感知数据、轨迹数据、全息感知数据及风险行为识别数据组成的结构化数据，实现智慧协同、融合运算、全路段风险行为区域统计分析及全路段风险车辆追踪。3.如权利要求1所述的基于雷视多源数据深度融合的车辆全息感知及风险行为识别系统，其特征在于，边缘计算服务器的系统硬件组成主要包括边缘计算服务器、数据保存装置、高分辨率车辆点云、视频及图像采集设备、通信设备、能源及安全保障设备；边缘计算服务器于每个节点处配置一台，安装在节点适当位置；边缘计算服务器配置有高性能CPU和GPU，以满足包括点云感知处理与轨迹追踪、视频感知处理、图像全息感知及雷视数据融合在内的多种模型对服务器算力的要求；数据保存装置包括安装在机架式服务器或者机柜内的存储硬盘；激光雷达和视频感知器组成雷视融合子系统设备，安装在门架的一侧；高分辨率车辆点云、视频及图像采集设备布置在门架处，每车道、每方向布置一台高分辨率车辆点云、视频及图像采集设备，对通过门架的车辆的车脸、车辆侧面两个方向的车辆图像信息依次进行采集；通信设备指各边缘计算服务器之间、以及边缘计算服务器同云端中心运算服务器之间实现信息交换所依仗的信息通信协议、通信硬件与通信设施设备；能源及安全保障设备包括边缘计算服务器系统的全天候供电装置、系统运行监控传感器系统、机架及机柜内温湿度监测系统、故障诊断及告警设备。4.如权利要求2所述的基于雷视多源数据深度融合的车辆全息感知及风险行为识别系统，其特征在于，所述边缘计算服务器边接收来自前端信息感知设备推送的三维点云数据和二维图像数据，其中二维图像数据包括视频和图片；针对激光雷达的点云数据，利用PointNet
‑
based Fusion算法对原始点云信息进行预处理，以便实现不同的模块功能；通过包含PointPillars和SECOND的多种Voxel
‑
based目标检测将覆盖区域内全车道的3D点云数据转化为满足不同功能的车辆感知数据，包括覆盖区域内所有被感知车辆的位移、尺寸、位置以及具有唯一性的ID编码；根据提取的感知数据，通过Center
‑
based系列目标检测追踪模型实现基于三维点云图像的高精度车辆轨迹追踪，其中Center
‑
based系列包括
CenterNet、CenterTrack、CenterPoint；对于采集的视频数据，调用基于Deep
‑
SORT MOT的视频车辆高精度轨迹追踪模型，完成公路场景的视频车辆高精度轨迹追踪并输出结构化数据；利用深度学习网络融合算法，完成Center
‑
based系列三维高精度轨迹追踪模型和Deep
‑
SORT视频轨迹追踪模型的深度融合，实现雷视融合的车辆高精度车辆轨迹追踪；根据雷视融合的车辆数据信息，利用深度学习车辆异常行为检测算法，最终实现复杂公路场景下多源数据深度融合的车辆风险行为识别；针对被车辆风险行为识别检测出的存在风险的行为及其对应车辆，将驱动对应车道上的抓拍相机在特定位置进行抓拍，获取其高清图片；调用车辆全息感知模块，获取其车辆全息感知数据；最终将获取的所有结构化数据包括三维车辆感知数据、轨迹数据、全息感知数据及风险行为识别数据合并上传到云端中心运算服务器中。5.如权利要求2所述的基于雷视多源数据深度融合的车辆全息感知及风险行为识别系统，其特征在于，判断被感知车辆是否存在风险行为具体如下：若车辆不存在风险行为，则将无风险行为车辆的感知信息数据直接传输至应用软件平台进行保存及展示；若车辆存在风...

【专利技术属性】
技术研发人员：赵池航，解兴鹏，李旋，石鑫，薛善光，苏子钧，吴宇航，马欣怡，
申请(专利权)人：河北交通职业技术学院，
类型：发明
国别省市：