一种基于多模态融合的高速公路拥堵检测方法及系统技术方案

本发明专利技术公开了一种基于多模态融合的高速公路拥堵检测方法及系统，首先获取高速公路基础信息数据，对高速公路基础信息数据进行预处理并按照预设的顺序和格式存储，得到信息特征数据；获取高速公路监控视频图像，通过图像特征提取网络提取图像特征，得到图像特征数据；然后将信息特征数据和图像特征数据拼接融合为复合特征数据。采用复合特征数据训练分类模型，采用训练好的分类模型对待检测复合特征数据进行检测，输出检测的拥堵等级结果。本发明专利技术将复合特征数据进行权衡，更好的对高速公路道路拥堵做一个综合判断后的等级评定结果，并且具有较强的鲁棒性与适用性，因此更具有实用价值。值。值。

【技术实现步骤摘要】
一种基于多模态融合的高速公路拥堵检测方法及系统


[0001]本申请属于公路管理
，具体涉及一种基于多模态融合的高速公路拥堵检测方法及系统。

技术介绍

[0002]高速公路拥堵是指车辆在高速公路上由于交通流量过大、道路狭窄、事故等原因导致车辆交通受阻的现象。这种拥堵不仅会影响车辆行驶速度和通行效率，还可能引发事故、增加交通事故的风险和对环境产生负面影响。目前高速公路道路通行能力通常停留在定性评价及人的主观判定，应用层面上缺乏有效数据和技术进行深层次分析；多年来行业内一直致力于提升道路智慧化运行管理能力，但交通大数据采集分析方面仍然存在着数据格式多样、有效信息提取难等问题。
[0003]目前高速公路信息感知采集主要采用基于监控摄像头和毫米波雷达为主。监控摄像头是视觉感知能力的重要传感单元，优势在于能够从道路环境种获取丰富的纹理色彩和语义信息，实现精细化的目标类型识别，以及视频监控和图像抓拍等场景需求；毫米波雷达具有精准的捕获目标速度、宽探角度、长探测距、多目标追踪和全天候全天时的优势。但是目前在高速公路拥堵的应用中，检测方法多采用单一传感器，视觉感知易受天气、光线等影响导致识别能力降低，毫米波雷达对目标类型的识别能力较弱且易受行驶姿态的变化导致误检和漏检。

技术实现思路

[0004]本申请的目的是提出一种基于多模态融合的高速公路拥堵检测方法及系统，能够有效检测高速公路拥堵状况的出现，进而为公路管理部门、交通从业人员和广大驾驶员提供更为高效的服务。
[0005]为了实现上述目的，本申请技术方案如下：
[0006]一种基于多模态融合的高速公路拥堵检测方法，所述基于多模态融合的高速公路拥堵检测方法，包括：
[0007]获取高速公路基础信息数据，对高速公路基础信息数据进行预处理并按照预设的顺序和格式存储，得到信息特征数据；
[0008]获取高速公路监控视频图像，通过图像特征提取网络提取图像特征，得到图像特征数据；
[0009]将信息特征数据和图像特征数据拼接融合为复合特征数据；
[0010]将复合特征数据输入到训练好的分类模型，得到拥堵检测结果。
[0011]进一步的，所述高速公路基础信息数据，包括：
[0012]高速公路监控摄像机点位类型，为二元值，分别表示外场和隧道两种类型；
[0013]监控视频的系统时间，格式为基于年月日时分秒的数字格式；
[0014]天气状态，为分类型数据，包括晴天、雨雪天气、浓雾；
[0015]道路场景，为分类型数据，包括高架、互通、匝道、主线、硬路肩、导流带；
[0016]高速公路拥堵等级描述，为分类型数据，采用0
‑
4的数字等级。
[0017]进一步的，所述对高速公路基础信息数据进行预处理，包括：
[0018]采用one
‑
hot编码对分类型数据进行编码。
[0019]进一步的，所述图像特征提取网络包括CNN卷积神经网络、线性投影层、Transformer模块、隐藏层和级联上采样模块。
[0020]进一步的，所述分类模型为XGBoost分类模型。
[0021]本申请还提出了一种基于多模态融合的高速公路拥堵检测系统，包括：
[0022]信息特征获取模块，用于获取高速公路基础信息数据，对高速公路基础信息数据进行预处理并按照预设的顺序和格式存储，得到信息特征数据；
[0023]图像特征提取模块，用于获取高速公路监控视频图像，通过图像特征提取网络提取图像特征，得到图像特征数据；
[0024]复合模块，用于将信息特征数据和图像特征数据拼接融合为复合特征数据；
[0025]检测模块，用于将复合特征数据输入到训练好的分类模型，得到拥堵检测结果。
[0026]进一步的，所述高速公路基础信息数据，包括：
[0027]高速公路监控摄像机点位类型，为二元值，分别表示外场和隧道两种类型；
[0028]监控视频的系统时间，格式为基于年月日时分秒的数字格式；
[0029]天气状态，为分类型数据，包括晴天、雨雪天气、浓雾；
[0030]道路场景，为分类型数据，包括高架、互通、匝道、主线、硬路肩、导流带；
[0031]高速公路拥堵等级描述，为分类型数据，采用0
‑
4的数字等级。
[0032]进一步的，所述对高速公路基础信息数据进行预处理，包括：
[0033]采用one
‑
hot编码对分类型数据进行编码。
[0034]进一步的，所述图像特征提取网络包括CNN卷积神经网络、线性投影层、Transformer模块、隐藏层和级联上采样模块。
[0035]进一步的，所述分类模型为XGBoost分类模型。
[0036]本专利技术提出的一种基于多模态融合的高速公路拥堵检测方法及系统，区别于传统的单一模态的方式分析高速公路拥堵等级，是将监控视频图像信息与高速公路道路基础信息进行融合后的复合识别方法，具有更好的鲁棒性和更广法的适用性等特点。
附图说明
[0037]图1为本申请基于多模态融合的高速公路拥堵检测方法流程图。
[0038]图2为本申请实施例复合特征数据提取示意图。
[0039]图3为本申请实施例图像特征提取网络示意图。
具体实施方式
[0040]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0041]在一个实施例中，如图1所示，提出了一种基于多模态融合的高速公路拥堵检测方
法，包括：
[0042]步骤S1、获取高速公路基础信息数据，对高速公路基础信息数据进行预处理并按照预设的顺序和格式存储，得到信息特征数据。
[0043]例如，采用的高速公路基础信息数据包括：高速公路监控摄像机点位类型，为二元值，分别表示外场和隧道两种类型；监控视频的系统时间，格式为基于年月日时分秒的数字格式；天气状态，为分类型数据，格式为分类编码，包括晴天、雨雪天气、浓雾等；道路场景，为分类型数据，包括高架、互通、匝道、主线、硬路肩、导流带等；以及高速公路拥堵等级描述，基于《视频交通检测器》GB/T28789
‑
2012的标准，为分类型数据，本实施例采用0
‑
4的数字等级。
[0044]在数据预处理阶段，为了有效减少分组类别数量，采用one
‑
hot编码对分类型数据进行编码操作，编码后，将数据按照预设的表格方式填入如图2左边特征表示表格，得到信息特征数据，作为复合特征数据的高速公路基础信息数据部分F
basicdata
。
[0045]步骤S2、获取高速公路监控视频图像，通过图像特征提取网络提取图像特征，得到图像特征数据。
[0046]本实施例所采用的图像特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合的高速公路拥堵检测方法，其特征在于，所述基于多模态融合的高速公路拥堵检测方法，包括：获取高速公路基础信息数据，对高速公路基础信息数据进行预处理并按照预设的顺序和格式存储，得到信息特征数据；获取高速公路监控视频图像，通过图像特征提取网络提取图像特征，得到图像特征数据；将信息特征数据和图像特征数据拼接融合为复合特征数据；将复合特征数据输入到训练好的分类模型，得到拥堵检测结果。2.根据权利要求1所述的基于多模态融合的高速公路拥堵检测方法，其特征在于，所述高速公路基础信息数据，包括：高速公路监控摄像机点位类型，为二元值，分别表示外场和隧道两种类型；监控视频的系统时间，格式为基于年月日时分秒的数字格式；天气状态，为分类型数据，包括晴天、雨雪天气、浓雾；道路场景，为分类型数据，包括高架、互通、匝道、主线、硬路肩、导流带；高速公路拥堵等级描述，为分类型数据，采用0
‑
4的数字等级。3.根据权利要求2所述的基于多模态融合的高速公路拥堵检测方法，其特征在于，所述对高速公路基础信息数据进行预处理，包括：采用one
‑
hot编码对分类型数据进行编码。4.根据权利要求1所述的基于多模态融合的高速公路拥堵检测方法，其特征在于，所述图像特征提取网络包括CNN卷积神经网络、线性投影层、Transformer模块、隐藏层和级联上采样模块。5.根据权利要求1所述的基于多模态融合的高速公路拥堵检测方法，其特征在于，所述分类模型为XGBoost分类模型。6.一种基于多模态融合的高速公路拥堵检测系统，其特征...

【专利技术属性】
技术研发人员：陶杰，李保，林朝晖，沈航，陈立康，邵奇可，颜世航，
申请(专利权)人：浙江省机电设计研究院有限公司，
类型：发明
国别省市：