基于大数据技术的智慧交通监控分析系统技术方案

一种基于大数据技术的智慧交通监控分析系统，使用高可用的海量日志采集工具Flume进行数据采集，通过高吞吐量、分布式消息队列工具Kafka将数据传到分布式处理引擎Flink中对流式数据进行清洗的技术路线实时进行道路交通数据采集和处理。根据不同的交通数据类型对数据进行不同操作。针对道路档案数据，车流量数据建立集成学习模型LightGBM，预测未来短期内的道路的交通拥堵情况，并将预测的路况信息可视化展示在页面上；针对实时车辆行驶数据信息以及交通事故数据，使用Hive以及Spark技术对数据进行实时分析展示。本发明专利技术在智慧城市的发展的进程中具有广泛的应用前景，对车辆进行精细化管理等服务，解决社会经济的快速发展带来的交通堵塞、交通违法问题。交通违法问题。交通违法问题。

【技术实现步骤摘要】
基于大数据技术的智慧交通监控分析系统


[0001]本专利技术涉及一种智慧交通监控分析系统，尤其涉及一种基于大数据技术的智慧交通监控分析系统。属于交通监控分析


技术介绍

[0002]面对交通运输业带来的能耗、污染以及拥堵问题，发展智慧交通是解决诸多问题的思路之一。智慧交通作为智慧城市发展的重要内容，它可以提供道路拥堵分析研判，道路通行实时监控分析，提供事故紧急救援服务，对车辆进行精细化管理等服务。智慧交通技术能够有效减少交通事故的发生，可使每年因交通事故造成的死亡人数下降30％～70％。
[0003]随着各种大数据技术与组件的发展，为解决社会经济的快速发展带来的交通堵塞、交通违法等问题提供了新的思路，本系统提出基于大数据技术的智慧交通监控分析方案。在每日产生的大量交通数据基础之上对交通违法行为、道路事故监控、道路流量分析研判预测、事故紧急救援等问题进行实时处理和解决，加快智慧城市的发展进程。

技术实现思路

[0004]一种基于大数据技术的智慧交通监控分析系统的提出，目的是在每日产生的大量交通数据基础之上对交通违法行为、道路事故监控、道路流量分析研判预测、事故紧急救援等问题进行实时处理和解决，加快智慧城市的发展进程。
[0005]本专利技术的技术解决方案是这样实现的：
[0006]一种基于大数据技术的智慧交通监控分析系统，包括：登录模块、验证模块、路况概览模块、拥堵预测模块、安全管理模块，其特征在于所述登录模块通过用户输入网址进入平台后，输入账号、密码，进入验证模块；后端获取账号密码将信息与数据库账号密码信息进入数据库验证，如果验证成功否，则返回输入账号、密码，用户重新输入账号密码，如果验证成功是，则成功进入平台；路况概览模块由数据处理、数据分区存储、数据HQL分析组成，数据处理进行路况数据处
[0007]理后，数据分区存储进行数据存储，使用Hive进行数据存储时建立分区表，同时进行优化，使用parquet格式进行存储，数据的压缩格式选用snappy，使大量的数据可以得到快速处理，数据HQL分析进行数据分析，将存储在hive中的数据通过HSQL语句进行分析和计算，当HQL语句无法满足要处理数据的要求时，使用自定义的UDF函数进行处理；拥堵预测模块由数据采集、模型预测、数据导入MySQL组成，数据采集采集道路拥堵数据，模型预测进行数据分析，创新使用lightGBM模型，它是一种高效的梯度提升决策树框架，在交通流量预测中应用过程如下：(1)数据集准备，准备交通流量预测所需的数据集，数据集包括历史交通流量、天气情况、节假日等因素对交通流量的影响因素，对数据集进行预处理，包括数据清洗、缺失值填充和特征工程，使用spark接收kafka消息队列的实时流数；(2)模型训练，采用lightGBM模型训练，其过程包括选择特征、设置参数、训练模型和验证步骤，其中参数调整可以分为两个部分，第一部分是确定树模型基础参数，第二部分是调整模型训练参数，树模
型基础参数有叶子节点个数，学习率，采用网格搜索、贝叶斯优化方法，找到最佳的参数组合；(3)模型评估，完成模型训练后，需要对其进行评估，使用交叉验证方法来评估模型的性能，验证模型预测准确率达到90％以上，数据导入MySQL将数据导入平台；安全管理模块由数据预处理、数据仓库设计、数据HQL分析组成，数据预处理对安全数据进行预处理，数据仓库设计将交通数据存储到数据仓库，其存储过程中创新采用了数据分层：(1)数据操作层(ODS)，这里的数据与官网下载的原始数据保持一致，在Hive中存储的历史数据是只读的，提供前端用户和后台系统进行查询数据使用；(2)数据明细层(DWD)，数据明细层对ODS层的数据进行清洗、标准化、维度退化，将原始数据表通过以上操作拆分为用户信息表、车辆数据表、违章数据表等较小的表为下一步分析运算做准备；(3)数据汇总层(DWS)，数据汇总层的数据对数据明细层的数据，按照分析主题进行计算汇总，需要查询用户的个人信息与其对应的车辆信息数据，将这两个表进行合并，注重数据聚合，复杂查询、处理性能更优的数仓模型；(4)数据应用层(ADS)，数据应用层也被称为数据集市，存储数据分析结果，可以用来对数据进行可视化展示，也可以方便用户对特定的数据进行增删改查，减轻数据仓库的负担，数据HQL分析对安全数据进行分析处理。
[0008]与现有技术相比较，本专利技术的优点是显而易见的，主要表现在：
[0009]1、为用户出行提供信息服务，可以获得实时路况、未来路况和当前交通事件信息，利用大数据平台分析研判平台对高速进出城流量进行统计分析，通过统计分析有针对性地提前做好勤务安排，确保道路通行顺畅。
[0010]2、由于车辆管理方式和交通信息化手段的落后，大量车辆逃避年检和交强险，机动车违规事件频发、车辆肇事后逃逸等现象时有发生，对有异常现象发生的车辆进行实时监控，既可以确保交通安全也可以实现对异常车辆的精细化管理。
附图说明
[0011]本专利技术共有附图5幅。
[0012]图1是本专利技术的系统模块示意图；
[0013]图2是本专利技术的登录和验证模块示意图；
[0014]图3是本专利技术的路况概览模块示意图；
[0015]图4是本专利技术的拥堵预测模块示意图
[0016]图5是本专利技术的安全管理模块示意图。
[0017]其中，1、登录模块，101、输入网址，102、输入账号、密码，2、验证模块，201、后端获取账号密码，202、进入数据库验证，203、验证成功，204、成功进入平台，3、路况概览模块，301、数据处理；302、数据分区存储；303、数据HQL分析，4、拥堵预测模块，401、数据采集，402、模型预测，403、数据导入MySQL，5、安全管理模块，501、数据预处理，502、数据仓库设计，503、数据HQL分析。
具体实施方式
[0018]如图1、2、3、4、5所示的一种基于大数据技术的智慧交通监控分析系统，包括：登录模块1、验证模块2、路况概览模块3、拥堵预测模块4、安全管理模块5，其特征在于所述登录模块通过用户输入网址101进入平台后，输入账号、密码102，进入验证模块2；后端获取账号
密码201将信息与数据库账号密码信息进入数据库验证202，如果验证成功203否，则返回输入账号、密码102，用户重新输入账号密码，如果验证成功203是，则成功进入平台204；路况概览模块3由数据处理301、数据分区存储302、数据HQL分析303组成，数据处理301进行路况数据处理后，数据分区存储302进行数据存储，使用Hive进行数据存储时建立分区表，同时进行优化，使用parquet格式进行存储，数据的压缩格式选用snappy，使大量的数据可以得到快速处理，数据HQL分析303进行数据分析，将存储在hive中的数据通过HSQL语句进行分析和计算，当HQL语句无法满足要处理数据的要求时，使用自定义的UDF函数进行处理；拥堵预测模块4由数据采集401、模型预测402、数据导入MySQL403组成，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据技术的智慧交通监控分析系统，包括：登录模块(1)、验证模块(2)、路况概览模块(3)、拥堵预测模块(4)、安全管理模块(5)，其特征在于所述登录模块通过用户输入网址(101)进入平台后，输入账号、密码(102)，进入验证模块(2)；后端获取账号密码(201)将信息与数据库账号密码信息进入数据库验证(202)，如果验证成功(203)否，则返回输入账号、密码(102)，用户重新输入账号密码，如果验证成功(203)是，则成功进入平台(204)；路况概览模块(3)由数据处理(301)、数据分区存储(302)、数据HQL分析(303)组成，数据处理(301)进行路况数据处理后，数据分区存储(302)进行数据存储，使用Hive进行数据存储时建立分区表，同时进行优化，使用parquet格式进行存储，数据的压缩格式选用snappy，使大量的数据可以得到快速处理，数据HQL分析(303)进行数据分析，将存储在hive中的数据通过HSQL语句进行分析和计算，当HQL语句无法满足要处理数据的要求时，使用自定义的UDF函数进行处理；拥堵预测模块(4)由数据采集(401)、模型预测(402)、数据导入MySQL(403)组成，数据采集(401)采集道路拥堵数据，模型预测(402)进行数据分析，创新使用lightGBM模型，它是一种高效的梯度提升决策树框架，在交通流量预测中应用过程如下：(1)数据集准备，准备交通流量预测所需的数据集，数据集包括历史交通流量、天气情况、节假日等因素对交通流量的影响因素，对数据集进行预处理，包括数据清洗、缺失值填充和特征工程，使用spark接收kafka消息队列的实时流数；...

【专利技术属性】
技术研发人员：刘丽娟，吕科，
申请(专利权)人：大连交通大学，
类型：发明
国别省市：