一种智能交通大数据处理系统技术方案

本发明专利技术实施例提供了一种智能交通大数据处理系统，所述系统包括：大数据平台，用于存放接收已采集的大数据；大数据预处理模块，用于对所述已采集的大数据进行预处理；所述预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理；智能分析模块，用于根据接收到的指令进行所述大数据的分析，并综合利用大数据预处理模块提供的数据，进行事件因果分析；数据处理系统模块，用于生成数据分析任务传递给智能业务分析模块并接收所述智能分析模块返回的结果；通过可交互的可视化技术将企业信息的分析评估结果、各类详情数据分层级进行综合、实时的展现。应用本发明专利技术实施例，解决了传统数据处理方法实时性、高效性和交互性较差的问题。

A large data processing system for intelligent traffic

The embodiment of the invention provides a large data processing system for intelligent traffic. The system includes: a large data platform for storing large data that has been collected; a large data preprocessing module for preprocessing the collected large data; the preprocessing is used to implement load balancing, resource virtualization and distribution. Type data storage management; intelligent analysis module, which is used to analyze the large data according to the received instructions, and use the data provided by the large data preprocessing module to carry out the event causal analysis; the data processing system module is used to generate data analysis tasks to the intelligent business analysis module and receive the description. The results of the intelligent analysis module return; through the interactive visualization technology, the analysis and evaluation results of enterprise information and the hierarchical level of various details are displayed in a comprehensive and real time. The application of the invention solves the problem of poor real-time performance, high efficiency and poor interactivity of traditional data processing methods.

【技术实现步骤摘要】
一种智能交通大数据处理系统
本专利技术涉及电子
，尤其涉及一种智能交通大数据处理系统。
技术介绍
随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流，包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4V：Volume(大量)，数据量持续快速增加；Velocity(高速)，数据I/O速度更快；Variety(多样)，数据类型和来源多样化；Value(价值)，其存在各方面的可用价值。如何从海量的数据中提取、获得想要的知识或感兴趣的信息，这是利用好大数据，进而更好地服务于社会发展的要求。因此，数据挖掘方法应运而生。数据挖掘是作为一门学科诞生于20世纪80年代，从技术的角度看就是从大量复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值的信息和知识的过程。在大数据应用领域，往往可以根据用户的各种行为特征将用户群体划分成若干类，以便于针对用户群的特征进行精准式、个性化的服务。聚类是对用户群体进行划分一种方式。聚类是将数据对象分成类的过程，使同一个类中的对象具有很高的相似度，而使不同类中的对象高度相异。相异度通常使用距离来进行度量。但是，聚类操作中针对用户行为特征对用户群体进行划分的效果在很大程度上依赖于基础数据的质量，现有的基于聚类算法的用户群体划分往往不能够很好的反映用户的行为特征，存在聚类不准确的问题，难以利用聚类结果对用户群进行精准式、个性化的服务。
技术实现思路
本专利技术实施例的目的在于提供一种智能交通大数据处理系统，解决了传统数据处理方法实时性、高效性和交互性较差的问题，帮助用户实时地感知企业情况，从而提高企业管理效率和业务处理水平。为了达到上述目的，本专利技术实施例公开了一种智能交通大数据处理系统，所述系统包括：用于存放城市的交通大数据并对交通大数据进行管理，所述交通大数据包括城市道路信息数据、城市汽车管理信息数据、城市气象数据、城市汽车实时定位数据以及城市交通监控视频数据；大数据预处理模块，用于对所述交通大数据进进行预处理；所述预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理；智能分析模块，用于根据接收到的指令进行所述大数据的分析，并综合利用大数据预处理模块提供的数据，进行事件因果分析；数据处理系统模块，用于生成数据分析任务传递给智能业务分析模块并接收所述智能分析模块返回的结果；通过可交互的可视化技术将企业信息的分析评估结果、各类详情数据分层级进行综合、实时的展现，以及为用户提供操作界面。可选的，所述操作界面至少包括以下功能中的一种或多种：具有可视化图表、分析报告、内容检索和消息推送/订阅。可选的，所述大数据预处理模块通过分布式系统基础架构Hadoop存储所述已采集的大数据，并且用于实现负载均衡、资源虚拟化、分布式数据存储管理和应用程序编程接口API接口功能。可选的，所述分析模块，用于实现即席查询/组合条件查询、多维OLAP、KPI指标、MDX查询等分析功能.可选的，所述分析模块，用于实现分类、聚类、关联规则等数据挖掘功能，以及灵活的参数配置功能；可选的，指标评估模块，用于根据预设数据信息进行实时公司情况实时评估.可选的，所述预设数据信息包括：人力、财务、物质和业务。可选的，所述信息展示模块可以采用Javaweb技术搭建了B/S模式的系统客户端，实现了单点登录控制，为用户提供展示、操作界面；采用开源的ExtJS框架创建丰富的图形和图表，将企业信息分析评估结果、各类详情数据分层级进行综合、实时的展现；系统客户端具有可视化图表、分析报告、内容检索、消息推送/订阅等功能，可以通过浏览器运行在移动端、PC端。本专利技术实施例提供的智能交通大数据处理系统，与现有技术相比，本专利技术有如下优点：1、处理速度快：系统架构方案采用大数据技术对计算、存储任务进行合理调度，可以充分发挥系统中每一个集群节点的运算能力；业务需求增长时，能够方便地通过添加集群节点来扩展系统规模、提升系统性能。2、用户体验较好：系统支持多种终端运行，支持各级校情指标的实时可视化，提供简单直观的交互方式；3、灵活度高：可以根据本企业的实际情况灵活创建、配置分析模型；系统采用分层设计，易于部署实施、升级维护。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的智能交通大数据处理系统的第一种结构示意图。图2为本专利技术实施例提供的智能交通大数据处理系统的第二种结构示意图。图3为本专利技术实施例提供的智能交通大数据处理系统的第三种结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1至图3所示，为本专利技术实施例提供的智能交通大数据处理系统的结构示意图，以下分别进行详细说明。大数据平台11，用于存放城市的交通大数据并对交通大数据进行管理，所述交通大数据包括城市道路信息数据、城市汽车管理信息数据、城市气象数据、城市汽车实时定位数据以及城市交通监控视频数据；大数据预处理模块12，用于对所述交通大数据进进行预处理；所述预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理；智能分析模块13，用于根据接收到的指令进行所述大数据的分析，并综合利用大数据预处理模块提供的数据，进行事件因果分析；数据处理系统模块14，用于生成数据分析任务传递给智能业务分析模块并接收所述智能分析模块返回的结果；通过可交互的可视化技术将企业信息的分析评估结果、各类详情数据分层级进行综合、实时的展现，以及为用户提供操作界面。本实施例中，整个分析平台是基于开源的Hadoop架构实现云平台，集群硬件配置如下：16核32线程的CPU，64或128的GB的内存，由CPU的主板控制器直接连接的多张预设转速的硬盘(总存储达24TB)，并采用千兆以太网构建集群。其中，硬盘的数量和转速可以根据需要进行设置，如数量为20，转速为3600r/s等。其中，Hadoop集群有四种基本任务角色：名称节点(包括备用名称节点)、工作追踪节点、任务执行节点和数据节点。名称节点负责协调集群上的数据存储；作业追踪节点负责协调数据处理任务；任务执行节点负责进行数据采集、数据处理等任务；数据节点负责存储数据。集群内大部分的节点需要同时作为数据节点和任务执行节点。在Hadoop集群的基础上，通过Map/Reduce来实现对分布式并行任务处理的支持。Map/Reduce是一个用于大数据量并行计算的编程模型，同时也是一种高效的任务调度模型，它将一个大任务分成很多更细粒度的子任务，通过在空闲的处理节点之间进行子任务调度，避免处理速度慢的节点延长整个任务的完成时间。本专利技术中，整个智能分析平台包括三大部分，如大数据预处理模块11、智本文档来自技高网...

【技术保护点】
1.一种智能交通大数据处理系统，其特征在于，所述系统包括：大数据平台，用于存放城市的交通大数据并对交通大数据进行管理，所述交通大数据包括城市道路信息数据、城市汽车管理信息数据、城市气象数据、城市汽车实时定位数据以及城市交通监控视频数据；大数据预处理模块，用于对所述交通大数据进进行预处理；所述预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理；智能分析模块，用于根据接收到的指令进行所述大数据的分析，并综合利用大数据预处理模块提供的数据，进行事件因果分析；数据处理系统模块，用于生成数据分析任务传递给智能业务分析模块并接收所述智能分析模块返回的结果；通过可交互的可视化技术将企业信息的分析评估结果、各类详情数据分层级进行综合、实时的展现，以及为用户提供操作界面。

【技术特征摘要】
1.一种智能交通大数据处理系统，其特征在于，所述系统包括：大数据平台，用于存放城市的交通大数据并对交通大数据进行管理，所述交通大数据包括城市道路信息数据、城市汽车管理信息数据、城市气象数据、城市汽车实时定位数据以及城市交通监控视频数据；大数据预处理模块，用于对所述交通大数据进进行预处理；所述预处理用于实现负载均衡、资源虚拟化和分布式数据存储管理；智能分析模块，用于根据接收到的指令进行所述大数据的分析，并综合利用大数据预处理模块提供的数据，进行事件因果分析；数据处理系统模块，用于生成数据分析任务传递给智能业务分析模块并接收所述智能分析模块返回的结果；通过可交互的可视化技术将企业信息的分析评估结果、各类详情数据分层级进行综合、实时的展现，以及为用户提供操作界面。2.根据权利要求1所述的一种智能交通大数据处理系统，其特征在于，所述操作界面至少包括以下功能中的一种或多种：具有可视化图表、分析报告、内容检索和消息推送/订阅。3.根据权利要求1所述的一种智能交通大数据处理系统，其特征在于，所述大数据预处理模块，用于通过分布式系统基础架构Hadoop存储所述已采集的大数据，并且用于实现负载均衡、资...

【专利技术属性】
技术研发人员：李永敢，
申请(专利权)人：佛山市聚成知识产权服务有限公司，
类型：发明
国别省市：广东,44