一种城市轨道交通用智能运维大数据管理系统和方法技术方案

本发明专利技术公开了一种城市轨道交通用智能运维大数据管理系统和方法，包括用于搭建私有云集群的基础设施模块；用于将原始数据解析转换为报文数据的数据解析与接入模块；用于建立存储报文数据的数据表的异构数据存储模块；用于进行数据处理的数据处理分析模块；用于获取硬件设施以及运行状态数据，并将运行状态数据与对应的阈值进行比较，当运行状态数据超过对应的阈值时，集群监控模块给出报警信号的集群监控模块。本发明专利技术车载监测系统数据展示的实效性更强，并能够对海量结构化/非结构化数据进行有效存储和处理，为地铁车辆大数据分析提供便利，更能满足地铁车辆智能运维对信息化、数字化、精细化数据管理的需求。

An intelligent operation and maintenance big data management system and method for Urban Rail Transit

【技术实现步骤摘要】
一种城市轨道交通用智能运维大数据管理系统和方法
本专利技术涉及城市轨道交通
，尤其涉及一种城市轨道交通用智能运维大数据管理系统和方法。
技术介绍
随着城市轨道交通行业的发展，地铁车辆运营安全保障、精准维修、集约化资源管理已成为必然需求，地铁车辆智能运维系统为地铁车辆由传统维修向智能化维修转变提供重要支撑。地铁车辆智能运维系统主要包括车载监测系统、轨旁检测系统、业务系统，但各系统产生的数据缺乏及时有效的沟通和数据共享，造成“数据孤岛”，导致维修统筹能力不足；具体而言，地铁车辆涉及的数据包括在途实时运行状态数据、车内实时视频数据、轨旁状态感知数据、轨旁故障图片数据、检修数据、日志数据等，这些数据来源多样、类型复杂、时效性强、规模庞大、安全性要求高，反映了地铁车辆的运维方式和技术特点。尽管目前基于商业软件或基于开源软件的大数据平台能够提供通用的面向海量数据接入和数据存储分析的功能，但现有技术仍不能对地铁车辆智能运维涉及的系统单元划分问题、多源数据采集协议规范问题、海量数据有效存储以及处理分析问题进行有效解决，无法满足地铁车辆智能运维对信息化、数本文档来自技高网...

【技术保护点】
1.一种城市轨道交通用智能运维大数据管理系统，其特征在于，包括基础设施模块、数据解析与接入模块、消费数据模块、异构数据存储模块、数据处理分析模块以及集群监控模块；/n所述基础设施模块，用于搭建地铁车辆段的私有云集群；所述数据解析与接入模块、所述消费数据模块、所述异构数据存储模块、所述数据处理分析模块以及所述集群监控模块之间的数据处理均在所述私有云集群内进行；/n所述数据解析与接入模块，用于接收车载监测系统、轨旁检测系统以及业务系统的原始数据，并将所述原始数据解析转换为报文数据；同时还用于将所述报文数据传输至分布式消息队列Kafka中缓存；其中，所述报文数据包括报警类数据、故障类数据、状态类数据...

【技术特征摘要】
1.一种城市轨道交通用智能运维大数据管理系统，其特征在于，包括基础设施模块、数据解析与接入模块、消费数据模块、异构数据存储模块、数据处理分析模块以及集群监控模块；
所述基础设施模块，用于搭建地铁车辆段的私有云集群；所述数据解析与接入模块、所述消费数据模块、所述异构数据存储模块、所述数据处理分析模块以及所述集群监控模块之间的数据处理均在所述私有云集群内进行；
所述数据解析与接入模块，用于接收车载监测系统、轨旁检测系统以及业务系统的原始数据，并将所述原始数据解析转换为报文数据；同时还用于将所述报文数据传输至分布式消息队列Kafka中缓存；其中，所述报文数据包括报警类数据、故障类数据、状态类数据以及测量类数据；
所述消费数据模块，用于读取缓存至所述分布式消息队列Kafka中的所述报文数据，并将读取的所述报文数据转移至所述异构数据存储模块；
所述异构数据存储模块，用于根据业务关系映射表建立用于存储所述报文数据的数据表；其中，所述业务关系映射表为所述车载监测系统、所述轨旁检测系统以及所述业务系统的字段信息表；
所述数据处理分析模块，用于对所述数据表中的数据进行处理，并将处理后的数据存储至所述异构数据存储模块；
所述集群监控模块，用于周期性获取所述私有云集群内的硬件设施以及所述消费数据模块的运行状态数据，并将所述运行状态数据与对应的阈值进行比较，当所述运行状态数据超过对应的阈值时，所述集群监控模块给出报警信号。


2.根据权利要求1所述的一种城市轨道交通用智能运维大数据管理系统，其特征在于，所述数据解析与接入模块包括接入单元、解析单元和发送单元；
所述接入单元通过TCP/IP数据协议或UDP数据协议接收所述车载监测系统的原始数据；
所述接入单元通过HTTP数据协议接收所述轨旁检测系统的原始数据；
所述接入单元通过HTTP数据协议接收所述业务系统的原始数据；
所述解析单元根据所述业务关系映射表和所述TCP/IP数据协议或所述UDP数据协议将所述车载监测系统的原始数据解析转换为所述报警类数据、所述故障类数据和所述状态类数据；
所述解析单元根据所述业务关系映射表和所述HTTP数据协议将所述轨旁检测系统的原始数据解析转换为所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；
所述解析单元根据所述业务关系映射表和所述HTTP数据协议将所述业务系统的原始数据解析转换为所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；
所述发送单元，用于将所述报警类数据、所述故障类数据、所述状态类数据和所述测量类数据推送至所述分布式消息队列Kafka中缓存。


3.根据权利要求2所述的一种城市轨道交通用智能运维大数据管理系统，其特征在于，所述异构数据存储模块包括内存数据库Redis、关系型数据库MySQL、分布式列式数据库HBase、数据仓库Hive和分布式文件系统，所述分布式文件系统包括HDFS或FastDFS；
所述内存数据库Redis，用于建立第一数据表，所述第一数据表用于存储所述车载监测系统生成的所述报警类数据、所述故障类数据以及所述状态类数据；还用于设置所述内存数据库Redis的最大内存容量；
所述关系型数据库MySQL，用于建立第二数据表，所述第二数据表用于存储面向业务的结构化数据；所述结构化数据包括可靠性分析结果数据、故障知识库数据、能耗分析结果数据、能耗优化推荐数据、日检作业支撑数据以及车辆运用推荐数据；
所述分布式列式数据库HBase，用于建立第三数据表，所述第三数据表用于存储所述车载监测系统、所述轨旁检测系统以及所述业务系统生成的所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；还用于设置所述分布式列式数据库HBase中的数据表生存时间以及数据存储时长；
所述数据仓库Hive，用于压缩存储来自所述分布式列式数据库HBase和所述关系型数据库MySQL的第三数据表和第二数据数据表；
所述分布式文件系统，用于根据所述分布式列式数据库HBase和所述关系型数据库MySQL中存储的非结构化数据链接地址，将所述非结构化数据存入所述HDFS或所述FastDFS中；其中，非结构化数据链接地址为所述车载监测系统、所述轨旁检测系统以及所述业务系统中的图片、视频以及日志存储的路径信息。


4.根据权利要求3所述的一种城市轨道交通用智能运维大数据管理系统，其特征在于，所述数据处理分析模块包括ETL模块和分布式计算模块Spark；所述数据处理分析模块包括以下处理过程：
建立所述分布式列式数据库HBase和所述数据仓库Hive之间的映射表；
建立所述关系型数据库MySQL和所述数据仓库Hive之间的映射表；
建立所述关系型数据库MySQL的中间表和目标表；
所述ETL模块清空所述中间表；
所述ETL模块根据所述分布式列式数据库HBase和所述数据仓库Hive之间的映射表，对所述数据仓库Hive中的数据表进行预处理，并将预处理后的数据表迁移至所述数据仓库Hive中；
所述ETL模块根据所述关系型数据库MySQL和所述数据仓库Hive之间的映射表，利用Sqoop将迁移至所述数据仓库Hive中的数据表迁移至被清...

【专利技术属性】
技术研发人员：张燕忠，唐江华，尹淼，卜显利，王志云，胡林桥，
申请(专利权)人：广州运达智能科技有限公司，
类型：发明
国别省市：广东;44