轨道交通综合监控系统中历史数据的存储方法及装置制造方法及图纸

本发明专利技术实施例公开一种轨道交通综合监控系统中历史数据的存储方法及装置，其中，方法包括：确定轨道交通综合监控系统中历史数据的来源，获取轨道交通综合监控系统中的历史数据；基于获取的轨道交通综合监控系统中的历史数据，通过Phoenix操作HBase的形式创建轨道交通综合监控系统中历史数据的数据表；在获取的历史数据达到预设数量时，通过数据库中间件VDB，批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。本发明专利技术实施例解决了轨道交通综合监控系统中海量历史数据的存储问题，能在不影响整体调度系统运行的同时实现对轨道交通综合监控系统中每天产生的海量的历史数据的存储。

Storage Method and Device of Historical Data in Integrated Monitoring System of Rail Transit

The embodiment of the present invention discloses a method and device for storing historical data in the integrated monitoring system of rail transit. The method includes: determining the source of historical data in the integrated monitoring system of rail transit, obtaining historical data in the integrated monitoring system of rail transit; creating historical data in the integrated monitoring system of rail transit based on acquired historical data through Phoenix operation of HBase. Build the data table of historical data in the integrated monitoring system of rail transit; when the historical data acquired reaches the preset number, submit the batch of historical data to the corresponding historical data storage table in HBase database through the database middleware VDB. The embodiment of the present invention solves the storage problem of the massive historical data in the integrated monitoring system of rail transit, and can realize the storage of the massive historical data generated daily in the integrated monitoring system of rail transit without affecting the operation of the overall dispatching system.

【技术实现步骤摘要】
轨道交通综合监控系统中历史数据的存储方法及装置
本专利技术实施例涉及大数据处理
，具体涉及一种轨道交通综合监控系统中历史数据的存储方法及装置。
技术介绍
随着城市轨道交通建设的飞速发展，人们出行也越来越便利。目前，轨道交通综合监控系统面临着数据类型多、数据处理要求性能高，且数据量大的特点，需要对海量数据进行集中存储和快速查询。轨道交通综合监控系统的主要特征是随着系统的运行，每天会产生海量的数据，历史数据的数据量也可想而知。当面对存取记录总数为千万级甚至可能亿级的表时，传统的关系数据库，会因为存储量太大而导致查询速度很慢，满足不了对海量数据快速查询的需求，并且关系数据库很难通过简单增加更多的硬件和服务节点的途径来解决这些问题。
技术实现思路
由于现有方法存在上述问题，本专利技术实施例提出一种轨道交通综合监控系统中历史数据的存储方法及装置。第一方面，本专利技术实施例提出一种轨道交通综合监控系统中历史数据的存储方法，包括：确定轨道交通综合监控系统中历史数据的来源，获取轨道交通综合监控系统中的历史数据；基于获取的轨道交通综合监控系统中的历史数据，通过Phoenix操作HBase的形式，创建轨道交通综合监控系统中历史数据的数据表；在获取的历史数据达到预设数量时，通过数据库中间件VDB，批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。第二方面，本专利技术实施例还提出一种轨道交通综合监控系统中历史数据的存储装置，包括：获取模块，用于确定轨道交通综合监控系统中历史数据的来源，获取轨道交通综合监控系统中的历史数据；创建模块，用于基于获取的轨道交通综合监控系统中的历史数据，通过Phoenix操作HBase的形式，创建轨道交通综合监控系统中历史数据的数据表；存储模块，用于在获取的历史数据达到预设数量时，通过数据库中间件VDB，批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。第三方面，本专利技术实施例提供一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；其中，所述处理器，存储器通过所述总线完成相互间的通信；所述处理器执行所述计算机程序时实现上述方法。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。由上述技术方案可知，本专利技术实施例提供的一种轨道交通综合监控系统中历史数据的存储方法及装置，通过确定轨道交通综合监控系统中历史数据的来源，获取轨道交通综合监控系统中的历史数据，基于获取的轨道交通综合监控系统中的历史数据，通过Phoenix操作HBase的形式，创建轨道交通综合监控系统中历史数据的数据表，在获取的历史数据达到预设数量时，通过数据库中间件VDB，批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中，由此，解决了轨道交通综合监控系统中海量历史数据的存储问题，能够在不影响整体调度系统运行的同时，实现对轨道交通综合监控系统中每天产生的海量的历史数据的存储，为以后轨道交通综合监控系统中海量历史数据的查询和处理带来了极大的方便，从而方便后续对轨道交通综合监控系统中历史数据的整合和集中分析，为将来对这些历史数据的深度处理和应用打下了坚实的基础。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。图1为本专利技术一实施例提供的一种轨道交通综合监控系统中历史数据的存储方法的流程示意图；图2为本专利技术一实施例提供的一种轨道交通综合监控系统中历史数据存储的原理示意图；图3为本专利技术一实施例提供的一种轨道交通综合监控系统中历史数据的存储装置的结构示意图；图4为本专利技术一实施例提供的电子设备的实体结构示意图。具体实施方式下面结合附图，对本专利技术的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。图1示出了本专利技术一实施例提供的一种轨道交通综合监控系统中历史数据的存储方法的流程示意图，如图1所示，本实施例的轨道交通综合监控系统中历史数据的存储方法，包括：S1、确定轨道交通综合监控系统中历史数据的来源，获取轨道交通综合监控系统中的历史数据。S2、基于获取的轨道交通综合监控系统中的历史数据，通过Phoenix操作HBase的形式，创建轨道交通综合监控系统中历史数据的数据表。S3、在获取的历史数据达到预设数量时，通过数据库中间件VDB，批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。需要说明的是，本实施例抛弃传统的关系数据库，利用了大数据的HBase数据库来存储历史数据，方便将来对数据进行集中分析，从而为综合监控调度系统提供决策方案，提升安全管理水平。可以理解的是，由于HBase的查询语句很不好用，为了为存储之后的查询带来便利，本实施例采用了类似Mysql等关系型数据库的Phoenix中间件操作HBase数据库，将历史数据按照预设的格式通过数据库中间件VDB，快速地存储到HBase数据库中，实现历史数据的统一集中存储，从而为以后的查询、管理打好基础。本实施例提供的轨道交通综合监控系统中历史数据的存储方法，通过确定轨道交通综合监控系统中历史数据的来源，获取轨道交通综合监控系统中的历史数据，基于获取的轨道交通综合监控系统中的历史数据，通过Phoenix操作HBase的形式，创建轨道交通综合监控系统中历史数据的数据表，在获取的历史数据达到预设数量时，通过数据库中间件VDB，批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中，由此，解决了轨道交通综合监控系统中海量历史数据的存储问题，能够在不影响整体调度系统运行的同时，实现对轨道交通综合监控系统中每天产生的海量的历史数据的存储，为以后轨道交通综合监控系统中海量历史数据的查询和处理带来了极大的方便，从而方便后续对轨道交通综合监控系统中历史数据的整合和集中分析，为将来对这些历史数据的深度处理和应用打下了坚实的基础。进一步地，在上述实施例的基础上，所述步骤S3，可以包括：在获取的历史数据达到预设数量时，通过数据库中间件VDB，按照不同的专业，分别将这批轨道交通综合监控系统中的历史数据批量提交到HBase的不同的region(区域)服务器集群中。这样，能够进一步实现轨道交通综合监控系统中历史数据存储的分散性。进一步地，在具体应用中，本实施例所述轨道交通综合监控系统中的历史数据，可以包括：参数库数据和历史库数据；所述数据库中间件VDB分别提供了参数库和历史库的接口访问和调用方式。进一步地，在上述实施例的基础上，所述参数库数据可以包括：遥信数据、遥测数据、遥控数据、遥调数据和程控数据等。具体地，以遥信数据为例，可以参考图2，对于遥信数据，所述步骤S1，可以具体包括：从厂家提供的点表，获取遥信参数数据；所述步骤S2，可以具体包括：基于获取的遥信参数数据，按照Phoenix中预先设置好的参数库中遥信参数表的表结构，在Phoenix服务端创建遥信参数表；所述步骤S3，可以具体包括：本文档来自技高网...

【技术保护点】
1.一种轨道交通综合监控系统中历史数据的存储方法，其特征在于，包括：确定轨道交通综合监控系统中历史数据的来源，获取轨道交通综合监控系统中的历史数据；基于获取的轨道交通综合监控系统中的历史数据，通过Phoenix操作HBase的形式，创建轨道交通综合监控系统中历史数据的数据表；在获取的历史数据达到预设数量时，通过数据库中间件VDB，批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。

【技术特征摘要】
1.一种轨道交通综合监控系统中历史数据的存储方法，其特征在于，包括：确定轨道交通综合监控系统中历史数据的来源，获取轨道交通综合监控系统中的历史数据；基于获取的轨道交通综合监控系统中的历史数据，通过Phoenix操作HBase的形式，创建轨道交通综合监控系统中历史数据的数据表；在获取的历史数据达到预设数量时，通过数据库中间件VDB，批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中。2.根据权利要求1所述的方法，其特征在于，在获取的历史数据达到预设数量时，通过数据库中间件VDB，批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中，包括：在获取的历史数据达到预设数量时，通过数据库中间件VDB，按照不同的专业，分别将这批轨道交通综合监控系统中的历史数据批量提交到HBase的不同的region服务器集群中。3.根据权利要求1所述的方法，其特征在于，所述轨道交通综合监控系统中的历史数据，包括：参数库数据和历史库数据；所述数据库中间件VDB分别提供了参数库和历史库的接口访问和调用方式。4.根据权利要求3所述的方法，其特征在于，所述参数库数据包括：遥信数据、遥测数据、遥控数据、遥调数据和程控数据；对于遥信数据，所述确定轨道交通综合监控系统中历史数据的来源，获取轨道交通综合监控系统中的历史数据，包括：从厂家提供的点表，获取遥信参数数据；所述基于获取的轨道交通综合监控系统中的历史数据，通过Phoenix操作HBase的形式，创建轨道交通综合监控系统中历史数据的数据表，包括：基于获取的遥信参数数据，按照Phoenix中预先设置好的参数库中遥信参数表的表结构，在Phoenix服务端创建遥信参数表；所述在获取的历史数据达到预设数量时，通过数据库中间件VDB，批量提交这批历史数据到HBase数据库中对应应用的历史数据存储表中，包括：在获取的遥信参数数据达到预设数量时，通过数据库中间件VDB，批量提交这批遥信参数数据到HBase数据库的遥信参数表中。5.根据权利要求4所述的方法，其特征在于，所述遥信参数表中的信息包括：遥信名称、标识、描述、现场编号、描述锁定符、厂站名、间隔名、责任区、电压等级、量测类型、报警级别、输入类型、远程终端单元RTU号、遥信号、次遥信号、双遥信标志、遥信防抖标志、取反标志、SOE设置状态、报警类型、变位报警模式、SOE报警模式、事故处理方式、事故时间死区、事故逻辑过程、报警确认方式、报警图名、报警声音次数、变位次数限、事故次数限、是否追忆、追忆组号、是否可控、遥控责任区、合遥控号、分遥控号、起始命令、双机监督、控制模式、不校验状态、不等待控制结果、返校时间限、执行时间限、发令时间限、遥控事项模式、控合动作名称、控分动作名称、删除标志、统计...

【专利技术属性】
技术研发人员：卢凌云，马格日乐图，唐述，郑小益，石闪闪，
申请(专利权)人：北京南凯自动化系统工程有限公司，
类型：发明
国别省市：北京,11