基于多进程架构的微机监测系统实时数据处理方法技术方案

一种基于多进程架构的微机监测系统实时数据处理方法，为基于Redis的微机监测实时数据处理方法，其通过联锁接口软件、外部接口软件、计轴接口软件获取实时信息，并分类处理生成Redis的键值后，通过Redis多并发写入进行存储，在将历史数据写入关系型数据库Mysql中，从Redis获取数据并发送到MSS，以满足数据量大，实时性要求高的需求；由此，本发明专利技术采用多进程架构技术，降低了监测系统海量数据对数据库存储和网络使用的大量消耗，实现了系统实时数据的毫秒级处理和查询功能。

【技术实现步骤摘要】
基于多进程架构的微机监测系统实时数据处理方法
本专利技术涉及
，尤其涉及一种基于多进程架构的微机监测系统实时数据处理方法。
技术介绍
联锁设备微机监测系统是指利用微型计算机对电气集中联锁设备进行监督和测试的设备或系统。为提高电气集中联锁设备的可靠性、可维护性和可用性提供了重要的技术手段。监测对象主要有：室外的轨道电路(主要是受电端电压、电流)、道岔及转辙机(主要是道岔密贴程度、转辙机动作和摩擦电流)、色灯信号机(主要是主灯丝的完整性和非正常关闭)。室内的电源系统(主要是两路工业电源的电压及各种控制电源的电压和表示电源电压，主、副电源的切换时刻及停电时间，熔断器完整等)、各种操作(记录)、继电电路动作状况(记录)、电缆绝缘、与区间联系设备、站内道口设备的故障诊断和列车发车时间等。监测设备是电气集中联锁设备的辅助设备，在任何情况下不允许影响主系统的功能和安全性。由于系统接口众多，数据交换量大，实时数据显示要求高，瞬时数据存储需求高，目前系统多采用商用实时数据库和关系数据库完成数据的落盘和显示、报警等工作。目前，微机监测系统方案之一是采用关系型数据库来存储和读取实时和历史数据，关系数据库具有数据结构化，集中存储控制，共享度好，安全性高，支持复杂查询等特点，非常适合历史数据的存储。由于关系数据库存储在磁盘上，如果存储实时数据，频繁的读写会导致大量的磁盘IO操作、查询速度相对较慢，系统响应速度慢，严重可能导致数据来不及写入导致丢失。使用内存数据表这样的技术，能够一定程度上提高系统的速度，但也无法满足微机监测每秒近万条的数据的读写。为此，本专利技术的设计者有鉴于上述缺陷，通过潜心研究和设计，综合长期多年从事相关产业的经验和成果，研究设计出一种基于多进程架构的微机监测系统实时数据处理方法，以克服上述缺陷。
技术实现思路
本专利技术的目的在于提供一种基于多进程架构的微机监测系统实时数据处理方法，采用多进程架构技术，降低了监测系统海量数据对数据库存储和网络使用的大量消耗，实现了系统实时数据的毫秒级处理和查询功能。为实现上述目的，本专利技术公开了一种基于多进程架构的微机监测系统实时数据处理方法，为基于Redis(Redis全称RemoteDictionaryServer，开源软件，远程字典服务)的微机监测实时数据处理方法，其特征在于包含以下步骤：步骤一：联锁接口软件从维修机软件获取区段占用、出清、锁闭；道岔定反位、道岔锁闭、信号机开放、信号机锁闭、信号机电流、机笼板卡状态的信息，外部接口软件从通信分机、电源屏、电池、绝缘主机和漏流主机获取电流、电压、信号机开放状态的信息，计轴接口软件从计轴机柜获取计轴占用、出清的信息；步骤二：对于实时数据，各接口软件通过一定的规则，对上述信息进行分类处理，生成Redis的键值，将数据进行处理后，采用json格式作为value值进行存储，从而通过Redis多并发写入进行存储；步骤三：对于历史数据，接口软件写入关系型数据库Mysql中，有效降低Mysql的负荷；步骤四：微机监测的HMI监控界面从Redis获取数据，刷新频率可保证在1秒以内，实现了高实时性的需求；步骤五：MSS接口软件将数据发送到MSS，从Redis读取数据，以满足数据量大，实时性要求高的需求。其中：步骤二中分别采用UDP单播、组播或TCP/IP方式与监控站机的网络端口进行连接，监控站机根据所述设备的分类信息生成与分类信息相对应的设备操作接口和对象，监控站机再根据类型分配规则，生成或重复使用与分类信息相对应的设备的子进程，监控站机建立多进程命名通信管道，给予每一个子进程唯一的进程编号，通过所述监控站机的各个子进程，将接收的信息按照键值分类存储入监控站机Redis数据库中。其中：所有数据按照Mysql内存数据表格式并采用json方式记录存储进Redis，Redis键值中除存储实时信息外，在键值数据中存储更新时间戳，作为并发数据客户端读取的凭证。其中：监控站机获取Redis数据通过Pop方式获取和Range方式获取。其中：步骤三中通过对Redis里list数据结构访问，构建Bulk数据批量落盘模型。其中：在从Redis落盘至Mysql过程中，通过Mysql获取PreparedStatement对象，使用getMetaData方法获得表头数据，生成一个ResultSetMetaData对象，对象中包括需要写入的数据表的表头字段名称和数据类型。通过上述内容可知，本专利技术的基于多进程架构的微机监测系统实时数据处理方法具有如下效果：1、采用开源软件REDIS和开源数据库MYSQL，保证了数据的实时性和存储数据的可靠性，节省了开发成本。2、采用REDIS的LIST数据结构建立实时数据点，并采用键值特殊设计和非POP方法，实现实时数据的并发读取。3、通过Mysql内存表与Redis的键值关联，构建Redis与Mysql内存数据表交互查询的数据查询方法，实现并能毫秒级返回基于这些数据的查询，减少网络卡顿、网络延迟情况。本专利技术的详细内容可通过后述的说明及所附图而得到。附图说明图1显示了本专利技术的基于多进程架构的微机监测系统实时数据处理方法的流程图。图2显示了本专利技术的框架示意图。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。具体实施方式参见图1和2，显示了本专利技术的基于多进程架构的微机监测系统实时数据处理方法。所述基于多进程架构的微机监测系统实时数据处理方法为基于Redis的微机监测实时数据处理方法，具体包括以下步骤：步骤一：联锁接口软件从维修机软件获取区段占用、出清、锁闭；道岔定反位、道岔锁闭、信号机开放、信号机锁闭、信号机电流、机笼板卡状态的信息，外部接口软件从通信分机、电源屏、电池、绝缘主机和漏流主机获取电流、电压、信号机开放状态的信息，计轴接口软件从计轴机柜获取计轴占用、出清的信息。步骤二：对于实时数据，各接口软件按既定的业务编码规则，对上述信息进行分类处理，依据mysql内存表里的配置的编码信息，自动生成Redis的键值，相应地，依据业务对数据展示的组织结构需求，按照json格式进行拼接，作为value值进行存储，通过Redis多并发写入进行存储，这种采用多线程锁的方式，保证了数据的一致性和可靠性。步骤三：对于Redis中的实时数据，包括联锁、外电网、机房环境设备等的开关量及模拟量，通过批量存储工具，周期性将数据通过bulkcopy方式存储进入关系型数据库MySql中，有效降低Mysql的负荷。步骤四：微机监测的HMI监控界面从Redis获取数据，Redis官方公布的读取速度是110000次/秒，HMI监控界面最本文档来自技高网...

【技术保护点】
1.一种基于多进程架构的微机监测系统实时数据处理方法，为基于Redis的微机监测实时数据处理方法，其特征在于包含以下步骤：/n步骤一：联锁接口软件从维修机软件获取区段占用、出清、锁闭；道岔定反位、道岔锁闭、信号机开放、信号机锁闭、信号机电流、机笼板卡状态的信息，外部接口软件从通信分机、电源屏、电池、绝缘主机和漏流主机获取电流、电压、信号机开放状态的信息，计轴接口软件从计轴机柜获取计轴占用、出清的信息；/n步骤二：对于实时数据，各接口软件通过一定的规则，对上述信息进行分类处理，生成Redis的键值，将数据进行处理后，采用json格式作为value值进行存储，从而通过Redis多并发写入进行存储；/n步骤三：对于历史数据，接口软件写入关系型数据库Mysql中，有效降低Mysql的负荷；/n步骤四：微机监测的HMI监控界面从Redis获取数据，刷新频率可保证在1秒以内，实现了高实时性的需求；/n步骤五：MSS接口软件将数据发送到MSS，从Redis读取数据，以满足数据量大，实时性要求高的需求。/n

【技术特征摘要】
1.一种基于多进程架构的微机监测系统实时数据处理方法，为基于Redis的微机监测实时数据处理方法，其特征在于包含以下步骤：
步骤一：联锁接口软件从维修机软件获取区段占用、出清、锁闭；道岔定反位、道岔锁闭、信号机开放、信号机锁闭、信号机电流、机笼板卡状态的信息，外部接口软件从通信分机、电源屏、电池、绝缘主机和漏流主机获取电流、电压、信号机开放状态的信息，计轴接口软件从计轴机柜获取计轴占用、出清的信息；
步骤二：对于实时数据，各接口软件通过一定的规则，对上述信息进行分类处理，生成Redis的键值，将数据进行处理后，采用json格式作为value值进行存储，从而通过Redis多并发写入进行存储；
步骤三：对于历史数据，接口软件写入关系型数据库Mysql中，有效降低Mysql的负荷；
步骤四：微机监测的HMI监控界面从Redis获取数据，刷新频率可保证在1秒以内，实现了高实时性的需求；
步骤五：MSS接口软件将数据发送到MSS，从Redis读取数据，以满足数据量大，实时性要求高的需求。


2.如权利要求1所述的基于多进程架构的微机监测系统实时数据处理方法，其特征在于：步骤二中分别采用UDP单播、组播或TCP/IP方式与监控站机的网络端口进行连接，监控站机根据所述设备的分类信息生成与分类信息相对应的设备操作接口和对象，监控站机...

【专利技术属性】
技术研发人员：张辉，谢国庆，张涛，闫阳，
申请(专利权)人：北京城建智控科技有限公司，
类型：发明
国别省市：北京;11