基于Redis实时数据库的分布式前置采集系统技术方案

本发明专利技术公开了一种基于Redis实时数据库的分布式前置采集系统，包括系统管理模块、通讯规约处理模块、分布式前置通讯模块、分布式前置断点续传模块、Redis实时数据库模块、Redis实时数据库服务端模块、Redis实时数据库客户端模块；实现了前置采集系统的独立部署，解决了EMS系统中传统前置采集模块工作需要EMS中基础支撑平台，不能单独部署问题，实现了大批量分布式子站设备的接入，可以动态扩展采集规模。基于Redis实时数据库的分布式前置采集系统还解决了EMS主站与各子站设备在通讯链路中断情况下的数据丢失问题，提高了EMS主站与各子站设备的通信安全性、可靠性。

Distributed pre acquisition system based on Redis real time database

The invention discloses a pre distributed acquisition system based on Redis real time database, including system management module, protocol processing module, communication module, pre distributed distributed HTTP module, database module, real-time Redis Redis real-time database server module and client module implementation of Redis real-time database; independent deployment pre acquisition system in the EMS system is solved, the traditional pre acquisition module to the supporting platform EMS, cannot be deployed separately, the realization of large quantities of distributed sub station equipment access, can dynamically extend the scale of acquisition. The pre distributed acquisition system Redis real-time database can solve the equipment in the communication link interrupt in case of data loss problems of the EMS master station and sub station based on improved reliability of communication security, EMS master station and sub station equipment.

【技术实现步骤摘要】

本专利技术属于电力系统调度自动化领域，尤其涉及一种基于Redis实时数据库的分布式前置采集系统。
技术介绍
随着各工矿企业电网规模的不断扩大，企业EMS主站直采子站设备的数量也不断增多，为适应大批量子站设备数据的采集与监控，使前置采集系统安全、稳定、可靠运行，同时力争为用户提供更加简洁、友好的维护界面，设计开发出一套大容量的分布式前置系统。当前EMS（能量管理系统）系统中前置采集部分都是作为一个模块处理，不能独立部署，前置容量一般为两组。由于每组接入设备数有限，已不能满足大批量子站设备的接入。面对大批量子站设备的接入，前置将承担巨大的数据处理压力。前置模块必须与主站部署在一起，当主站与子站通信链路发生故障时，故障期间的数据将无法不存，存在很大的安全隐患。
技术实现思路
针对现有技术存在的问题，本专利技术提供一种基于Redis实时数据库的分布式前置采集系统，能够独立的部署在EMS子站端，实现大批量的子站设备的接入，大幅降低了EMS主站系统的数据处理压力。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：基于Redis实时数据库的分布式前置采集系统，包括系统管理模块、通讯规约处理模块、分布式前置通讯模块、分布式前置断点续传模块、Redis实时数据库模块、Redis实时数据库服务端模块、Redis实时数据库客户端模块；本系统以Redis实时数据库模块为核心，建立各类变化数据和全数据在Redis实时数据库中的存储模型。系统管理模块，负责检测分布式前置采集系统与EMS主站系统的通讯状态，并把通讯状态及时通知其他各模块；通讯规约处理模块，负责与子站端RTU（远程终端单元，RemoteTerminalUnit）设备的通讯规约处理并将采集到的数据报文解析后转发给分布式前置通讯模块；分布式前置通讯模块，负责与EMS主站、Redis实时数据库服务端模块数据交互；分布式前置断点续传模，负责在分布式前置采集系统与EMS主站系统的通讯中断又重新恢复的情况下将Redis实时数据库模块的未发送区的全数据类型和变化数据类型重新封装成消息的数据格式重新发送给EMS主站系统；Redis实时数据库服务端模块，负责与Redis实时数据库模块、分布式前置断点续传模块的数据交互；在分布式前置采集系统与EMS主站系统通讯正常时，分布式前置通讯模块将采集到的全数据类型和变化数据类型封装成消息的数据格式发送给EMS主站，同时仅将收到的全数据信息发送给Redis实时数据库服务端模块。在分布式前置采集系统与EMS主站系统通讯正常时，Redis实时数据库服务端模块将从分布式前置通讯模块接收到的全数据信息以链表的形式存储于Redis实时数据库模块的已发送区。在分布式前置采集系统与EMS主站系统通讯中断时，分布式前置通讯模块将采集到的全数据类型和变化数据全部发送给Redis实时数据库服务端模块。在分布式前置采集系统与EMS主站系统通讯中断时，分布式前置通讯模块将采集到的全数据类型和变化数据全部发送给Redis实时数据库服务端模块。在分布式前置采集系统与EMS主站系统通讯中断时，Redis实时数据库服务端模块将从分布式前置通讯模块接收到的全数据类型和变化数据以链表的形式存储于Redis实时数据库模块的未发送区。在分布式前置采集系统与EMS主站系统的通讯中断到重新恢复时，Redis实时数据库服务端模块取出Redis实时数据库模块的未发送区的全数据类型和变化数据类型发送给分布式前置断点续传模块。在分布式前置采集系统与EMS主站系统的通讯中断到重新恢复时，分布式前置断点续传模块接收到Redis实时数据库模块的未发送区的全数据类型和变化数据类型重新封装成消息的数据格式重新发送给EMS主站系统，并将发送结果反馈给Redis实时数据库服务端模块。Redis实时数据库服务端模块收到分布式前置断点续传模块发送成功的反馈信息，将续传的全数据类型和变化数据类型从Redis实时数据库模块的未发送区移除，并将全数据类型迁移到Redis实时数据库模块的已发送区。所述Redis实时数据库服务端模块还负责Redis实时数据库的被动持久化（即在分布式前置采集系统持续运行一定时间后，Redis实时数据库服务端模块将Redis实时库中已发送区的链表数据持久化到磁盘上）并从Redis实时库中删除对应时段数据。持久化后的历史数据按照规定数据格式存储，可以后期用作大数据分析计算。Redis实时数据库客户端模块，实现Redis实时数据库的主动持久化（即响应用户定制的持久化请求处理）。本专利技术的有益效果是：能够独立部署于子站端，基于Redis实时数据库，实现大批量子站设备的接入，大幅减轻了EMS主站处理数据的压力，并且当在分布式前置采集系统与EMS主站通讯中断的时候也能完好的将数据保存，不会造成数据的丢失，提高了系统的可靠性，安全性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的系统结构图；图2为本专利技术的数据流程图。具体实施方式下面结合附图对本专利技术的优选实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。参照图1至图2所示，本专利技术基于Redis实时数据库的分布式前置采集系统；本系统基于Redis实时数据库，能够独立的部署于EMS子站端，实现大批量子站设备的接入；系统容量为256组分布式前置采集系统，每组包含两台前置机，互为主备，每组可实现1024个子站设备的接入，包括系统管理模块、通讯规约处理模块、分布式前置通讯模块、分布式前置断点续传模块、Redis实时数据库模块、Redis实时数据库服务端模块、Redis实时数据库客户端模块。系统管理模块，负责检测分布式前置采集系统与EMS主站系统的通讯状态，并把通讯状态及时通知其他各模块；通讯规约处理模块，负责与子站端RTU设备的通讯规约处理并将采集到的数据报文解析后转发给分布式前置通讯模块；分布式前置通讯模块，负责与EMS主站、Redis实时数据库服务端模块数据交互；分布式前置断点续传模，负责在分布式前置采集系统与EMS主站系统的通讯中断又重新恢复的情况下将Redis实时数据库模块的未发送区的全数据类型和变化数据类型重新封装成消息的数据格式重新发送给EMS主站系统；Redis实时数据库服务端模块，负责与Redis实时数据库模块、分布式前置断点续传模块的数据交互；Redis实时数据库客户端模块，实现Redis实时数据库的主动持久化。本系统的数据处理流程主要包括：1.分布式前置采集系统与站端RTU通讯采用标准规约。2.在分布式前置采集系统与主站EMS系统通讯正常时：2.1站端RTU值班端口上行一帧全数据/变化数据报文DataGram_UPDATE（将全数据/变化数据报文定义为DataGram_UPDATE）；2.2通讯规约处理模块接收到DataGram_UPDATE，进行标准规约报文解析，将生成的全数据/变化数据信息发送给分布式前置通讯模块；2.3系统管理模块检测与本文档来自技高网...

【技术保护点】
基于Redis实时数据库的分布式前置采集系统，其特征在于：包括系统管理模块、通讯规约处理模块、分布式前置通讯模块、分布式前置断点续传模块、Redis实时数据库模块、Redis实时数据库服务端模块、Redis实时数据库客户端模块；其中，系统管理模块，负责检测分布式前置采集系统与EMS主站系统的通讯状态，并把通讯状态及时通知其他各模块；通讯规约处理模块，负责与子站端RTU设备的通讯规约处理并将采集到的数据报文解析后转发给分布式前置通讯模块；分布式前置通讯模块，负责与EMS主站、Redis实时数据库服务端模块数据交互；分布式前置断点续传模，负责在分布式前置采集系统与EMS主站系统的通讯中断又重新恢复的情况下将Redis实时数据库模块的未发送区的全数据类型和变化数据类型重新封装成消息的数据格式重新发送给EMS主站系统；Redis实时数据库服务端模块，负责与Redis实时数据库模块、分布式前置断点续传模块的数据交互；Redis实时数据库客户端模块，实现Redis实时数据库的主动持久化。

【技术特征摘要】
1.基于Redis实时数据库的分布式前置采集系统，其特征在于：包括系统管理模块、通讯规约处理模块、分布式前置通讯模块、分布式前置断点续传模块、Redis实时数据库模块、Redis实时数据库服务端模块、Redis实时数据库客户端模块；其中，系统管理模块，负责检测分布式前置采集系统与EMS主站系统的通讯状态，并把通讯状态及时通知其他各模块；通讯规约处理模块，负责与子站端RTU设备的通讯规约处理并将采集到的数据报文解析后转发给分布式前置通讯模块；分布式前置通讯模块，负责与EMS主站、Redis实时数据库服务端模块数据交互；分布式前置断点续传模，负责在分布式前置采集系统与EMS主站系统的通讯中断又重新恢复的情况下将Redis实时数据库模块的未发送区的全数据类型和变化数据类型重新封装成消息的数据格式重新发送给EMS主站系统；Redis实时数据库服务端模块，负责与Redis实时数据库模块、分布式前置断点续传模块的数据交互；Redis实时数据库客户端模块，实现Redis实时数据库的主动持久化。2.根据权利要求1所述的基于Redis实时数据库的分布式前置采集系统，其特征在于：所述分布式前置通讯模块负责与EMS主站、Redis实时数据库服务端模块数据交互具体包括，在分布式前置采集系统与EMS主站系统的通讯正常的情况下，将采集到的全数据类型和变化数据类型封装成消息的数据格式发送给EMS主站，同时仅将收集到的全数据信息发送给Redis实时数据库服务端模块在分布式前置采集系统与EMS主站系统的通讯中断的情况下，分布式前置通讯模块将采集到的全数据类型和...

【专利技术属性】
技术研发人员：成月良，朱守让，王伟，吴多胜，
申请(专利权)人：国电南瑞南京控制系统有限公司，
类型：发明
国别省市：江苏;32