基于Redis的双通道实时数据采集系统及采集方法技术方案

本发明专利技术公开基于Redis的双通道实时数据采集系统，包括后台数据处理模块、前台数据管理模块，所述后台数据处理模块与所述前台数据管理模块相连接，所述后台数据处理模块和所述前台数据管理模块均加载在互为主备的主机器和备机器上，所述主机器和所述备机器分别独立运行加载上的所述后台数据处理模块和所述前台数据管理模块。本发明专利技术将互为主备的进程分别部署在两台机器AB上并分别独立部署实时数据采集系统的所有组件，解决了数据传输中断和数据短暂丢失的问题，集成了常用的电力系统通信规约以及串口、网络等多种通信方式，并且可以融入大数据平台，能够有效满足电厂级、区域级、集团级的实时数据采集要求，保证了电力系统的安全稳定运行。

Two-channel Real-time Data Acquisition System and Acquisition Method Based on Redis

【技术实现步骤摘要】
基于Redis的双通道实时数据采集系统及采集方法
本专利技术涉及一种基于Redis的双通道实时数据采集系统及采集方法，属于实时数据采集

技术介绍
在电力、冶金、石油、化工等领域，现场生产设备在运行过程中产生的实时数据具有重要的应用价值，这些数据为管控层的高级管理应用提供强有力的数据支持。因此，需要设计并实现一款实时数据采集系统，通过把现场各个独立的生产设备在运行过程中产生的数据融为一体，进行统一的平台化管理，形成统一的数据规范和数据服务。现有国内电力企业的数据采集设备和软件主要是南自、南瑞等电力厂商的基于IEC60870开发的数据采集设备和软件，这些产品包括南自PSX643U，PSX610G，南瑞NSC2200E等，被应用于电力、冶金、石油、化工等领域的工业控制系统与信息管理系统中。这些数据采集系统采用单机部署或主备部署方式。单机部署方式当机器发生故障时会导致数据传输中断，主备部署方式当主机器发生故障时切换到备机器存在时间间隔，引起数据短暂丢失，并且当备机器发生故障时存在主备切换失败，导致数据传输中断，不能保证数据的安全性。此外，这些数据采集系统只支持单一通信规约和单一通信方式，不能集成常用的电力系统通信规约(IEC101、IEC102、IEC104、Modbus、部颁CDT、DL476等)以及串口、网络等多种通信方式，当现场生产设备更新换代需要更改通信规约或通信方式时，系统不能满足新的数据采集要求，这时就得重新进行二次开发，浪费大量的人力物力。并且随着电力大数据时代的到来，这些单独部署在现场的数据采集系统已经不能满足电力大数据环境下实时数据的采集要求。综上，现有的实时数据采集系统不能保证数据传输的安全性、支持的通信规约有限、支持的通信方式有限、不能融入大数据平台等缺点，较大影响了企业的经济效益。
技术实现思路
目前，实时数据采集系统大多数是采用单机部署或主备部署方式，支持的通信规约有限、支持的通信方式有限，并且不能融入大数据平台。单机部署方式的缺点是当机器发生故障时会引起数据传输中断；主备部署方式的缺点是当主机器发生故障时切换到备机器时存在时间间隔、引起数据短暂丢失，并且当备机器发生故障时存在主备切换失败、引起数据传输中断；不能支持常用的电力系统通信规约，以及串口、网络等多种通信方式；不能满足电力大数据环境下实时数据的采集要求。针对以上缺点，本专利技术基于Redis的双通道技术，设计并实现了实时数据采集系统，将互为主备的进程分别部署在两台机器AB上，在AB机器上分别独立部署实时数据采集系统的所有组件，解决了数据传输中断和数据短暂丢失的问题，集成了常用的电力系统通信规约以及串口、网络等多种通信方式，并且可以融入大数据平台，能够有效满足电厂级、区域级、集团级的实时数据采集要求，保证了电力系统的安全稳定运行。本专利技术的目的在于，克服现有技术存在的缺陷，解决现有实时数据采集系统的缺点，提出基于Redis的双通道实时数据采集系统及采集方法。本专利技术采用如下技术方案：基于Redis的双通道实时数据采集系统，其特征在于，包括后台数据处理模块、前台数据管理模块，所述后台数据处理模块与所述前台数据管理模块相连接，所述后台数据处理模块和所述前台数据管理模块均加载在互为主备的主机器和备机器上，所述主机器和所述备机器分别独立运行加载上的所述后台数据处理模块和所述前台数据管理模块。作为一种较佳的实施例，所述后台数据处理模块包括数据接入模块、报文解析模块、数据转发模块，所述数据接入模块与所述报文解析模块相连接，所述报文解析模块与所述数据转发模块相连接。作为一种较佳的实施例，所述数据接入模块用来支持IEC101、IEC102、IEC104、Modbus和部颁CDT、DL476等常用电力系统通信规约以及串口、网络等多种通信方式，同时向主机器上的Redis和备机器上的Redis发布消息。作为一种较佳的实施例，所述数据转发模块用来支持实时数据库和关系数据库，只从主机器上的Redis订阅消息。作为一种较佳的实施例，所述报文解析模块用来根据接入的通信规约，按照通信规约的报文规则解析数据，解析完成后将数据转发到实时数据库或关系数据库中，主机器和备机器上的心跳服务实时同步进程状态，并且实时向心跳服务中更新此进程的状态。作为一种较佳的实施例，所述前台数据管理模块包括DbTool配置模块、运行监管模块、日志报文模块、系统管理模块，所述DbTool配置模块与所述运行监管模块相连接，所述运行监管模块与所述日志报文模块相连接，所述日志报文模块与所述系统管理模块相连接。作为一种较佳的实施例，所述DbTool配置模块用来完成接入设备、转发通道和系统配置功能；所述运行监管模块用来完成服务监管和测点监管功能，所述服务监管是指监管各个进程服务，所述测点监管是指监管配置的测点；所述日志报文模块用来实现系统日志和报文日志功能；所述系统管理模块用来完成系统更新、配置更新和系统备份功能。本专利技术还提出基于Redis的双通道实时数据采集系统的采集方法，其特征在于，包括如下步骤：步骤SS1：数据接入，具体包括：在接入设备节点下配置系统属性和通信属性后增加设备，在增加的设备节点下配置组属性后增加组，在增加的组节点下配置点属性；步骤SS2：数据转发，具体包括：在转发通道节点下配置系统属性和通信属性后增加通道，在增加的通道节点下配置组属性后增加组，在增加的组节点下配置点属性；步骤SS3：报文解析，具体包括：根据配置的接入通信规约，将接收到的数据按照各个通信规约的报文规则进行解析，解析完成后根据配置的转发通道，将数据转发到实时数据库或关系数据库中。本专利技术所达到的有益效果：本专利技术基于Redis的双通道实时数据采集系统和采集方法具有高安全性，支持多通信规约以及多通信方式，能够融入大数据平台等优点；第一，因为本专利技术采用了基于Redis的双通道技术，实现了主机器出现故障时能够零间隔切换到备机器，避免了数据短暂丢失的问题，并且解决了备机器出现故障时主备切换失败而导致的数据中断问题，所以具有高安全性；第二，本专利技术集成了IEC101、IEC102、IEC104、Modbus、部颁CDT、DL476等常用电力系统通信规约以及串口、网络等通信方式；第三，本专利技术基于Java语言开发，支持Linux系统和国产系统等，能够融入大数据平台中，部署方式灵活。附图说明图1是本专利技术的基于Redis的双通道实时数据采集系统的整体架构图。图2是本专利技术的后台数据处理模块的功能流程图。图3是本专利技术的前台数据管理模块的功能模块图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。如图1所示的是本专利技术的基于Redis的双通道实时数据采集系统的整体架构图，本专利技术基于Redis的双通道技术，是将互为主备的进程分别部署在两台机器A和B上，在A和B机器上分别独立部署实时数据采集系统的所有组件，包括Supervisor(进程管理工具)、ECell(自研的实时数据采集系统前台数据管理组件)、Redis(Redis是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API)、Tomcat(T本文档来自技高网...

【技术保护点】
1.基于Redis的双通道实时数据采集系统，其特征在于，包括后台数据处理模块、前台数据管理模块，所述后台数据处理模块与所述前台数据管理模块相连接，所述后台数据处理模块和所述前台数据管理模块均加载在互为主备的主机器和备机器上，所述主机器和所述备机器分别独立运行加载上的所述后台数据处理模块和所述前台数据管理模块。

【技术特征摘要】
1.基于Redis的双通道实时数据采集系统，其特征在于，包括后台数据处理模块、前台数据管理模块，所述后台数据处理模块与所述前台数据管理模块相连接，所述后台数据处理模块和所述前台数据管理模块均加载在互为主备的主机器和备机器上，所述主机器和所述备机器分别独立运行加载上的所述后台数据处理模块和所述前台数据管理模块。2.根据权利要求1所述的基于Redis的双通道实时数据采集系统，其特征在于，所述后台数据处理模块包括数据接入模块、报文解析模块、数据转发模块，所述数据接入模块与所述报文解析模块相连接，所述报文解析模块与所述数据转发模块相连接。3.根据权利要求2所述的基于Redis的双通道实时数据采集系统，其特征在于，所述数据接入模块用来支持IEC101、IEC102、IEC104、Modbus和部颁CDT、DL476常用电力系统通信规约以及串口、网络多种通信方式，同时向主机器上的Redis和备机器上的Redis发布消息。4.根据权利要求2所述的基于Redis的双通道实时数据采集系统，其特征在于，所述数据转发模块用来支持实时数据库和关系数据库，只从主机器上的Redis订阅消息。5.根据权利要求2所述的基于Redis的双通道实时数据采集系统，其特征在于，所述报文解析模块用来根据接入的通信规约，按照通信规约的报文规则解析数据，解析完成后将数据转发到实时数据库或关系数据库中，主机器和备机器上的心跳服务实时同步进程状态，并且实时向心跳服务中更新...

【专利技术属性】
技术研发人员：徐鹏飞，王照阳，张磊，齐刚，宋坤，马驰源，刘广，王永文，张飞，黄刘松，周明琴，
申请(专利权)人：南京华盾电力信息安全测评有限公司，
类型：发明
国别省市：江苏,32