一种基于准实时平台的数据接入方法技术

本发明专利技术公开了一种基于准实时平台的数据接入方法，如果位于生产区的业务系统在管理区部署有镜像，那么准实时数据平台从镜像中取数据；如果在生产区没有数据镜像，那么准实时平台直接跨区从业务系统中取数据。所述接入数据的过程包括接入配置管理过程、接入运行管理过程和接入异常管理过程。本方法通过统一的接口规范将分布在不同位置的业务应用所采集的实时数据等信息接入到准实时数据平台中，屏蔽了系统通讯、存贮、标识、表达、技术架构等实时信息使用环节中的各种技术差异。

【技术实现步骤摘要】

本专利技术涉及一种实时数据处理方法，具体来说涉及。
技术介绍
随着电力信息化的不断发展，智能电网试点建设逐步开展，产生了大量的与公司生产运行密切相关的实时、准实时数据，继而沉淀成海量的历史数据，连同调度生产大区电网运行方式、关口电量、保护、雷电等实时数据一起形成了海量的数据，这些数据都是公司的宝贵财富，是实现精益化管理的基础。同时，随着智能电网进一步发展，新型业务应用的不断深化，各级单位及各业务部门对海量准实时数据的集中存储与访问提出了更高的要求，因此，在这样的背景下，电网企业提出了企业级海量准实时平台建设。准实时平台主要负责电网企业各业务系统实时/准实时数据的接入、存储、访问与管理。电网企业调度部门业务系统有调度自动化SCADA/EMS系统和关口计量系统，这些业务系统部署在生产大区，其中SCADA/EMS系统在管理区建有数据库镜像，电能计量系统定时通过文件形式将数据同步到公司计量自动化系统中。地市局调度部门的业务系统主要包括调度SCADA/EMS、配电自动化系统DMS，这两个业务系统都部署在生产大区，大部分业务系统已在管理区已建设数据库镜像；电网企业设备远程监测诊断中心系统，直接采集了变压器等设备的检测数据，并且接入了覆冰检测系统，变压器绝缘油在线监测系统，变压器中性点直流分量监测系统，雷电定位系统。设备远程在线检测系统部署在省公司管理大区； 计量自动化系统，实现了省地二级部署，并且地市局的数据定时同步到省公司计量自动化系统中实现数据大集中。计量自动化系统部署在生产大区，在管理大区没有建设数据镜像。本专利技术通过统一的接口规范将分布在不同位置的业务应用所采集的实时数据等信息接入到准实时数据平台中，屏蔽了系统通讯、存贮、标识、表达、技术架构等实时信息使用环节中的各种技术差异。
技术实现思路
本专利技术的目的在于提供，本方法通过统一的接口规范将分布在不同位置的业务应用所采集的实时数据等信息接入到准实时数据平台中，屏蔽了系统通讯、存贮、标识、表达、技术架构等实时信息使用环节中的各种技术差异。本专利技术的目的可通过以下的技术措施来实现—种基于准实时平台的数据接入方法，如果位于生产区的业务系统在管理区部署有镜像，那么准实时数据平台从镜像中接入数据；如果在生产区没有数据镜像，那么准实时平台直接跨区从业务系统中接入数据；所述接入数据的过程包括接入配置管理过程、接入运行管理过程和接入异常管理过程。所述生产区的业务系统包括能量管理系统(SCADA/EMS)、计量自动化系统、在线监测系统及配网自动化系统。所述接入配置管理过程用于准实时数据平台与各业务系统间的通信参数的统一管理；所述接入配置管理过程包括数据源系统的增加、删除、修改、查询。所述各业务系统包括数据源系统。所述接入运行管理过程用于准实时数据平台提供接入运行挂管理，实现数据接入的可视和可控；所述接入运行管理过程包括监视链路的连接状态、数据流量、连通时刻、 数据包信息；统计和查询连接状态、运行时间、停运时间、数据流量；对通讯链路进行运行控制、停止控制；对接入源业务系统的状态、网络通道状态的异常进行报警。所述接入异常管理过程用于解决与源业务系统在接入过程中由于异常情况而导致数据丢失的问题，并对异常情况提供统计分析功能为平台系统运营维护提供参考；所述接入异常管理过程包括对于接入业务系统运行异常情况，在异常情况恢复后，提供补录机制，保证数据不丢失；提供接入异常信息的查询和统计。所述接入异常管理过程中的异常情况包括网络中断。所述数据源系统增加时设置与数据源系统通信的参数；所述通讯的方式为问答方式或循环方式。所述数据源系统修改时修改数据源系统配置参数，所述数据元系统配置参数包括接口协议、通信方式、端口。所述接入异常管理过程中接入异常信息的查询内容包括发生时间和原因。所述接入异常管理过程中接入异常信息的统计内容包括异常发生频率的统计。本专利技术对比现有技术，有如下优点本专利技术能够通过统一的接口规范将分布在不同位置的业务应用所采集的实时数据等信息接入到准实时数据平台中，屏蔽了系统通讯、 存贮、标识、表达、技术架构等实时信息使用环节中的各种技术差异。附图说明图I是本专利技术方法方案一的逻辑结构示意图；图2是本专利技术方法方案二的逻辑结构示意图。具体实施例方式准实时数据平台接入企业内的各业务系统的实时数据，这些业务系统中SCADA/ EMS、计量自动化系统位于生产大区，电力设备远程监测系统、电能质量检测系统位于管理大区。由于准实时数据平台部署在管理大区，所以位于管理大区的业务系统可以直接通过接入规约接入，而位于生产大区的业务系统接入准实时数据平台有两种方案I)位于生产区的业务系统在管理区部署数据镜像，准实时数据平台从数据镜像中接入数据，如图I所示；2)位于生产区的业务系统通过E格式文件或者单向通讯规约穿越隔离向准实时数据平台发送实时数据，如图2所示；为满足业务应用需要，准实时数据平台接入的数据必须满足完整性和实时性等要求，实时数据接入频率与业务系统刷新频率同步，接入方式采用推方式，推方式是指实时数据业务系统主动将实时数据同步至接入服务器中。推方式需要在实时数据业务系统侧设计数据推送机制，业务应用可以根据具体的需求控制和调整发送到实时数据平台的数据的范围、频度、周期等。推方式具有灵活、可控的优点，非常适合实时数据本身的特点，同时可以保证数据的实时性。数据接入是准实时数据平台从源业务系统接入数据的关口，接入管理从配置到运行进行管理并对接入过程中发生的异常情况进行处理，保障数据接入的可靠性。接入配置管理主要负责准实时数据平台与各数据源系统间的通信参数的统一管理。主要功能包括数据源系统的增加、删除、修改、查询等功能I)增加支持增加数据源系统的功能，增加时设置与数据源系统通信的参数；2)删除支持删除数据源系统的功能；3)修改支持修改数据源系统配置参数的功能；4)查询支持查询数据源系统功能。数据源系统配置参数主要包括接口协议、通信方式、端口等接口协议源业务系统数据接入准实时数据平台的报文编码规范，准实时数据平台支持统一的数据接口协议包括IEC104，通用规约等。通信方式包括问答方式和循环方式等。端口指网络通信的端口地址。准实时数据平台提供接入运行挂管理功能，实现数据接入的可视和可控。主要功能包括I)提供界面以方便实时监视链路的连接状态、数据流量、连通时刻、数据包信息等;2)提供界面以方便进行连接状态、运行时间、停运时间、数据流量等的统计和查询；3)提供界面以方便对通讯链路进行运行、停止等控制操作；4)接入源业务系统、网络通道等状态异常时提供报警功能。接入异常管理是为解决与源业务系统在接入过程中由于异常情况(如果网络中断等)而导致数据丢失的问题，并对异常情况提供统计分析功能为平台系统运营维护提供参考。接入异常处理功能主要包括I)对于接入源业务系统运行异常情况，在异常情况恢复后，提供补录机制，保证数据不丢失；2)提供接入异常信息的查询、统计等功能。查询内容包括发生时间、原因等；统计功能包括异常发生频率统计等。准实时数据平台接入企业内的各业务系统的实时数据，这些业务系统中SCADA/ EMS、计量自动化系统位于生产大区，电力设备远程监测系统、电能质量检测系统位于管理大区。由于准实时数据平台部署在管理大区，所以位于管理本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：齐志刚，陈炯聪，杜旭，颜璟仪，甘杉，陈达峰，萧展辉，林跃晓，刘爱生，
申请(专利权)人：广东电网公司电力科学研究院，
类型：发明
国别省市：