一种电力系统营配调贯通数据的处理方法及装置制造方法及图纸

技术编号:14746711 阅读:218 留言:0更新日期:2017-03-01 23:13
本发明专利技术提供了一种电力系统营配调贯通数据的处理方法及装置,涉及电力系统营配调贯通技术领域。方法包括对PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及各系统之间的数据流转过程进行实时监控,生成数据流转监控成果数据;根据数据流转监控成果数据,确定数据流转监控成果数据的异常问题,并对数据流转监控成果数据的异常问题进行定位;对数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析,对数据流转监控成果数据的异常问题进行问题分类,生成异常问题归因分类结果;根据异常问题归因分类结果以及预先设置的问题处理对应关系,确定各数据流转监控成果数据的异常问题的处理对象。

【技术实现步骤摘要】

本专利技术涉及电力系统营配调贯通
,尤其涉及一种电力系统营配调贯通数据的处理方法及装置
技术介绍
当前,营配调贯通是指对电力系统中营销业务应用系统、PMS2.0生产设备精益化管理系统(简称PMS2.0系统)、用电信息采集系统、电网GIS平台的自动化系统的集成技术。营配调贯通技术能够将电力系统的营销、运检、调度等业务数据融合共享,并通过地理信息系统实现可视化展示,进而实现基础数据“一个源头”、业务流程“一套标准”,基于“营配调一张图”开展跨专业一体化应用,进一步提升客户报修地址的准确定位、配网故障快速研判、停电计划科学制定、业扩报装可视化接入、线损实时准确统计等协同业务应用。随着营配调贯通技术的大量应用,如何保证电力系统营配调贯通数据的稳定安全运行成为一个亟待解决的问题。当前对电力系统营配调贯通数据的监控排查及问题诊断步骤如下:首先,需要通过观测系统前台指标,发现指标异常问题。之后,对PMS2.0系统、营销业务应用系统、数据中心系统、基础数据平台等系统进行源头数据查询比对。依据数据源比对核查结果,从异动接口程序和数据规约质量等方面进行问题分析定位。依据数据问题原因,制定数据治理方案,分配相关责任单位进行数据质量整改。然而,当前的对电力系统营配调贯通数据的监控排查及问题诊断存在较多问题:首先,营配调贯通数据的问题难以全面监控,并且营配调贯通数据的问题定位时效性较差,难以及时排查出发生异常的数据位置,并且当前对营配调贯通数据的问题定位多依赖于系统技术人员的经验,使得分析导致数据异常的问题定位模糊、因此同步数据差异的问题性质判断不准确、决策结果有误差。另外,对电力系统营配调贯通数据的监控排查的排查流程规范性不足,无明确的核查步骤,对数据质量问题的核查治理责任界面模糊,没有统一规范的核查机制。
技术实现思路
本专利技术的实施例提供一种电力系统营配调贯通数据的处理方法及装置,以解决营配调贯通数据的问题难以全面监控、定位时效性较差、定位模糊的问题。为达到上述目的,本专利技术采用如下技术方案:一种电力系统营配调贯通数据的处理方法,应用于电力系统的营配调贯通数据系统,所述营配调贯通数据系统包括PMS2.0系统、数据中心系统、营销业务应用系统以及基础数据平台系统;所述PMS2.0系统与数据中心系统连接,所述数据中心系统还与所述营销业务应用系统连接,所述营销业务应用系统还与所述基础数据平台系统连接,所述基础数据平台系统还与所述PMS2.0系统连接;所述电力系统营配调贯通数据的处理方法,包括:对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控,生成数据流转监控成果数据;根据所述数据流转监控成果数据,通过数据仓库技术确定所述数据流转监控成果数据的异常问题,并对所述数据流转监控成果数据的异常问题进行定位;对所述数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析,对所述数据流转监控成果数据的异常问题进行问题分类,生成异常问题归因分类结果;根据所述异常问题归因分类结果以及预先设置的问题处理对应关系,确定各数据流转监控成果数据的异常问题的处理对象。具体的,所述对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控,生成数据流转监控成果数据,包括:根据kettle工具,采用日频度的方式,从PMS2.0系统、数据中心系统、营销业务应用系统以及基础数据平台系统中抽取待监控主题相关的基础数据信息到营配调贯通数据流转监控数据库中,并根据数据抽取源和抽取系统的标准代码表,对所述标准代码表的类别代码进行数据解析处理;将所述基础数据信息根据各统计维度进行轻量汇总数据加工;所述各统计维度包括:统计时间、数据库节点、数据单位、数据同步读取状态、数据同步异常类别;将进行轻量汇总数据加工后的基础数据信息,根据webservice与J2EE三层体系架构技术进行数据展示,生成PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程的数据流转监控成果数据。具体的,根据所述数据流转监控成果数据,通过数据仓库技术确定所述数据流转监控成果数据的异常问题,并对所述数据流转监控成果数据的异常问题进行定位,包括:根据所述数据流转监控成果数据,判断在同一待监控主题的统计条件下,在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值是否一致;若在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值不一致,则所述数据流转监控成果数据在所述待监控主题的统计条件下存在数据流转异常。进一步的,根据所述数据流转监控成果数据,通过数据仓库技术确定所述数据流转监控成果数据的异常问题,并对所述数据流转监控成果数据的异常问题进行定位,还包括:定位电力系统中的公网设备的数据流转监控成果数据出现异常问题的数据节点;所述公网设备包括公网变电站、公线设备、公变设备、公网表箱接入点设备;定位电力系统中的用户设备的数据流转监控成果数据出现异常问题的数据节点;所述用户设备包括专线设备、专变设备。具体的,所述定位电力系统中的公网设备的数据流转监控成果数据出现异常问题的数据节点,包括:依次确认PMS2.0系统、数据中心系统、营销业务应用系统的数据流转监控成果数据的数据量;若PMS2.0系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量,则确定PMS2.0系统的数据流转异常;若数据中心系统的数据流转监控成果数据的数据量小于PMS2.0系统的数据流转监控成果数据的数据量,则确定数据中心系统的数据流转异常;若营销业务应用系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量,则确定营销业务应用系统的数据流转异常。具体的,所述定位电力系统中的用户设备的数据流转监控成果数据出现异常问题的数据节点,包括:依次确认营销业务应用系统、基础数据平台系统以及PMS2.0系统的数据流转监控成果数据的数据量;若PMS2.0系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量,则确定PMS2.0系统的数据流转异常;若基础数据平台系统的数据流转监控成果数据的数据量小于营销业务应用系统的数据流转监控成果数据的数据量,则确定基础数据平台系统的数据流转异常;若营销业务应用系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量,则确定营销业务应用系统的数据流转异常。具体的,对所述数据流转监控成果数据的异常问题进行基量数据分析,包括:判断公网设备的PMS2.0系统的数据流转监控成果数据的数据量是否小于公网设备的数据中心系统的数据流转监控成果数据的数据量;若公网设备的PMS2.0系统的数据流转监控成果数据的数据量小于公网设备的数据中心系统的数据流转监控成果数据的数据量,确定数据流转监控成果数据的异常问题为PMS2.0系统至数据中心系统ETL异本文档来自技高网
...
一种电力系统营配调贯通数据的处理方法及装置

【技术保护点】
一种电力系统营配调贯通数据的处理方法,其特征在于,应用于电力系统的营配调贯通数据系统,所述营配调贯通数据系统包括PMS2.0系统、数据中心系统、营销业务应用系统以及基础数据平台系统;所述PMS2.0系统与数据中心系统连接,所述数据中心系统还与所述营销业务应用系统连接,所述营销业务应用系统还与所述基础数据平台系统连接,所述基础数据平台系统还与所述PMS2.0系统连接;所述电力系统营配调贯通数据的处理方法,包括:对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控,生成数据流转监控成果数据;根据所述数据流转监控成果数据,通过数据仓库技术确定所述数据流转监控成果数据的异常问题,并对所述数据流转监控成果数据的异常问题进行定位;对所述数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析,对所述数据流转监控成果数据的异常问题进行问题分类,生成异常问题归因分类结果;根据所述异常问题归因分类结果以及预先设置的问题处理对应关系,确定各数据流转监控成果数据的异常问题的处理对象。...

【技术特征摘要】
1.一种电力系统营配调贯通数据的处理方法,其特征在于,应用于电力系统的营配调贯通数据系统,所述营配调贯通数据系统包括PMS2.0系统、数据中心系统、营销业务应用系统以及基础数据平台系统;所述PMS2.0系统与数据中心系统连接,所述数据中心系统还与所述营销业务应用系统连接,所述营销业务应用系统还与所述基础数据平台系统连接,所述基础数据平台系统还与所述PMS2.0系统连接;所述电力系统营配调贯通数据的处理方法,包括:对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控,生成数据流转监控成果数据;根据所述数据流转监控成果数据,通过数据仓库技术确定所述数据流转监控成果数据的异常问题,并对所述数据流转监控成果数据的异常问题进行定位;对所述数据流转监控成果数据的异常问题进行基量数据分析、完整性分析、一致性分析以及业务规约分析,对所述数据流转监控成果数据的异常问题进行问题分类,生成异常问题归因分类结果;根据所述异常问题归因分类结果以及预先设置的问题处理对应关系,确定各数据流转监控成果数据的异常问题的处理对象。2.根据权利要求1所述的电力系统营配调贯通数据的处理方法,其特征在于,所述对所述PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统以及PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程进行实时监控,生成数据流转监控成果数据,包括:根据kettle工具,采用日频度的方式,从PMS2.0系统、数据中心系统、营销业务应用系统以及基础数据平台系统中抽取待监控主题相关的基础数据信息到营配调贯通数据流转监控数据库中,并根据数据抽取源和抽取系统的标准代码表,对所述标准代码表的类别代码进行数据解析处理;将所述基础数据信息根据各统计维度进行轻量汇总数据加工;所述各统计维度包括:统计时间、数据库节点、数据单位、数据同步读取状态、数据同步异常类别;将进行轻量汇总数据加工后的基础数据信息,根据webservice与J2EE三层体系架构技术进行数据展示,生成PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统之间的数据流转过程的数据流转监控成果数据。3.根据权利要求2所述的电力系统营配调贯通数据的处理方法,其特征在于,根据所述数据流转监控成果数据,通过数据仓库技术确定所述数据流转监控成果数据的异常问题,并对所述数据流转监控成果数据的异常问题进行定位,包括:根据所述数据流转监控成果数据,判断在同一待监控主题的统计条件下,在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值是否一致;若在PMS2.0系统、数据中心系统、营销业务应用系统、基础数据平台系统上的数据流转监控成果数据的数据值不一致,则所述数据流转监控成果数据在所述待监控主题的统计条件下存在数据流转异常。4.根据权利要求3所述的电力系统营配调贯通数据的处理方法,其特征在于,根据所述数据流转监控成果数据,通过数据仓库技术确定所述数据流转监控成果数据的异常问题,并对所述数据流转监控成果数据的异常问题进行定位,还包括:定位电力系统中的公网设备的数据流转监控成果数据出现异常问题的数据节点;所述公网设备包括公网变电站、公线设备、公变设备、公网表箱接入点设备;定位电力系统中的用户设备的数据流转监控成果数据出现异常问题的数据节点;所述用户设备包括专线设备、专变设备。5.根据权利要求4所述的电力系统营配调贯通数据的处理方法,其特征在于,所述定位电力系统中的公网设备的数据流转监控成果数据出现异常问题的数据节点,包括:依次确认PMS2.0系统、数据中心系统、营销业务应用系统的数据流转监控成果数据的数据量;若PMS2.0系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量,则确定PMS2.0系统的数据流转异常;若数据中心系统的数据流转监控成果数据的数据量小于PMS2.0系统的数据流转监控成果数据的数据量,则确定数据中心系统的数据流转异常;若营销业务应用系统的数据流转监控成果数据的数据量小于数据中心系统的数据流转监控成果数据的数据量,则确定营销业务应用系统的数据流转异常。6.根据权利要求5所述的电力系统营配调贯通数据的处理方法,其特征在于,所述定位电力系统中的用户设备的数据流转监控成果数据出现异常问题的数据节点,包括:依次确认营销业务应用系统、基础数据平台系统以及PMS2.0系统的数据流转监控成果数据的数据量;若PMS2.0系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量,则确定PMS2.0系统的数据流转异常;若基础数据平台系统的数据流转监控成果数据的数据量小于营销业务应用系统的数据流转监控成果数据的数据量,则确定基础数据平台系统的数据流转异常;若营销业务应用系统的数据流转监控成果数据的数据量小于基础数据平台系统的数据流转监控成果数据的数据量,则确定营销业务应用系统的数据流转异常。7.根据权利要求6所述的电力系统营配调贯通数据的处理方法,其特征在于,对所述数据流转监控成果数据的异常问题进行基量数据分析,包括:判断公网设备的PMS2.0系统的数据流转监控成果数据的数据量是否小于公网设备的数据中心系统的数据流转监控成果数据的数据量;若公网设备的PMS2.0系统的数据流转监控成果数据的数据量小于公网设备的数据中心系统的数据流转监控成果数据的数据量,确定数据流转监控成果数据的异常问题为PMS2.0系统至数据中心系统ETL异动同步程序异常;判断用户设备的营销业务应用系统的数据流转监控成果数据的数据量是否小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量;若用户设备的营销业务应用系统的数据流转监控成果数据的数据量小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量,确定数据流转监控成果数据的异常问题为营销业务应用系统至基础数据平台系统OGG程序异常;判断公网设备的数据中心系统的数据流转监控成果数据的数据量是否小于公网设备的PMS2.0系统的数据流转监控成果数据的数据量;若公网设备的数据中心系统的数据流转监控成果数据的数据量小于公网设备的PMS2.0系统的数据流转监控成果数据的数据量,确定数据流转监控成果数据的异常问题为PMS2.0系统至数据中心系统ETL异动同步程序异常;判断用户设备的基础数据平台系统的数据流转监控成果数据的数据量是否小于用户设备的营销业务应用系统的数据流转监控成果数据的数据量;若用户设备的基础数据平台系统的数据流转监控成果数据的数据量小于用户设备的营销业务应用系统的数据流转监控成果数据的数据量,确定数据流转监控成果数据的异常问题为营销业务应用系统至基础数据平台系统OGG程序数据复制异常;判断公网设备的营销业务应用系统的数据流转监控成果数据的数据量是否小于公网设备的数据中心系统的数据流转监控成果数据的数据量;若公网设备的营销业务应用系统的数据流转监控成果数据的数据量小于公网设备的数据中心系统的数据流转监控成果数据的数据量,获取数据中心系统中的第一主题明细过程表信息,确定第一主题明细过程表中的同步状态和同步异常分类信息,确定数据流转监控成果数据的异常问题为数据未推送、数据未读取或数据同步失败;判断用户设备的PMS2.0系统的数据流转监控成果数据的数据量是否小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量;若用户设备的PMS2.0系统的数据流转监控成果数据的数据量小于用户设备的基础数据平台系统的数据流转监控成果数据的数据量,获取基础数据平台系统中的第二主题明细过程表信息,确定第二主题明细过程表中的同步状态和同步异常分类信息,确定数据流转监控成果数据的异常问题为数据未推送、数据未读取或数据同步失败。8.根据权利要求7所述的电力系统营配调贯通数据的处理方法,其特征在于,对所述数据流转监控成果数据的异常问题进行完整性分析,包括:根据存储过程技术,对待监控主题在营销业务应用系统和PMS2.0系统的台账关键属性进行比对校验,确定营销业务应用系统数据是否完整以及PMS2.0系统数据是否完整。9.根据权利要求8所述的电力系统营配调贯通数据的处理方法,其特征在于,对所述数据流转监控成果数据的异常问题进行一致性分析,包括:根据营销业务应用系统与PMS2.0系统的公网设备PMSID关联信息、用户设备业务ID关联信息,通过存储过程技术,对营销业务应用系统与PMS2.0系统的台账及关系信息的关键属性比对校验,确定数据流转监控成果数据的异常问题的一致性。1...

【专利技术属性】
技术研发人员:牛逸宁贾建威杨晓波殷庆铎谢枫方茂益孙志杰傅军
申请(专利权)人:国家电网公司国网冀北电力有限公司电力科学研究院华北电力科学研究院有限责任公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1