一种基于多元异构模型的电网多源数据融合方法及系统技术方案

本发明专利技术公开了一种基于多元异构模型的电网多源数据融合方法及系统，方法包括以下过程：多源数据接入；元数据存储；设备统一建模及数据提取；模型匹配度计算；多源数据融合。系统主要包括多源数据接入、元数据存储、设备统一建模及数据提取、模型匹配度计算和多源数据融合五个模块。本发明专利技术通过深入分析多源系统数据，建立包括各源系统数据统一模型，通过模型遍历比对，计算模型间匹配度，根据匹配度情况进行自动关联，实现了90％以上的数据自动集成融合，并准确分析出未能融合数据明细及具体原因，既实现了各业务数据的集成融合，又对整体的融合质量进行了有效的管控。

【技术实现步骤摘要】
一种基于多元异构模型的电网多源数据融合方法及系统
本专利技术涉及一种基于多元异构模型的电网多源数据融合方法及系统，属于智能控制

技术介绍
随着计算机技术在电力行业的不断发展，电力行业出现了大量专业化信息系统，贯穿发电、输电、变电、配电、用电各个环节，每个专业系统在各自的领域起到了举足轻重的作用，在国家电网公司系统内，PMS、EMS、GIS、智能配网监控平台，用电信息采集等系统分别在运检、调度、营销等领域得到了广泛应用，积累了大量数据资源，并分别通过数据中心以共享数据、共享服务等方式对外提供实时/准实时数据服务，提升数据资产的利用率。但是由于各专业信息系统所处的领域不同，关注的业务有较大差异性，原始数据来源不统一，数据存储结构多样化，导致同一个电网设备在不同的信息系统中编码、类型、名称、关联关系等数据结构存在较大差异，无法对同一个设备进行台账信息、运行信息、空间信息等数据进行全面的查询和统计，无法对区域电网情况形成多维度诊断、分析。电网规划业务具有数据源头多、数据体量大、统计维度多等特点，科学合理电网规划的基础是对各个层次、各个维度的海量数据信息进行集成融合、统筹管理，挖掘有本文档来自技高网...

【技术保护点】
一种基于多元异构模型的电网多源数据融合方法，其特征是，包括以下过程：多源数据接入：采用多种技术手段进行结构化数据、非结构化数据、海量历史/准实时数据和电网空间数据的接入；元数据存储：对各类数据按照统一数据规范进行标准化格式存储；设备统一建模及数据提取：确定并统一需要进行数据融合的设备类型、电压等级范围和业务领域信息，建立多源数据的统一模型，并进行数据提取和比对计算；模型匹配度计算：根据多源数据的统一模型进行设备匹配度计算，通过统一模型中的属性信息对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80％则记为A类、相互匹配度为60％～80％记为B类、相互匹配度小于60％则记为C类，并记录设...

【技术特征摘要】
1.一种基于多元异构模型的电网多源数据融合方法，其特征是，包括以下过程：多源数据接入：采用多种技术手段进行结构化数据、非结构化数据、海量历史/准实时数据和电网空间数据的接入；元数据存储：对各类数据按照统一数据规范进行标准化格式存储；设备统一建模及数据提取：确定并统一需要进行数据融合的设备类型、电压等级范围和业务领域信息，建立多源数据的统一模型，并进行数据提取和比对计算；模型匹配度计算：根据多源数据的统一模型进行设备匹配度计算，通过统一模型中的属性信息对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80％则记为A类、相互匹配度为60％～80％记为B类、相互匹配度小于60％则记为C类，并记录设备特征属性的差异；多源数据融合：对于A类数据直接建立关联关系；对于B类数据则开发数据融合对应工具，用户再次根据设备的融合记录、推荐对应设备及实际情况手动建立关联关系；对应C类数据则以问题的形式反馈至源系统进行数据修补，修补完成后再根据修补增量实现自动关联。2.根据权利要求1所述的一种基于多元异构模型的电网多源数据融合方法，其特征是，所述的多源数据包括实时数据、经常变化的结构化数据、基本不会变化的结构化数据和非结构化数据；所述的多源数据接入的具体过程为：通过Kafka分布式消息队列将实时数据接入大数据平台；通过ETL工具Kettle、增量捕获工具将经常变化的结构化数据写入大数据平台的分布式关系型数据库中；通过Sqoop工具将基本不会变化的结构化数据写入大数据平台的分布式非关系型数据库和分布式文件系统中；通过Flume工具将非结构化数据直接写入大数据平台的分布式文件系统。3.根据权利要求2所述的一种基于多元异构模型的电网多源数据融合方法，其特征是，在设备统一建模及数据提取过程中，所述的设备类型包括至少变电站、主变、线路、配变和开关，所述的电压等级范围为500kV～10kV，所述的业务领域包括台账信息、运行信息、空间信息和规划信息。4.根据权利要求2所述的一种基于多元异构模型的电网多源数据融合方法，其特征是，所述统一模型包括逻辑模型、拓扑模型和特征模型，所述逻辑模型为以高电压等级变电站为根节点，按设备类型分类为分支，10kV配变为叶子节点的树形数据结构，做为各业务系统电网设备的逻辑模型；所述拓扑模型为以电气接线关系、地理接线关系拓扑图，以及电压等级由高到底、设备类型统一的拓扑模型有向图数据结构，做为各业务系统电网设备的拓扑模型；所述特征模型为根据设备共有属性信息提取设备特征模型线性结构，对设备类型进行统一编码，每个设备类型建立独立的对象模型，以数据源系统代码、ID、设备名称、设备类型、电压等级共有属性为基类，以每类设备特有属性为子类的特征模型。5.根据权利要求4所述的一种基于多元异构模型的电网多源数据融合方法，其特征是，所述模型匹配度计算的具体过程为：通过对逻辑模型树形数据结构的广度优先遍历算法实现树节点逐个设备聚焦；在确保根节点已对应的情况下，对各系统中的逻辑模型进行横向匹配，计算各节点包含下级节点数量，并做为相应节点的属性；通过有向图的拓扑排序算法计算拓扑模型中节点的前驱及后续节点关系，首先在有向图中选取一个没有前驱的顶点，将其输出从有向图中删除该顶点，并且删除以该顶点为尾的所有有向图的边；重复以上的步骤，直到图中的所有顶点均输出或是图中的顶点均没有前驱为止，确立该节点的上下文在各源系统模型中是否一致；在对设备聚焦的基础上，通过各系统中特征模型中的属性信息，对每类设备进行细化匹配，各类属性一致的设备相互匹配度大于80％则记为A类、相互匹配度为60％～80％记为B类、相互匹配度小于60％则记为C类，并记录设备特征属性的差异。6.一种基于多元异构模型的电网多源数据融合系统，其特征是，包括：多源数据接入模块，用以...

【专利技术属性】
技术研发人员：李雪亮，吴奎华，蒋斌，蒋忠福，吴健，安勇，李山，冯亮，杨波，贾善杰，汪有杰，刘波，
申请(专利权)人：国网山东省电力公司经济技术研究院，国家电网公司，
类型：发明
国别省市：山东,37