一种贴源电网资源模型分析系统及方法技术方案

本发明专利技术涉及一种贴源电网分析方法，特别涉及一种贴源电网资源模型分析系统及方法，本发明专利技术通过合理规划电网资源模型的存储结构利用分布式列式存储技术，实现了明细数据、汇总数据和分析数据的合理分布，并且结合CIM模型合理规划数据存储空间，提升电网数据存储、共享、分析的性能，从信息化角度提升了电网整体运行效率的同时也解决现有技术中，数据模型都是按需构建、不全面、不利于跨部门、跨业务分析、如果发生需求时还需要增补或者修改模型才能支持需求，响应速度慢等问题。

A resource model analysis system and method for power grid

The invention relates to a power source with analysis method, in particular to a post source grid resource model analysis system and method, the invention through the storage structure of rational planning of grid resource model based on distributed storage technology, realize the reasonable distribution of the detailed data, summary data and data analysis, and CIM model combined with rational planning data the storage space, improve the power grid data storage, sharing, performance analysis, information from the point of view to enhance the overall efficiency of the power grid but also solve the existing technology, the data model is constructed according to the needs, not comprehensive, is not conducive to cross sectoral and cross business analysis, if there is demand also need to supplement or modify the model to support demand slow response speed, etc..

【技术实现步骤摘要】
一种贴源电网资源模型分析系统及方法
本专利技术涉及一种贴源电网分析方法，特别涉及一种贴源电网资源模型分析系统及方法。
技术介绍
随着电力系统的发展，业务的发展需求也趋于全业务协同、全流程贯方向发展，深入挖掘数据价值、用数据管理企业、用信息驱动业务的需求更为迫切。数据是信息化的核心，建设全业务统一数据中心是源端全业务融合、后端大数据分析的必然选择，对建设信息化企业具有重要意义。同时，大数据、云计算等新技术日趋成熟，为全业务统一数据中心的建设提供了技术保障。因此，构建高效支撑全业务统一数据中心的全面、跨部门、跨业务电网资源模型实现数据统一非常重要。但现有技术仍然存在很多问题，各业务条线信息系统建设和应用的不断深入，暴露出跨专业业务协同与信息共享不足，数据准确性、实时性不强，数据反复抽取、冗余存储、质量不高等问题。传统方法采用的数据模型都是按需构建、不全面、不利于跨部门、跨业务分析、如果发生需求时还需要增补或者修改模型才能支持需求。目前该领域的发展趋势，建立电网资源模型，结合人资、物资、财务等业务应用场景信息，采用分布式列式数据库存储查询技术实现对数据模型的构建，支撑业务应用的在线快速查询分析，提高数据查询效率，同时根据业务模型特点，减少数据的冗余存储，提升电网在线分析能力和预测能力，提高效率缩减时间。
技术实现思路
本专利技术通过一种贴源电网资源模型分析系统及方法，解决现有技术中，数据模型都是按需构建、不全面、不利于跨部门、跨业务分析、如果发生需求时还需要增补或者修改模型才能支持需求，响应速度慢等问题。本专利技术合理规划的电网资源模型的存储结构利用分布式列式存储技术，实现了明细数据、汇总数据和分析数据的合理分布，并且结合CIM模型合理规划数据存储空间，提升电网数据存储、共享、分析的性能，从信息化角度提升了电网整体运行效率。一种基于贴源电网资源模型分析系统包括：缓冲模块、视图模块、仓库模块、集市模块，电网资源模型作为视图模块的重要组成常采用面向对象的方式，并利用其行式数据库随机读的特点完成数据应用。缓冲模块：指数据库中的一段临时存储区，它存放由业务系统提供的源数据，不同数据库平台(包括文本文件类型)的业务源数据到达缓冲区后，实现源数据在数据库平台上的一致，方便进行数据整合和处理，缓冲区存储的数据基本上与源系统保持一致，缓冲区存储的数据被处理后，不会被保留。视图模块：缓冲区是贴源电网资源架构中重要的功能区域，除了作为数据在进入仓库区域前的缓冲区外，它集成了来自部署于业务系统数据库的各类业务数据，并通过对数据ETL形成一致的企业数据集成视图，有利于最终用户更好地通观全局，这一区域被称作统一信息视图区；通过存放的基于设备、产品、客户等主题的、完整的企业统一信息视图来快速获得与这些主题相关的完整信息，统一信息视图区内近实时的、集成的数据存储使得最终用户能够快速查询近期细节生产数据；此外，此区域还能够以更高的性能生成操作型报表。仓库模块：是专门针对企业数据整合和数据历史存储需求而组织的集中化、一体化的数据存储区域。仓库区由覆盖多个主题域的企业信息组成，这些信息主要是低级别、细粒度数据，同时可以根据数据分析需求建立一定粒度的汇总数据。它们按照一定频率定期更新，主要用于为集市提供整合后的、高质量的数据。仓库区一般很少直接面向最终用户。仓库区侧重于数据的存储和整合，通常采用轻量级索引。仓库区内的数据按照主题存放，数据粒度与缓冲区一致或粗于缓冲区，这些数据主要是企业级数据与历史信息，数据在线存储的周期一般较长。仓库区的数据是由缓冲区的数据按照仓库区模型的要求进行整合后形成的。集市模块：是一组特定的、针对某个主题域、部门或用户分类的数据集合。这些数据需要针对用户的快速访问和数据输出进行优化，优化的方式可以通过对数据结构进行汇总和索引。通过数据集市可以保障数据仓库的高可用性、可扩展性和高性能。本专利技术中的电网资源模型采用贴源业务，采用的数据资源模型，发挥其在线分析处理的特长，并基于大数据环境下的分布式数据存储技术构建一套电网资源模型。此模型的设计减少了数据的冗余存储，极大程度提高数据压缩速率，减少了因资源紧张所付出的存储代价，贴源电网资源模型架构如图1。一种基于贴源电网资源模型分析方法，所述实现方法步骤如下：步骤1通过采集终端或人工录入的方式获取电网在人资、财务、物资、客户、市场、电网、设备、综合、安全等各业务线的原始数据信息；步骤2各业务线管理部门分别通过各自信息化系统，存储管理范围内已获取的业务数据，并基于业务数据结合自身业务特点开展独立的业务工作；步骤3信息化管理的归口部门通过数据抽取工具将各业务部门管理的业务数据从业务系统抽取至贴源电网资源模型，进行分布式列式存储，该贴源电网资源模型是运用聚类方法分析源业务系统数据库数据模型结构，对数据模型中相同属性超过一定系数的进行聚类，然后提取冗余，然后建立关联关系，提出的优化模型；步骤4信息化管理的归口部门基于贴源电网资源模型，结合各业务部门的业务需求进行数据分析，数据分析主题包括人资、财务、物资、客户、资产、市场、电网类型等10个分析主题域；步骤5信息化管理的归口部门将基于贴源电网资源模型，进行数据分析的结果通过与软件信息接口、硬件设备指令控制接口及基于实际业务流程规定，进行信息共享、传递、指令下达，为电网业务科学化、规范化、标准化作业提供了指导依据，进而提升电网整体运行效率。本专利技术的关键点在于仓库区和集市区的7个重点主题域(人员、财务、物资、资产、项目、客户、电网)的实体模型，具体如下：1、人员域数据实体进行抽象，形成人员域信息模型，包括组织管理、招聘配置、培训开发等7个二级主题域，206个数据实体；2、财务域数据实体进行抽象，形成财务域信息模型，包括总账到报表循环、销售到收款循环、采购到付款循环等8个二级主题域，353个数据实体；3、物资域数据实体进行抽象，形成物资域信息模型，包括计划管理、采购管理、合同管理等10个二级主题域，129个数据实体；4、资产域数据实体进行抽象，形成资产域信息模型，包括资产台账、资产运维、资产检修等8个二级主题域，198个数据实体；5、项目域数据实体进行抽象，形成项目域信息模型，包括项目基础、项目规划、项目储备等8个二级主题域，51个数据实体；6、客户域数据实体进行抽象，形成客户域信息模型，包括业扩报装、电费管理、用电计量等7个二级主题域，463个数据实体；7、电网域数据实体进行抽象，形成电网域信息模型，包括电网拓扑、量测、控制区域等7个二级主题域，74个数据实体；有益效果本方法能更好的支撑业务应用的在线快速查询分析，提高数据查询效率，同时根据业务模型特点，减少数据的冗余存储，实际业务需求相结合，能够全面的提升存储、查询性能。附图说明图1贴源电网资源模型架构图图2业务数据流转流程图图3数据仓库和数据集市各模型间关系图图4人员域二级主题域关系图图5财务域二级主题域关系图图6物质域二级主题域关系图图7资产域二级主题域关系图图8项目域二级主题域关系图图9客户域二级主题域关系图图10电网域二级主题域关系图具体的实施方式在电网数据中心业务领域，模型通常采用缓冲区、视图区、仓库区、集市区四层进行搭建，电网资源模型作为视图区的重要组成常采用面向对象的方式进行设计，并本文档来自技高网...

【技术保护点】
一种贴源电网资源模型分析系统，其特征在于，该系统包括缓冲模块、视图模块、仓库模块、集市模块分别搭载一台专属服务器上，各模块之间的数据交互是通过ETL工具和OGG同步复制工具的方式实现，数据传输从业务系统到缓冲区通过ETL工具(Informatica)+ogg进行传输，缓冲区到视图区通过ETL工具(Informatica)+ogg进行传输，视图区到仓库区通过ETL工具(Informatica)进行传输，仓库区到集市区通过ETL工具(Informatica)进行传输；缓冲模块指数据库中的一段临时存储区，存放由业务系统提供的源数据；视图模块通过ETL方式将各业务系统的数据从缓冲模块抽取到该区域，形成标准、规范的企业数据集成视图；仓库模块是针对企业数据整合和数据历史存储需求而组织的集中化、一体化的数据存储区域；集市区模块是一组特定的、针对某个主题域、部门、用户分类的数据集合。

【技术特征摘要】
1.一种贴源电网资源模型分析系统，其特征在于，该系统包括缓冲模块、视图模块、仓库模块、集市模块分别搭载一台专属服务器上，各模块之间的数据交互是通过ETL工具和OGG同步复制工具的方式实现，数据传输从业务系统到缓冲区通过ETL工具(Informatica)+ogg进行传输，缓冲区到视图区通过ETL工具(Informatica)+ogg进行传输，视图区到仓库区通过ETL工具(Informatica)进行传输，仓库区到集市区通过ETL工具(Informatica)进行传输；缓冲模块指数据库中的一段临时存储区，存放由业务系统提供的源数据；视图模块通过ETL方式将各业务系统的数据从缓冲模块抽取到该区域，形成标准、规范的企业数据集成视图；仓库模块是针对企业数据整合和数据历史存储需求而组织的集中化、一体化的数据存储区域；集市区模块是一组特定的、针对某个主题域、部门、用户分类的数据集合。2.如权利要求1所述，一种贴源电网资源模型分析系统，其特征在于，缓冲模块指数据库中的一段临时存储区，存放由业务系统提供的源数据，不同数据库平台的业务源数据到达缓冲区后，实现源数据在数据库平台上的一致，方便进行数据整合和处理，缓冲区存储的数据基本上与源系统保持一致，缓冲区存储的数据被处理后，不会被保留。3.如权利要求1所述，一种贴源电网资源模型分析系统，其体征在于，视图模块缓冲区是贴源电网资源架构中重要的功能区域，除了作为数据在进入仓库区域前的缓冲区外，集成了来自部署于业务系统数据库的各类业务数据，并通过对数据ETL形成一致的企业数据集成视图，有利于最终用户更好地通观全局，这一区域被称作统一信息视图区；通过存放的基于设备、产品、客户主题的、完整的企业统一信息视图来快速获得与这些主题相关的完整信息，统一信息视图区内近实时的、集成的数据存储使得最终用户能够快速查询近期细节生产数据。4.如权利要求1所述，一种贴源电网资源模型分析系统，其体征在于，仓库模块是专门针对企业数据整合和数据历史存储需求而组织的集中化、一体化的数据存储区域；仓库区由覆盖主题域的企业信息组成，这些信息主要是低级别、细粒度数据，同时可以根据数据分析需求建立一定粒度的汇总数据；按照一定频率定期更新，为集市提供整合后的、高质量的数据；仓库区一般很少直接面向最终用户；仓库区侧重于数据的存储和整合，通常采用轻量级索引。5.如权利要求1所述，一种贴源电网资源模型分析系统，其体征在于，集市模块：是一组特定的、针对某个主题域、部门或用户分类的数据集合；这些数据需要针对用户的快速访问和数据输出，通过对数据结构进行汇总和索引进行优化。6...

【专利技术属性】
技术研发人员：王继业，曾楠，李钊，雷振江，郝悍勇，张幼明，李金湖，兰亮，陈彦达，
申请(专利权)人：国网辽宁省电力有限公司，国网辽宁省电力有限公司电力科学研究院，国网信通亿力科技有限责任公司，国家电网公司，
类型：发明
国别省市：辽宁,21