一种基于SOA的电网数据资产管理平台的实现方法技术

本发明专利技术公开了一种基于SOA的电网数据资产管理平台的实现方法，提供一种基于SOA的电网数据资产管理平台系统，该系统包括依次互通连接的数据存储层、数据持久层、技术组件层、应用组件层和展现层，所述应用组件层包括基本信息管理模块、全局视图管理模块、日常监测管理模块、溯源管理模块、价值评估管理模块和流程管理模块；本发明专利技术方法将企业数据作为核心资产管理，通过对运营数据的全过程有效管理和合理应用，不断挖掘数据价值，实现数据向信息的转化，继而形成业务价值，实现核心业务能力提升、信息价值链扩展和企业运营模式优化；同时，为深化数据治理工作、提升数据的质量，为公司及时、快速的监控企业经营健康情况提供有效途径。

Implementation method of power grid data asset management platform based on SOA

The invention discloses a method for realizing data grid asset management platform based on SOA, a SOA system based on data grid asset management platform, the system includes linking in a data storage layer, data persistence layer, component layer, application component layer and display layer, the application layer includes the basic components the information management module, management module, global view of daily monitoring management module, traceability management module, evaluation management module and process management module; the method of the invention, enterprise data as a core asset management, through the whole process of effective management of the operation data and the rational application of time value of data mining, data to realize the information transformation, then the formation of business value, the realization of core business capabilities, information value chain extension and enterprise operation mode optimization; at the same time, for the Deepen the data management work and improve the quality of data, and provide an effective way for the company to monitor the health situation of the enterprise timely and quickly.

【技术实现步骤摘要】
一种基于SOA的电网数据资产管理平台的实现方法
本专利技术属于电网数据资产管理
，具体是涉及一种基于SOA的电网数据资产管理平台的实现方法。
技术介绍
随着信息通信技术的不断进步，其对中国电力工业的价值贡献正处于量变到质变的关键节点，而变化的本质就是电力信息通信与电力生产以及企业经营管理的深度融合，其最终表现形式是电力数据的爆发性增长，即电力大数据。经过多年的信息化建设，电网企业已经走过了以流程为中心的阶段，进入以数据为中心的阶段，构建数字化企业，提升企业运营效率是电网发展的迫切需求。随着电网企业经营业务发展及信息化水平的提高，急需高效管理、分析和利用不断产生的各类海量业务数据，将数据逐步转化为核心资产，充分挖掘数据资产价值，将企业管理从“业务驱动”转向“数据驱动”。因此，电网企业逐渐认识到数据时永恒不变的，是企业始终存在的最有价值的资产。电网企业明确提出要将数据作为公司战略资产进行管理，树立数据资产管理理念，消除专业壁垒，实现企业数据资产利用效益的最大化。运营数据资产的归口管理部门，要加强运营数据资产整合管理和分析利用，挖掘数据资产价值。然而当前的管理手段和机制远远无法满足大数据平台对海量数据资产的管理能力要求，主要包括：1)缺乏全局物理视图：如想要知道某一个数据库上面有多少数据表，有多少数据索引，有多少视图时缺乏可视化视图；2)缺乏不同维度字典视图及相应IT化支持：在已存在系统中，有哪些关键业务数据，数据资产所有者是谁，谁做过修改或变更；3)缺乏问题溯源：某张报表的A指标是如何算出来的，原始数据来源是哪里；4)缺乏变更管理：为什么这个月数据库里面又多了100张报表，为什么这张表的一个字段被删掉了，什么时候被删掉的；5)缺乏数据运行态管理：某张基础表的数据量有多少，数据增长情况如何；6)缺乏审计稽核机制等，在设计文档中某一个表有10个字段，然后在数据库里面该表为什么有12个字段；企业数据资产管理的主要对象是数据，面对海量业务数据，仅靠传统线下手段，数据台账管理、数据监测、数据模型、数据溯源等资产管理工作将难以开展，无法保证数据资产管理工作效率，因此亟需开发数据资产管理平台，从数据资产核心工作出发，依托支撑平台，实现对电网数据资产的全生命周期的监控和管理。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于SOA的电网数据资产管理平台的实现方法，将企业数据作为核心资产管理，通过对运营数据的全过程有效管理和合理应用，不断挖掘数据价值，实现数据向信息的转化，继而形成业务价值，实现核心业务能力提升、信息价值链扩展和企业运营模式优化；同时，为深化数据治理工作、提升数据的质量，为公司及时、快速的监控企业经营健康情况提供有效途径。技术方案：为实现上述目的，本专利技术的一种基于SOA的电网数据资产管理平台的实现方法，提供一种基于SOA的电网数据资产管理平台系统，该系统包括依次互通连接的数据存储层、数据持久层、技术组件层、应用组件层和展现层，所述应用组件层包括基本信息管理模块、全局视图管理模块、日常监测管理模块、溯源管理模块、价值评估管理模块和流程管理模块；所述基本信息管理模块用于对数据资产库中数据资产进行基本信息管理；所述全局视图管理模块用于展示数据资产全景视图并对该数据资产全景视图进行增删改操作；所述日常监测管理模块依据数据资产全景视图对数据资产设置关键监控点，并日常监测数据资产关键监控点变化情况和其他情况；所述溯源管理模块用于从数据资产源头对数据资产进行摸底及梳理，基于梳理结果产生并管理数据资产溯源全图，并对数据资产溯源全图进行动态维护以及溯源下进行查询功能，为数据资产人工监测工作提供支撑；所述价值评估管理模块基于数据资产价值评估模型对所述数据资产溯源全图中节点分别进行价值评估，并按照价值评估模型计算数据资产价值；所述流程管理模块用于将审核合格的数据资产进行归档；所述方法包括以下步骤：S1数据资产管理平台首先从一组数据资产管理系统中实时采集数据交易信息，并将该交易数据存储在数据资产库中；S2所述基本信息管理模块对数据资产库中数据资产进行分类、台账、编码、业务对象、数据模型、规则和关联关系进行基本信息管理；S3所述全局视图管理模块通过图形化方式展示数据资产全景视图并对该数据资产全景视图进行增删改操作；S4所述日常监测管理模块依据所述数据资产全景视图对数据资产设置关键监控点，并日常监测数据资产关键监控点变化情况和其他情况；S5所述溯源管理模块从数据资产源头对数据资产进行摸底及梳理，基于梳理结果产生并管理数据资产溯源全图，并对数据资产溯源全图进行动态维护以及溯源下进行查询功能，为数据资产人工监测工作提供支撑；S6所述价值评估管理模块基于数据资产价值评估模型对所述数据资产溯源全图中节点分别进行价值评估，并按照价值评估模型计算数据资产价值；S7所述流程管理模块用于将审核合格的数据资产进行归档。进一步地，所述步骤S1中，通过捕获数据库日志技术实现实时采集数据交易信息，具体包括以下步骤：S11在源端数据库和目标端数据库分别安装Agent进程；S12应用系统对源端数据库进行操作，源端数据库中数据交易信息保存至日志文件中，日志文件包括已提交的交易信息、未提交的交易信息和Rollback交易信息；S13源端数据库Agent进程对日志文件依次进行日志探测、日志分析、日志缓存和交易合成交易操作，将已提交的交易信息传递到传输队列，源端数据库Agent进程对传输队列中已提交的交易信息进行交易传输操作，将已提交的交易信息传送给目标端数据库；S14目标端数据库Agent进程通过对已提交的交易信息依次进行交易接收、数据装载操作，最后将已提交的交易信息存储至目标端数据库中。进一步地，所述步骤S13包括以下步骤：日志探测：源端数据库Agent进程通过定期检查判断源端数据库中是否有新的交易产生，当确认有新的交易产生时，源端数据库Agent进程获取日志文件组及最新日志文件位置，源端数据库Agent进程对最新日志文件位置与上次读取的日志文件位置之间的日志文件进行分析；日志分析：通过源端数据库Agent进程中日志分析功能对通过日志探测步骤得到的日志文件进行分析，得到源端数据库中全部交易指令，并将该交易指令转换成紧凑数据格式；日志缓存：通过对源端数据库日志文件分析得到的交易指令保存至日志缓存文件夹中，交易指令通过交叉方式保存至日志缓存文件夹中，一个交易指令包括若干条SQL指令，若干个交易指令中若干条SQL指令通过相互穿插方式存储在日志缓存文件夹中，一个交易指令中若干条SQL指令通过非连续存储方式存储在日志缓存文件夹中，日志缓存文件夹中包括已提交的交易信息、未提交的交易信息和Rollback交易信息；交易合成：交易合成模块对首先按照交易序号对SQL指令进行划分，然后以交易为单位将已提交的交易信息传递到传输队列，将未提交的交易信息保存在本地，将Rollback交易信息做丢弃处理；交易传输：源端数据库Agent进程对传输队列中已提交的交易信息进行交易传输操作，传输模块从传输对队列中按照先进先出的原则读取交易信息并将该交易信息封装成TCP/IP数据包，最后将交易数据包传送给目标端数据库的接收模块。进一步地，在交易合成操作步骤中，交易合成本文档来自技高网...

【技术保护点】
一种基于SOA的电网数据资产管理平台的实现方法，其特征在于：提供一种基于SOA的电网数据资产管理平台系统，该系统包括依次互通连接的数据存储层、数据持久层、技术组件层、应用组件层和展现层，所述应用组件层包括基本信息管理模块、全局视图管理模块、日常监测管理模块、溯源管理模块、价值评估管理模块和流程管理模块；所述基本信息管理模块用于对数据资产库中数据资产进行基本信息管理；所述全局视图管理模块用于展示数据资产全景视图并对该数据资产全景视图进行增删改操作；所述日常监测管理模块依据数据资产全景视图对数据资产设置关键监控点，并日常监测数据资产关键监控点变化情况和其他情况；所述溯源管理模块用于从数据资产源头对数据资产进行摸底及梳理，基于梳理结果产生并管理数据资产溯源全图，并对数据资产溯源全图进行动态维护以及溯源下进行查询功能，为数据资产人工监测工作提供支撑；所述价值评估管理模块基于数据资产价值评估模型对所述数据资产溯源全图中节点分别进行价值评估，并按照价值评估模型计算数据资产价值；所述流程管理模块用于将审核合格的数据资产进行归档；所述方法包括以下步骤：S1数据资产管理平台首先从一组数据资产管理系统中实时采集数据交易信息，并将该交易数据存储在数据资产库中；S2所述基本信息管理模块对数据资产库中数据资产进行分类、台账、编码、业务对象、数据模型、规则和关联关系进行基本信息管理；S3所述全局视图管理模块通过图形化方式展示数据资产全景视图并对该数据资产全景视图进行增删改操作；S4所述日常监测管理模块依据所述数据资产全景视图对数据资产设置关键监控点，并日常监测数据资产关键监控点变化情况和其他情况；S5所述溯源管理模块从数据资产源头对数据资产进行摸底及梳理，基于梳理结果产生并管理数据资产溯源全图，并对数据资产溯源全图进行动态维护以及溯源下进行查询功能，为数据资产人工监测工作提供支撑；S6所述价值评估管理模块基于数据资产价值评估模型对所述数据资产溯源全图中节点分别进行价值评估，并按照价值评估模型计算数据资产价值；S7所述流程管理模块用于将审核合格的数据资产进行归档。...

【技术特征摘要】
1.一种基于SOA的电网数据资产管理平台的实现方法，其特征在于：提供一种基于SOA的电网数据资产管理平台系统，该系统包括依次互通连接的数据存储层、数据持久层、技术组件层、应用组件层和展现层，所述应用组件层包括基本信息管理模块、全局视图管理模块、日常监测管理模块、溯源管理模块、价值评估管理模块和流程管理模块；所述基本信息管理模块用于对数据资产库中数据资产进行基本信息管理；所述全局视图管理模块用于展示数据资产全景视图并对该数据资产全景视图进行增删改操作；所述日常监测管理模块依据数据资产全景视图对数据资产设置关键监控点，并日常监测数据资产关键监控点变化情况和其他情况；所述溯源管理模块用于从数据资产源头对数据资产进行摸底及梳理，基于梳理结果产生并管理数据资产溯源全图，并对数据资产溯源全图进行动态维护以及溯源下进行查询功能，为数据资产人工监测工作提供支撑；所述价值评估管理模块基于数据资产价值评估模型对所述数据资产溯源全图中节点分别进行价值评估，并按照价值评估模型计算数据资产价值；所述流程管理模块用于将审核合格的数据资产进行归档；所述方法包括以下步骤：S1数据资产管理平台首先从一组数据资产管理系统中实时采集数据交易信息，并将该交易数据存储在数据资产库中；S2所述基本信息管理模块对数据资产库中数据资产进行分类、台账、编码、业务对象、数据模型、规则和关联关系进行基本信息管理；S3所述全局视图管理模块通过图形化方式展示数据资产全景视图并对该数据资产全景视图进行增删改操作；S4所述日常监测管理模块依据所述数据资产全景视图对数据资产设置关键监控点，并日常监测数据资产关键监控点变化情况和其他情况；S5所述溯源管理模块从数据资产源头对数据资产进行摸底及梳理，基于梳理结果产生并管理数据资产溯源全图，并对数据资产溯源全图进行动态维护以及溯源下进行查询功能，为数据资产人工监测工作提供支撑；S6所述价值评估管理模块基于数据资产价值评估模型对所述数据资产溯源全图中节点分别进行价值评估，并按照价值评估模型计算数据资产价值；S7所述流程管理模块用于将审核合格的数据资产进行归档。2.根据权利要求1所述的基于SOA的电网数据资产管理平台的实现方法，其特征在于：所述步骤S1中，通过捕获数据库日志技术实现实时采集数据交易信息，具体包括以下步骤：S11在源端数据库和目标端数据库分别安装Agent进程；S12应用系统对源端数据库进行操作，源端数据库中数据交易信息保存至日志文件中，日志文件包括已提交的交易信息、未提交的交易信息和Rollback交易信息；S13源端数据库Agent进程对日志文件依次进行日志探测、日志分析、日志缓存和交易合成交易操作，将已提交的交易信息传递到传输队列，源端数据库Agent进程对传输队列中已提交的交易信息进行交易传输操作，将已提交的交易信息传送给目标端数据库；S14目标端数据库Agent进程通过对已提交的交易信息依次进行交易接收、数据装载操作，最后将已提交的交易信息存储至目标端数据库中。3.根据权利要求2所述的基于SOA的电网数据资产管理平台的实现方法，其特征在于：所述步骤S13包括以下步骤：日志探测：源...

【专利技术属性】
技术研发人员：季胜鹏，胡健，李贤慧，林瑶，
申请(专利权)人：江苏瑞中数据股份有限公司，
类型：发明
国别省市：江苏,32