一种基于元数据的多源异构数据集成方法技术

一种基于元数据的多源异构数据集成方法属于数据集成技术领域，尤其涉及一种基于元数据的多源异构数据集成方法。本发明专利技术的目的是提供面向电力系统多源异构数据的数据集成与可视化开发方法，针对各自治系统提供数据方式的不同以及兼顾电力数据的特点，结合主要电力环节和信息处理流程，提出并设计了一种多源异构海量数据的数据集成发方法，打造稳定高效、弹性伸缩的数据集成平台，致力于提供复杂网络环境下、丰富的异构数据源之间数据高速稳定的数据移动及同步能力。

【技术实现步骤摘要】
一种基于元数据的多源异构数据集成方法
本专利技术属于数据集成
，尤其涉及一种基于元数据的多源异构数据集成方法。
技术介绍
就电网企业的信息化而言，信息系统建设通常具有阶段性和分布性的特点，这就导致“信息孤岛”现象的存在。“信息孤岛”造成系统中存在大量冗余数据、变异数据、垃圾数据，无法保证数据的一致性、准确性、时效性，数据信息分布相对分散、独立，从而降低数据信息的利用效率和利用率。为解决这一问题，着重开展数据集成研究。数据集成的核心任务是要将相对分散且互相关联的分布式异构数据集成到一起，使用户能够以透明的方式访问这些数据源。集成是指维护数据源整体上的数据一致性、提高信息共享利用的效率；透明的方式是指用户无需关心如何实现对异构数据源数据的访问，只关心以何种方式访问何种数据。实现数据集成的系统称作数据集成系统(图1)，它为用户提供统一的数据源访问接口，执行用户对数据源的访问请求。数据集成的数据源主要指DBMS，广义上也包括各类XML文档、HTML文档、电子邮件、普通文件等结构化、半结构化、非结构化信息。数据集成是信息系统集成的基础和关键。...

【技术保护点】
1.一种基于元数据的多源异构数据集成方法，其特征在于包括下述步骤：/n1.创建数据源/n(1)基于数据集成平台，针对各源端数据库获取连接信息，分别创建连接数据源；/n(2)数据源测试，基于数据集平台可视化操作界面测试连接源端数据源，确保数据源的联通性。/n2.创建全量数据集成任务/n(1)选择相应数据源连接信息；/n(2)利用IDE提供的一站式数据集成开发环境，结合Data Integration平台，基于可视化开发界面，创建全量数据集成任务，如图2所示。/n3.创建增量数据集成任务/n(1)通过成熟的OGG技术，获取源端数据库数据日志更新信息；/n(2)利用数据管道传输技术，将OGG获取的增...

【技术特征摘要】
1.一种基于元数据的多源异构数据集成方法，其特征在于包括下述步骤：
1.创建数据源
(1)基于数据集成平台，针对各源端数据库获取连接信息，分别创建连接数据源；
(2)数据源测试，基于数据集平台可视化操作界面测试连接源端数据源，确保数据源的联通性。
2.创建全量数据集成任务
(1)选择相应数据源连接信息；
(2)利用IDE提供的一站式数据集成开发环境，结合DataIntegration平台，基于可视化开发界面，创建全量数据集成任务，如图2所示。
3.创建增量数据集成任务
(1)通过成熟的OGG技术，获取源端数据库数据日志更新信息；
(2)利用数据管道传输技术，将OGG获取的增量数据传输至数据集成平台。
4.语法异构处理
(1)基于数据集成平台，为方便数据维护及用户访问，针对语法异构的情况，做出统一调整；
(2)针对源端数据多源且命名不规范的情况，基于数据集成平台，统一调整源端表及字段数据命名规则；
(3)针对不同的源端数据库，数据类型存在明显不同，代表含义亦不同，针对不同数据库的相同数据类型表现形式，基于数据集成平台，统一做出调整，利用固定的数据类型统一映射不同数据库间相同含义的数据类型。
5.语义异构处理
(1)基于数据集成平台，为满足用户使用需求，针对语义异构的情况，做出统一调整；
(2)按照不同用户的需求，对数据集成平台进行字段拆分、截取、合并等操作，达到满足用户使用需求的目的。
6.确定数据集成加权子集
W＝{W1,W2,…,Wn}
其中Wi为集合O的第i个因素Oi所对应的权重，且



7.确定数...

【专利技术属性】
技术研发人员：王丽霞，李钊，杨超，王大维，雷振江，胡畔，高强，薄珏，鞠佳洋，王刚，何欢，潘邈，张玮，厉雨，田大东，孙铭阳，刘芮彤，曹国强，
申请(专利权)人：国网辽宁省电力有限公司电力科学研究院，南京南瑞信息通信科技有限公司，国家电网有限公司，
类型：发明
国别省市：辽宁;21