一种用于大规模分布异构数据的虚拟化方法技术

技术编号:9738679 阅读:90 留言:0更新日期:2014-03-06 16:48
本发明专利技术涉及计算机应用技术领域,尤其是一种大规模分布异构数据的虚拟化方法。本发明专利技术包括三层结构和两级映射;三层结构指的是根据数据抽象级别的不同,由低到高将数据模型分为三个层次:物理层、虚拟表层、虚拟视图层,每一层都有自己特有的数据模型;两级映射分别为PV映射和VV映射,指的是层与层之间数据模型的转换机制。本发明专利技术解决了分布异构数据的虚拟化;可以用于数据的互联互通处理上。

【技术实现步骤摘要】

本专利技术涉及计算机应用
,尤其是一种大规模分布异构数据的虚拟化方法。
技术介绍
在企业信息化建设过程中,由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素的影响,导致企业在发展过程中积累了大量采用不同存储方式的业务数据;包括采用的数据管理系统也大不相同,从简单的文件数据库到复杂的网络数据库,构成了企业的异构数据源。这些分散的不同业务的数据管理系统虽然能够满足业务数据存储和管理要求,但在许多情况下,企业领导要做出一项决策,往往需要查询多个基于各种异构数据源的业务系统和外部系统,进行大量数据分析后才能做出决策。因此,异构数据源的整合与集成是企业信息化建设过程经常遇到的一个现实问题。也是制约企业各种应用信息系统建设和数据共享程度,以及信息化建设投资重复或负担重的一个重要因素。数据资源整合过程中的一项关键技术就是如何对异构数据进行虚拟化,抽象出一个统一的数据模型,以屏蔽底层数据资源访问的分布性和异构性,实现数据的互联互通以及全局统一的数据视图。
技术实现思路
本专利技术解决的技术问题在于提供;可以有效的解决大规模分布异构数据的描述、组织、定位和访问,提供全局统一的数据结构以及访问接口。本专利技术解决上述技术问题的技术方案是:所述方法由三层结构、两级映射两个部分实现;所述的三层结构包括物理层、虚拟表层、虚拟视图层;所述的物理层由各种分布、异构的数据源组成,每一种数据源都有自己专有的数据结构、访问接口 ;这些数据源包括数据库系统、文件系统、Web Service ;所述的虚拟表层对物理层的数据资源进行封装和抽象,通过虚拟化机制,将物理层的数据源统一表不成简单的二维关系,即虚拟表;虚拟表和物理表 对应,映射信息存储在元数据管理器中;所述的虚拟视图层直接面向用户,虚拟视图为用户提供满足应用需求的数据规范或者业务模式;所述的虚拟视图是一个二维关系,由一个或者多个虚拟表通过关系算子运算而成,虚拟视图与虚拟表的关系为1:n的关系,一个虚拟视图对应一个或者多个虚拟表,映射信息存储在元数据管理器中;所述的两级映射包括PV映射和VV映射;所述的PV映射为第一级映射,负责物理层的物理表到虚拟表层的虚拟表之间的映射;PV映射主要包括三个方面:结构映射、类型映射、地址映射;所述的结构将异构的数据结构统一映射成标准的二维关系,也就是虚拟表;类型映射将多样的数据类型统一映射成单一的字符串型;地址映射将物理数据源的物理地址统一映射成虚拟地址,形成一个全局统一的地址空间,屏蔽数据源的物理分布性;所述的VV映射为第二级映射,负责虚拟表层的虚拟表到虚拟视图层的虚拟视图之间的映射;主要是实现数据内容映射,即:通过关系算子的运算,将虚拟表中的数据转换成虚拟视图中的数据,将基础的数据加工、映射成业务所需要的数据。所述的虚拟表层的虚拟表由表名和字段列表两部分组成,虚拟表中的字段只有一种数据类型,为字符串型;在与物理层数据源交互时,会转化成数据源真实的数据类型;每一个虚拟表及其字段都有一个虚拟地址,虚拟地址是一个11位的十进制编码,中间一位是标志位,虚拟表的虚拟地址中该标志位为“9” ;所有的虚拟地址构成一个全局的地址空间。所述的虚拟视图由表名和字段列表组成;所述的关系算子包括选择、投影、连接、加、聚合等;所述的虚拟视图之间也可以进行关系运算,产生更复杂的虚拟视图;虚拟视图也设有虚拟地址,虚拟地址的中间标志位为“ 5 ”。所述的PV映射实现的关键数据结构记录在一个元数据表metapv中;metapv的主要字段如下表所示:metapv 表结构本文档来自技高网...

【技术保护点】
一种用于大规模分布异构数据的虚拟化方法,其特征在于:所述方法由三层结构、两级映射两个部分实现;所述的三层结构包括物理层、虚拟表层、虚拟视图层;所述的物理层由各种分布、异构的数据源组成,每一种数据源都有自己专有的数据结构、访问接口;这些数据源包括数据库系统、文件系统、Web?Service;所述的虚拟表层对物理层的数据资源进行封装和抽象,通过虚拟化机制,将物理层的数据源统一表示成简单的二维关系,即虚拟表;虚拟表和物理表一一对应,映射信息存储在元数据管理器中;所述的虚拟视图层直接面向用户,虚拟视图为用户提供满足应用需求的数据规范或者业务模式;所述的虚拟视图是一个二维关系,由一个或者多个虚拟表通过关系算子运算而成,虚拟视图与虚拟表的关系为1:n的关系,一个虚拟视图对应一个或者多个虚拟表,映射信息存储在元数据管理器中;所述的两级映射包括PV映射和VV映射;所述的PV映射为第一级映射,负责物理层的物理表到虚拟表层的虚拟表之间的映射;PV映射主要包括三个方面:结构映射、类型映射、地址映射;所述的结构将异构的数据结构统一映射成标准的二维关系,也就是虚拟表;类型映射将多样的数据类型统一映射成单一的字符串型;地址映射将物理数据源的物理地址统一映射成虚拟地址,形成一个全局统一的地址空间,屏蔽数据源的物理分布性;所述的VV映射为第二级映射,负责虚拟表层的虚拟表到虚拟视图层的虚拟视图之间的映射;主要是实现数据内容映射,即:通过关系算子的运算,将虚拟表中的数据转换成虚拟视图中的数据,将基础的数据加工、映射成业务所 需要的数据。...

【技术特征摘要】
1.一种用于大规模分布异构数据的虚拟化方法,其特征在于:所述方法由三层结构、两级映射两个部分实现; 所述的三层结构包括物理层、虚拟表层、虚拟视图层; 所述的物理层由各种分布、异构的数据源组成,每一种数据源都有自己专有的数据结构、访问接口 ;这些数据源包括数据库系统、文件系统、Web Service ; 所述的虚拟表层对物理层的数据资源进行封装和抽象,通过虚拟化机制,将物理层的数据源统一表不成简单的二维关系,即虚拟表;虚拟表和物理表对应,映射信息存储在元数据管理器中; 所述的虚拟视图层直接面向用户,虚拟视图为用户提供满足应用需求的数据规范或者业务模式;所述的虚拟视图是一个二维关系,由一个或者多个虚拟表通过关系算子运算而成,虚拟视图与虚拟表的关系为1:n的关系,一个虚拟视图对应一个或者多个虚拟表,映射信息存储在元数据管理器中; 所述的两级映射包括PV映射和VV映射; 所述的PV映射为第一级映射,负责物理层的物理表到虚拟表层的虚拟表之间的映射;PV映射主要包括三个方面:结构映射、类型映射、地址映射;所述的结构将异构的数据结构统一映射成标准的二维关系,也就是虚拟表;类型映射将多样的数据类型统一映射成单一的字符串型;地址映射将物理数据源的物理地址统一映射成虚拟地址,形成一个全局统一的地址空间,屏蔽数据源的物理分布性; 所述的VV映射为第二级映射,负责虚拟表层的虚拟表到虚拟视图层的虚拟视图之间的映射;主要是实现数据内容映射,即:通过关系算子的运算,将虚拟表中的数据转换成虚拟视图中的数据,将基础的数据加工、映射成业务所需要的数据。2.根据权利要求1所...

【专利技术属性】
技术研发人员:刘祥涛谢毅岳强季统凯
申请(专利权)人:广东电子工业研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1