一种基于数据虚拟化的混合云计算管理系统技术方案

技术编号:13632780 阅读:133 留言:0更新日期:2016-09-02 15:00
本发明专利技术提出一种基于数据虚拟化的混合云计算管理系统,在混合云应用服务层和混合云服务之间增加云数据虚拟化层,负责提供用户数据访问以及管理的服务;其特征在于,云数据虚拟化层包括数据连接模块:负责与不同的数据源建立连接,并且管理不同的连接,优化网络通信以及数据传输;数据集成模块:负责为来自不同数据源的异构数据提供统一视图,同时,根据上层应用的需求,来自不同数据源的数据进行不同的组合以及优化,形成不同的数据虚拟视图;数据发布模块:负责为数据虚拟池进行封装,为上层应用提供可以统一访问并且管理虚拟数据池的服务;通过数据发布,上层的服务获取数据的元数据,得到当前数据的数据源、数据格式以及其他基本信息。

【技术实现步骤摘要】

本专利技术涉及一种基于数据虚拟化的混合云计算管理系统,属于云计算应用领域。技术背景云计算经过将近八年的迅速发展,如今已由最初的公有云和私有云的单一服务迎来了新的衍生模式—“混合云”模式。在公有云诞生之前,大部分企业拥有自己的私有机房。随着公有云的发展,中小企业可以不需要花费大量资金去购买计算、存储以及网络资源,而是根据自己的需求在公有云平台上(如亚马逊、阿里云等)租赁资源。同时,这些本身拥有数据中心资源的企业可以利用云端技术单独搭建自己的私有云,提高资源的利用率。然而现在我们进入云计算的融合时代,单一服务形式并不能满足企业的需求。比如,中小企业需要在不同地方部署自己的应用,可能需要租赁不同的公有云;大型企业如12306.cn为了应付峰时资源需求,可能也需要租赁公共云(阿里云)。公有云和私有云承载着不同的业务需求,但面对如今日益开放和细分的市场结构及业务模式,往往会束手无策。因此,混合云融合公有云以及私有云特点,取长补短,可以解决多层次、定制化等特殊业务需求的痛点。然而,混合云不是私有云和公有云的简单加法,无缝融合它们需要解决很多问题,其中最突出的问题就是云互操作性(Cloud Interoperability)。比如,公有云和私有云管理两处不同的数据中心,都有自己的服务门户,而且彼此对资源的使用方式也是不一样的。如公有云通常是预付费模式,按需使用,而私有云通常是审批式的,不需要支付,只需要完成相应的申请流程。在混合云中,如何构建服务门户的统一以及资源状态监控的统一,需要不同云之间的互联、可互操作。除了服务的统一,VPC(Virtual Private Cloud,虚拟私有云)互通也需要解决公有云和私有云的互操作问题,让租户可以在混合云中构建属于自己的私有云。传统的方法解决云的互操作性主要是采用编程接口集成的方式,即抽象出公
共的云操作接口,不同的云提供商用各自的编程接口实现这个公共操作接口,从而到达互通。不同厂商的数据有着不同的格式,不同的存储访问方式,编程接口集成相当于为不同厂商提供了一个相同的数据格式以及访问方式,不同的厂商再各自转化成各自的格式进行访问或存储。然而传统的编程接口集成有很多问题,其中最突出的问题就是导致软件模块耦合度高,在云端难以扩展,可伸缩性(scalability)差。其次,编程接口集成耗费大量资源在数据格式转化上,以及缺乏对数据结果质量的评估,在混合云通信环境下性能下降很快。我们未发现目前有相关混合云系统运用数据虚拟化技术。现有的混合云方案绝大部分是基于统一技术的混合云融合,如企业的私有云和公有云都使用同一家云服务解决方案如IBM或者EMC。他们的解决方案不涉及异构云平台之间的融合。我们基于数据虚拟化技术的混合云平台可以一站式解决异构云平台之间的互操作性问题,加速不同云平台的之间的融合。
技术实现思路
本专利技术提出一种基于数据虚拟化的混合云计算管理系统,使得用户能够从一些服务、功能或其他资源的内部部署中对外部界面进行抽象化,极大的降低了软件模块之间的耦合性;这样新的云平台可以很快接入混合云平台,同时减少混合云的开发、管理、以及维护的成本。本专利技术一种基于数据虚拟化的混合云计算管理系统,在混合云应用服务层和混合云服务之间增加云数据虚拟化层,负责提供用户数据访问以及管理的服务;其特征在于,云数据虚拟化层包括数据连接模块、数据集成模块和数据发布模块;其中:数据连接模块:负责与不同的数据源建立连接,并且管理不同的连接,优化网络通信以及数据传输。数据集成模块:负责为来自不同数据源的异构数据提供统一视图,包括传统的数据抽取、转化、加载以及不同数据格式之间的映射匹配;同时,根据上层应用的需求,来自不同数据源的数据进行不同的组合以及优化,形成不同的数据虚拟视图;不同的虚拟视图组成了数据虚拟池,管理不同的异构数据;数据发布模块:负责为数据虚拟池进行封装,为上层应用提供可以统一访问并且管理虚拟数据池的服务;通过数据发布,上层的服务获取数据的元数据,
得到当前数据的数据源、数据格式以及其他基本信息,方便上层应用的调用。进一步地,数据连接模块基于SOAP或者REST搭建Web Service,或通过数据库连接器直接连接关系型数据库,实现运行在不同云端的不同应用可以轻松实现相互交换数据或集成,从而实现平台的独立性,以及低耦合。本专利技术的有益效果:本专利技术提出一种基于数据虚拟化技术混合云计算系统,数据虚拟化类似于资源虚拟化技术,提供一种允许用户访问、管理和优化异构基础架构的方法,就好像它们是一种单一、且在逻辑上是统一的资源一样。我们在混合云环境下运用数据虚拟化技术,这使得用户能够从一些服务、功能或其他资源的内部部署中对外部界面进行抽象化,极大的降低了软件模块之间的耦合性。附图说明图1为本专利技术实施方式的架构设计图;图2为软件模块概要设计图;图3为混合云计费管理设计图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明。本专利技术在数据源以及数据服务之间抽象出一层数据虚拟化层,如图1架构设计所示。我们考虑一个实际的混合云环境部署案例,一个公司的私有云需要和两个公有云服务商进行融合,以满足其不同的服务需求。我们专利专利技术可以帮助这些企业在公有云和私有IT资源(私有云资源,或者仅仅是虚拟化、硬件资源)之上做统一管理和解决方案,提供技术和不同层次的服务支持。如图1所示,我们可以选取不同特点的云计算平台组成混合云,实现优势互补,满足客户多样化的需求。比如,我们可以选取公有云1提供不同层次的平台服务如软件(SaaS,Software as a service)、平台(PaaS,Platform as a Service)以及基础设施(IaaS,Infrastructure as a Service);公有云2侧重于云端数据存储,部署不同类型的数据库,如关系数据库,Key-Value NoSQL数据库以及HDFS;私有云则侧重大量的企业级服务软件(ERP)以及办公自动化OA系统等。基于三种高度异构的平台,我们抽象出一层数据虚拟化层,其思想和资源虚拟化类似,为用户提供一种允许用户访问、管理和优化异构基础架构的方法,就好像它们
是一种单一、且在逻辑上是统一的资源一样。具体来说,云数据虚拟化层在混合云应用服务层和混合云服务提供商之间增加了新的一层,负责提供用户数据访问以及管理的服务。如图1所示,混合云管理服务层的应用服务(如用户管理、计费管理、资源管理、服务管理、权限管理以及资源监控管理)就不需要知道数据存在哪以及具体存储格式,而只需要和数据虚拟化层交互。因此,云数据虚拟化层极大降低了混合云服务应用集成部署的耦合性,加速混合云间的融合。图2具体给出了云数据虚拟化层的具体概要设计图,主要包括以下三个核心模块:(1)数据连接模块:负责与不同的数据源建立连接,并且管理不同的连接,优化网络通信以及数据传输。通常可以基于SOAP或者REST搭建Web Service,也可以通过数据库连接器(如JDBC)等直接连接关系型数据库,实现运行在不同云端的不同应用可以轻松实现相互交换数据或集成,从而实现平台的独立性,以及低耦合。(2)数据集成模块:负责为来自不同数据源的异构数据提供一个统一的视图,包括传统的数据抽取本文档来自技高网
...

【技术保护点】
一种基于数据虚拟化的混合云计算管理系统,在混合云应用服务层和混合云服务之间增加云数据虚拟化层,负责提供用户数据访问以及管理的服务;其特征在于,所述的云数据虚拟化层包括数据连接模块、数据集成模块和数据发布模块;其中,数据连接模块:负责与不同的数据源建立连接,并且管理不同的连接,优化网络通信以及数据传输。数据集成模块:负责为来自不同数据源的异构数据提供统一视图,包括传统的数据抽取、转化、加载以及不同数据格式之间的映射匹配;同时,根据上层应用的需求,来自不同数据源的数据进行不同的组合以及优化,形成不同的数据虚拟视图;不同的虚拟视图组成了数据虚拟池,管理不同的异构数据;数据发布模块:负责为数据虚拟池进行封装,为上层应用提供可以统一访问并且管理虚拟数据池的服务;通过数据发布,上层的服务获取数据的元数据,得到当前数据的数据源、数据格式以及其他基本信息,方便上层应用的调用。

【技术特征摘要】
1.一种基于数据虚拟化的混合云计算管理系统,在混合云应用服务层和混合云服务之间增加云数据虚拟化层,负责提供用户数据访问以及管理的服务;其特征在于,所述的云数据虚拟化层包括数据连接模块、数据集成模块和数据发布模块;其中,数据连接模块:负责与不同的数据源建立连接,并且管理不同的连接,优化网络通信以及数据传输。数据集成模块:负责为来自不同数据源的异构数据提供统一视图,包括传统的数据抽取、转化、加载以及不同数据格式之间的映射匹配;同时,根据上层应用的需求,来自不同数据源的数据进行不同的组合以及优化,形成不同的数据虚拟视图;不同的虚拟视图组成了数据虚拟池,管理不同的异构数据;数据发布模块:负责为数据虚拟池进行封装,为上层应用提供可以统一访问并且管理虚拟数据池的服务;通过数据发布,上层的服务获取数据的元数据,得到当前数据的数据源、数据格式以及其他基本信息,方便上层应用的调用。2.如权利要求1所述的一种基于数据虚拟化的混合云计算管理系统,其特征在于,进一步地,数据连接模块基于SOAP或者REST搭建Web Service,或通过数据库连接器直接连接关系型数据库,实现运行在不同云端的不同应用可以轻松实现相互交换数据或集成,从而实现平台的独立性,以及低耦合。3.如权利要求1或2所述的一种基于数据虚拟化的混合云计算管理系统,其特征在于,进一步地,该管理系统还包括查询优化器,负责复杂的数据查询,实现查询优化...

【专利技术属性】
技术研发人员:庄浩张继勇
申请(专利权)人:易云捷讯科技北京股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1