一种基于云计算的数据管理系统技术方案

本发明专利技术公开了一种基于云计算的数据管理系统，包括：数据维护模块：用于基于CWM的元数据建模、元数据实体维护、元数据关系维护；数据管理模块：用于元数据分析与可视化展示；数据存储库：用于元数据、元模型存储和版本记录；数据整合平台：用于元数据的抽取与整合，将元数据整合到分布式数据库系统，还包括对存放于不同的服务器和存储设备的元数据进行统一管理和利用的资源调度引擎数据管理模块。本发明专利技术通过服务器及存储虚拟化、资源整合建模、资源调度引擎等技术，实现了异构资源上的元数据的整合、异构资源的统一管理与利用和存储在不同存储设备上的业务数据库的资源共享。

A data management system based on Cloud Computing

The invention discloses a data management system based on cloud computing includes: data maintenance module: for the maintenance of metadata modeling, CWM metadata entity relationship based on metadata, maintenance; data management module: metadata for analysis and visualization; data repository for storage and metadata, meta model version records; data integration platform. For the extraction and integration of metadata, metadata will be integrated into the distributed database system, including resource scheduling engine data management module, unified management and use of metadata stored in the server and storage devices of different. The present invention through the server and storage virtualization, resource integration modeling, resource scheduling engine technology, realize the integration of heterogeneous resources, metadata of heterogeneous resources on the unified management and utilization and storage business database in different storage devices on the sharing of resources.

【技术实现步骤摘要】
一种基于云计算的数据管理系统
本专利技术涉及数据库
，具体的说，是一种基于云计算的数据管理系统。
技术介绍
云计算（cloudcomputing）是基于互联网的相关服务的增加、使用和交付模式，云计算就是指基于互联网络的超级计算模式，即把存储于个人电脑、服务器和其它设备上的大量存储器容量和处理器资源集中在一起，统一管理并且协同工作，通常涉及由互联网来提供的动态易扩展且虚拟化的资源。传统的数据管理模式：过去数据库管理的核心是数据集，数据说明与描述都是针对某个数据集展开的，用户只有访问数据集，才可以得到对应的数据，如此将导致数据不同程度的冗余，数据集和数据之间有较低的关联性，不过数据相互之间低水平的联系或者无联系将导致数据共享存在较大的阻力，针对高级的管理系统，其对应的数据库应用环境的复杂性也相应较髙，因为存在多种数据库系统，也不利于复杂数据的访问和对异构数据集的直接访问，存在无法有效地对数据进行分析、查询、管理和存储的问题。
技术实现思路
本专利技术的目的在于提供一种基于云计算的数据管理系统，用于解决现有技术中数据库系统无法对异构数据和复杂数据直接访问并有效地分析、查询、管理和存储的问题。为了达到上述目的，本专利技术通过下述技术方案实现：一种基于云计算的数据管理系统，包括：数据维护模块：用于基于CWM的元数据建模、元数据实体维护、元数据关系维护；数据管理模块：用于元数据分析与可视化展示；数据存储库：用于元数据、元模型存储和版本记录；数据整合平台：用于元数据的抽取与整合，将元数据整合到分布式数据库系统；所述数据管理模块包括：元数据源层：采用经营分析系统的数据源系统,是所述元数据的来源；元数据获取层：采用数据源抽取工具抽取分布式文件系统中的有效元数据并将元数据存储至分布式数据库系统,并为分布式数据库系统中的元数据提供统一视图；元数据存储层：用于元数据的存储,存储的元数据包括业务元数据、技术元数据和管理元数据；元数据管理层：用于提供符合规范的接口和实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入和元数据导出；元数据访问层：通过元数据管理层访问元数据存储层的元数据，包括元数据管理工具前端、二级经营分析系统和中央元数据抽取服务器。数据管理系统包括数据维护模块,数据管理模块,数据存储库,数据整合平台，数据维护系统负责基于公共数据仓库元模型规范CWM的元数据建模，对元数据和元数据关系进行维护，数据管理模块负责对元数据进行分析以及为用户访问提供可视化展示界面，数据存储库负责元数据和元模型存储,以及存储元数据的版本记录，数据整合平台负责元数据的抽取和整合。对于每一种数据源采用专有的工具抽取分布式文件系统中的有效元数据,将元数据整合成新的元数据，存储到分布式数据库系统,并为分布式关系数据库中的元数据提供统一视图。数据整合平台中将不同的服务器和存储设备抽象为统一的资源模型，对不同存储设备上的异构资源的元数据进行整合，实现对这些异构资源的统一管理与利用以及存储在不同服务器和存储设备上的业务数据库的资源共享。元数据的来源,即经营分析模块中的元数据,位于不同的计算机即分布式文件系统上，这些分布式文件系统统称为元数据源层。元数据获取层从元数据源层抽取元数据，将元数据进行整合后存入元数据存储库。元数据管理层采用了云计算的分布式资源管理技术，访问元数据存储库,读取元数据,并对这些元数据进行维护与分析，不同的用户通过元数据访问层访问所需要的元数据。元数据存储库采用关系数据,逻辑模型针对元模型和元数据各有一套对应的库表。库表与域模型一一对应,元模型的域模型主要包括类、属性、关系、包和数据类型等,元数据的域模型主要包括类、属性和关系等。元数据访问层包括普通用户对元数据的访问,以及其它系统对元数据的访问，系统为普通用户的访问提供图形界面用于方便用户通过浏览器访问系统,系统以图和表的方式向用户展示数据。元数据管理层为其它系统访问元数据提供接口,支持元数据文件导出，同时,其它系统也可以元数据管理层授权的条件下,访问元数据库。优选地，所述数据管理模块的具体工作流程为：元数据获取层为所述经营分析系统中每一个模块配置一个元数据存储路径,每一个模块的元数据统一存放于所述元数据存储路径中；元数据管理层为所述经营分析系统的每个模块配置一个连接桥模块，连接桥模块实现元数据与新的元数据之间的转换，所述连接桥模块包括元数据读取与转换和元数据建模，所述元数据建模用于建立适用于所述经营分析模块的元数据的元模型，元数据入库时,元数据管理层的连接桥模块通过元数据访问层的访问接口，从位于元数据存储层中的分布式数据库系统上的元数据路径中读取元数据,并将元数据转换为新的元数据，最后将新的元数据存储入元数据库；元数据出库时，连接桥模块从元数据库中读取出元数据,按照元模型读取出元数据中的信息,并将其重新组织为经分模块中使用的元数据格式,最后将元数据存放入元数据存储层中的分布式数据库系统指定的元数据存储路径，并通过元数据访问层为用户访问提供访问接口与可视化展示界面。在云计算平台上,每个集群建立一个数据库服务器,集中存放该集群上的元数据。每个数据库服务器上存放的元数据各不相同,分布式数据库系统为这些数据库服务器上的元数据建立一个统一的视图。用户通过客户端访问分布式数据库系统,可以在统一的视图中操作元数据,而不必关心这些元数据具体存放在那个数据库服务器上。优选地，所述元数据管理层包括：模型管理：定义元数据的形式,为元数据提供了抽象模板，管理包、类、类的属性、属性的数据类型以及类之间的关系；数据管理：提供对元数据的手动维护和管理,包括添加、修改、删除、版本、权限、关系维护和整体浏览功能；数据关系管理：维护元数据与元数据之间的关系；数据维护：用于对整理收集好的数据按照需求进行分析,提供决策支持；数据分析：对整理收集好的数据按照需求进行分析,提供决策支持；系统管理：包含用户权限管理、系统参数管理、系统登录日志查询与修改密码功能。所述模型管理为元数据提供了抽象模板，即为元数据建立模型，并为元数据的模型建立元模型，作为解析元数据的模型的语言，元数据是又称中介数据、中继数据，为描述数据的数据，用于描述数据属性的信息，对数据管理和数据维护过程提供指示存储位置、历史数据、资源查找、文件记录等功能。数据的管理包括：元数据信息的采集、操作和元数据库的创建，数据维护包括对元数据的导入和导出、查询以及增减操作，数据关系管理负责不同格式的元数据之间的转换和元数据目录关联：这样就可以通过元数据目录来查看元数据信息，也可以更好的对元数据进行分类管理；数据分析根据对元数据的分析结果为系统管理提供支持。优选地，还包括用于对存放于不同的服务器和存储设备的元数据进行统一管理和利用的资源调度引擎数据管理模块，所述资源调度引擎数据管理模块采用资源调度算法，步骤如下：S1）获取虚拟机集群中所有的物理机与虚拟机的性能监控数据，并评估物理机与虚拟机的资源负载状态；S2）选择需要调度的虚拟机计算合适的目标节点，进行虚拟机的迁移；S3）列举虚拟机集合中负载高于上限阈值的虚拟机，用最佳适应算法寻找调度后物理资源负载最高但不超过物理负载上限阈值的物理机，迁移虚拟机到此物理机上。数据管理系统异构资源进行有效的管理、监控和调度，利用本文档来自技高网...

【技术保护点】
一种基于云计算的数据管理系统，其特征在于，包括：数据维护模块：用于基于CWM的元数据建模、元数据实体维护、元数据关系维护；数据管理模块：用于元数据分析与可视化展示；数据存储库：用于元数据、元模型存储和版本记录；数据整合平台：用于元数据的抽取与整合，将元数据整合到分布式数据库系统；所述数据管理模块包括：元数据源层：采用经营分析系统的数据源系统,是所述元数据的来源；元数据获取层：采用数据源抽取工具抽取分布式文件系统中的有效元数据并将元数据存储至分布式数据库系统,并为分布式数据库系统中的元数据提供统一视图；元数据存储层：用于元数据的存储,存储的元数据包括业务元数据、技术元数据和管理元数据；元数据管理层：用于提供符合规范的接口和实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入和元数据导出；元数据访问层：通过元数据管理层访问元数据存储层的元数据，包括元数据管理工具前端、二级经营分析系统和中央元数据抽取服务器。

【技术特征摘要】
1.一种基于云计算的数据管理系统，其特征在于，包括：数据维护模块：用于基于CWM的元数据建模、元数据实体维护、元数据关系维护；数据管理模块：用于元数据分析与可视化展示；数据存储库：用于元数据、元模型存储和版本记录；数据整合平台：用于元数据的抽取与整合，将元数据整合到分布式数据库系统；所述数据管理模块包括：元数据源层：采用经营分析系统的数据源系统,是所述元数据的来源；元数据获取层：采用数据源抽取工具抽取分布式文件系统中的有效元数据并将元数据存储至分布式数据库系统,并为分布式数据库系统中的元数据提供统一视图；元数据存储层：用于元数据的存储,存储的元数据包括业务元数据、技术元数据和管理元数据；元数据管理层：用于提供符合规范的接口和实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入和元数据导出；元数据访问层：通过元数据管理层访问元数据存储层的元数据，包括元数据管理工具前端、二级经营分析系统和中央元数据抽取服务器。2.根据权利要求1所述的一种基于云计算的数据管理系统，其特征在于，所述数据管理模块的具体工作流程为：元数据获取层为所述经营分析系统中每一个模块配置一个元数据存储路径,每一个模块的元数据统一存放于所述元数据存储路径中；元数据管理层为所述经营分析系统的每个模块配置一个连接桥模块，连接桥模块实现元数据与新的元数据之间的转换，所述连接桥模块包括元数据读取与转换和元数据建模，所述元数据建模用于建立适用于所述经营分析模块的元数据的元模型，元数据入库时,元数据管理层的连接桥模块通过元数据访问层的访问接口，从位于元数据存储层中的分布式数据库系统上的元数据路径中读...

【专利技术属性】
技术研发人员：王萍，胡聪，吴斌，蔡梦臣，马永，徐敏，方圆，张禾良，吴尚，倪平波，张捷，喻梅，胡州明，欧渊，张强，吴磊，马常惠，胡超阳，
申请(专利权)人：国网安徽省电力公司信息通信分公司，四川中电启明星信息技术有限公司，
类型：发明
国别省市：安徽,34