一种基于CIM模型实体关系的数据虚拟化系统及方法技术方案

本发明专利技术公开了一种基于CIM模型实体关系的数据虚拟化系统及方法，该系统包括标签库及消息中间件模块，标签库利用消息中间件模块的消息队列服务与除上层数据API之外的其它模块交互；消息发送者将消息发送至消息中间件模块，消息接受者在消息中间件模块上订阅对应的消息。同时，数据虚拟化方法中还包括存储管理业务流程：发布、DS标签同步、用户后续更新数据。本发明专利技术能够从应用角度便捷地查询和搜索数据，屏蔽数据存储介质和位置对数据应用的限制。

【技术实现步骤摘要】
一种基于CIM模型实体关系的数据虚拟化系统及方法
本专利技术涉及电网设施信息化管理领域。
技术介绍
大多数BI类产品或者工具，实现了在物理数据层面虚拟一层贴近业务的语义层，但人工参与定义的成本比较高，不容易理解，而且，只能面向单一数据源，跨异构数据源的情况下就无法实现。对于某些CIM模型(公用信息模型)，如国家电网CIM模型，落地的情况下，必定是多种异构数据源共存的情况，所以，必须要有一套能够跨数据源，对物理模型反向收敛为一套数据虚拟化业务化的方法。
技术实现思路
本专利技术提供了一种基于CIM模型实体关系的数据虚拟化系统及方法，是在CIM模型实体关系基础之上，专利技术的一种数据虚拟化的技术，能够从应用角度便捷地查询和搜索数据，屏蔽数据存储介质和位置对数据应用的限制。为达到上述目的，本专利技术可采用如下技术方案：一种基于CIM模型实体关系的数据虚拟化系统，包括：标签库，用以存储管理维护标签在各个存储设备上的存储信息，以dataset为单位进行管理，包括标签和dataset的元数据；标签库提供基于API，该API只提供给上层数据API使用，帮助上层数据API对标签的管理和查询；消息中间件模块，标签库利用消息中间件模块的消息队列服务与除上层数据API之外的其它模块交互；消息发送者将消息发送至消息中间件模块，消息接受者在消息中间件模块上订阅对应的消息。进一步的，标签存在的存储系统作为标签库，包括关系型数据库、分析型数据库、列式数据库，标签库对各种存储系统做了抽象，统一分为storagetype,storageinstance,project,table,column五级；其中，Storagetype：指存储设备的逻辑类型，包括分析型数据库，关系型数据库；Storageinstance：指存储集群ID，包括大数据平台的endpoint；Project：指存储集群上的数据项目，包括大数据平台的项目空间project；Table：数据表，包括大数据平台和Garuda的表。进一步的，标签库在消息中间件模块上注册的消息有：Dataset更新通知；标签更新通知，包含更新后标签的全量元数据；标签发布通知，包含标签的全量基础元数据和存储元数据；标签上架通知，包含标签上架的全量元数据；标签下架通知；标签回收通知；标签订购通知，包含针对该订购的全量元数据；标签去订购通知标签库在消息中间件模块上订阅的消息有：标签同步状态是否成功消息；表更新通知，消息中间件模块；服务订购通知。本专利技术还提供一种基于CIM模型实体关系的数据虚拟化方法，可采用以下技术方案，包括以下步骤：(1)、通过标签库存储管理维护标签在各个存储设备上的存储信息，以dataset为单位进行管理，包括标签和dataset的元数据；标签库提供基于API，该API只提供给上层数据API使用，帮助上层数据API对标签的管理和查询；(2)、通过标签库利用消息中间件模块的消息队列服务与除上层数据API之外的其它模块交互；消息发送者将消息发送至消息中间件模块，消息接受者在消息中间件模块上订阅对应的消息。进一步的，标签存在的存储系统作为标签库，包括关系型数据库、分析型数据库、列式数据库，标签库对各种存储系统做了抽象，统一分为storagetype,storageinstance,project,table,column五级；其中，Storagetype：指存储设备的逻辑类型，包括分析型数据库，关系型数据库；Storageinstance：指存储集群ID，包括大数据平台的endpoint；Project：指存储集群上的数据项目，包括大数据平台的项目空间project；Table：数据表，包括大数据平台和Garuda的表。进一步的，标签库在消息中间件模块上注册以下消息：Dataset更新通知；标签更新通知，包含更新后标签的全量元数据；标签发布通知，包含标签的全量基础元数据和存储元数据；标签上架通知，包含标签上架的全量元数据；标签下架通知；标签回收通知；标签订购通知，包含针对该订购的全量元数据；标签去订购通知标签库在消息中间件模块上订阅的消息有：标签同步状态是否成功消息；表更新通知，消息中间件模块；服务订购通知。进一步的，还包括存储管理业务流程，存储管理业务流程包括：发布：发布操作由Portal和标签库配合完成，标签库只关心发布标签的存储信息。发布者发布标签时需要在Portal上填好各种标签的元信息，提交到标签库登记入库，即发布成功；DS标签同步，包括：(1.1)、标签库通知DSdataset数据有更新，并传递给DS所有同步数据所需要的参数；(1.2)、DS判断是否需要同步，并为需要同步数据的dataset执行同步；(1.3)、DS通知标签库完成同步后在dataset不同存储设备上的bizdate；如果同步目标是TableStore，DS还需要通知标签库各字段同步到TableStore后的列id；如果同步目标是其它存储设备，DS和标签库约定目标设备上的字段名和源表字段名相同。有益效果：本专利技术提供的技术方案给出了一套能够跨数据源，对物理模型反向收敛为一套数据虚拟化系统以及数据虚拟化防范，尤其适用于多种异构数据源共存的情况，能够从应用角度便捷地查询和搜索数据，屏蔽数据存储介质和位置对数据应用的限制。附图说明图1为CIM模型的实体关系库的结构示意图。图2为存储管理业务流程中发布信息的流程示意图。图3为存储管理业务流程中DS标签同步的流程示意图。图4为存储管理业务流程中标签库和DS的交互配合完成标签数据同步的流程示意图。图5为存储管理业务流程中用户后续更新数据流程示意图。具体实施方式实施例一请结合图1所示，本实施例为一种基于CIM模型实体关系的数据虚拟化系统，本实施例中选用的CIM模型可选择国家电网的CIM模型。该基于CIM模型实体关系的数据虚拟化系统包括：标签库，用以存储管理维护标签在各个存储设备上的存储信息，以dataset为单位进行管理，包括标签和dataset的元数据；标签库提供基于API，该API只提供给上层数据API使用，帮助上层数据API对标签的管理和查询；实体关系收拢异构数据源之后，一个实体或者关系可以对应多个数据源的不同的表数据(图1中蓝色T表示表数据)。目前只允许dataset的源表保存在大数据平台上，且一个dataset只能对应一张物理表。标签存储管理完全由标签库负责，对外部隐藏所有标签存储方面的细节，其它模块只能通过向标签库发送消息获取标签的存储信息。消息中间件模块，标签库利用消息中间件模块的消息队列服务与除上层数据API之外的其它模块交互；消息发送者将消息发送至消息中间件模块，消息接受者在消息中间件模块上订阅对应的消息。标签库一方面以API方式支持业务方需求，另一方面使用消息中间件模块的消息队列服务支持其它模块(主要是DS(数据同步)和QC(数据质量控制))。标签库提供基于HSF的API，这些API只提供给上层数据API使用，帮助上层数据API实现对标签的管理和查询业务。由于绝大部分标签管理的业务逻辑由上层数据API完成，所以标签库并不对上层数据API隐藏标签元数据的存储细节，上层数据API需要了解并维护标签相关表和字段的存储信息。标签库利用消息中间件模块的消息队列服务与除上层本文档来自技高网...

【技术保护点】
1.一种基于CIM模型实体关系的数据虚拟化系统，其特征在于，包括：标签库，用以存储管理维护标签在各个存储设备上的存储信息，以dataset为单位进行管理，包括标签和dataset的元数据；标签库提供基于API，该API只提供给上层数据API使用，帮助上层数据API对标签的管理和查询；消息中间件模块，标签库利用消息中间件模块的消息队列服务与除上层数据API之外的其它模块交互；消息发送者将消息发送至消息中间件模块，消息接受者在消息中间件模块上订阅对应的消息。

【技术特征摘要】
1.一种基于CIM模型实体关系的数据虚拟化系统，其特征在于，包括：标签库，用以存储管理维护标签在各个存储设备上的存储信息，以dataset为单位进行管理，包括标签和dataset的元数据；标签库提供基于API，该API只提供给上层数据API使用，帮助上层数据API对标签的管理和查询；消息中间件模块，标签库利用消息中间件模块的消息队列服务与除上层数据API之外的其它模块交互；消息发送者将消息发送至消息中间件模块，消息接受者在消息中间件模块上订阅对应的消息。2.根据权利要求1所述基于CIM模型实体关系的数据虚拟化系统，其特征在于：标签存在的存储系统作为标签库，包括关系型数据库、分析型数据库、列式数据库，标签库对各种存储系统做了抽象，统一分为storagetype,storageinstance,project,table,column五级；其中，Storagetype：指存储设备的逻辑类型，包括分析型数据库，关系型数据库；Storageinstance：指存储集群ID，包括大数据平台的endpoint；Project：指存储集群上的数据项目，包括大数据平台的项目空间project；Table：数据表，包括大数据平台和Garuda的表。3.根据权利要求1或2所述的基于CIM模型实体关系的数据虚拟化系统，其特征在于：标签库在消息中间件模块上注册的消息有：Dataset更新通知；标签更新通知，包含更新后标签的全量元数据；标签发布通知，包含标签的全量基础元数据和存储元数据；标签上架通知，包含标签上架的全量元数据；标签下架通知；标签回收通知；标签订购通知，包含针对该订购的全量元数据；标签去订购通知标签库在消息中间件模块上订阅的消息有：标签同步状态是否成功消息；表更新通知，消息中间件模块；服务订购通知。4.一种基于CIM模型实体关系的数据虚拟化方法，其特征在于，包括以下步骤：(1)、通过标签库存储管理维护标签在各个存储设备上的存储信息，以dataset为单位进行管理，包括标签和dataset的元数据；标签库提供基于API，该API只提供给上层数据API使用，帮助上层数据API对标签的管理和查询；(2)、通过标签库利用消息中间件模块的消息队列服务与除上层数据API之外的其它模...

【专利技术属性】
技术研发人员：李继红，洪建光，孔晓昀，黄海潮，陈振，王志强，陶敏，李智，刘鸿宁，秦俊宁，江樱，
申请(专利权)人：国网浙江省电力公司，国网浙江省电力公司电力科学研究院，
类型：发明
国别省市：浙江,33