一种城市轨道交通工程的多源异构数据集成处理方法技术

本发明专利技术涉及一种城市轨道交通工程的多源异构数据集成处理方法，创建数据源并将数据进行分类并存储至各源端数据库；根据各源端数据库创建元数据库；将异构数据源的数据抽取到过渡性数据库；在规则和元数据库的约束下对过渡性数据库进行数据转换；对转换后的数据进行数据集成和融合，实现数据模型和数据格式的统一；基于元数据库，其内部的元数据管理器定义目标数据模型结构，得到定义数据关联规则和目标映射关系；根据定义数据关联规则和目标映射关系，将已经集成和融合成功的数据从数据过渡区加载到数据仓库物理存储区域；将数据仓库物理存储区域的数据进行渲染并发布到相应的WebGIS服务器上，在指定系统中进行系统配置和服务的多源异构数据集成显示。服务的多源异构数据集成显示。服务的多源异构数据集成显示。

【技术实现步骤摘要】
一种城市轨道交通工程的多源异构数据集成处理方法


[0001]本专利技术涉及建筑信息化领域，更具体地，涉及一种城市轨道交通工程的多源异构数据集成处理方法。

技术介绍

[0002]多源异构数据集成是整合来自多个数据源的数据，减少数据之间类型和结构上的差异，解决多源异构数据的来源复杂、结构异构问题，从而实现对数据的统一存储、管理和分析，实现用户无差别访问，充分发挥数据的价值。随着地铁建设项目复杂程度的提升，大规模的数据信息不断积累，城市轨道交通建造过程中产生的海量多源异构数据，包括结构化、半结构化和非结构化，特别是GIS数据、BIM数据、倾斜摄影数据、地质数据以及激光点云等数据，由于数据的分布式采集和数据来源形式多种，导致不同系统之间无法进行有效的数据互操作和集成应用，这不仅加大数据生产成本，造成人力、物力的极大浪费，也给数据共享带来极大困难。因此，为实现不同数据源的互连互通和数据的共享，构建多源异构数据集成系统显得尤为迫切。
[0003]现有的技术中，中国技术公开了一种多源异构数据快速采集系统，它包括数据采集单元、数据清洗单元、数据处理单元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，包括以下步骤：S1：创建数据源并将数据进行分类并存储至各源端数据库；S2：根据各源端数据库创建元数据库；S3：将异构数据源中的数据抽取到过渡性数据库；S4：在规则和元数据库的约束下对过渡性数据库进行数据转换；S5：对转换后的数据进行数据集成和融合，实现实体的分类分级、数据模型和数据格式的统一；S6：基于元数据库，其内部的元数据管理器定义多维的、有冗余的目标数据模型结构，得到定义数据关联规则和目标映射关系；S7：根据定义数据关联规则和目标映射关系，将已经集成和融合成功的数据从数据过渡区加载到数据仓库物理存储区域；S8：将数据仓库物理存储区域的数据进行渲染并发布到相应的WebGIS服务器上，在指定系统中进行系统配置和服务的多源异构数据集成显示。2.根据权利要求1所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S1中，选择不同类型的数据库，将获取的GIS、BIM、倾斜摄影、地质、点云等数据，以属性数据、空间数据、文档数据形式进行分类、存储各源端数据库。3.根据权利要求2所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S2中，通过标准接口自动定义和读取各种有关数据库的数据字典创建元数据类，包括数据库类描述、实体类描述、事务类描述、界面类定义，存储到元数据库，建立元数据库。4.根据权利要求3所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S3中，通过面向异构的数据源接口界面，利用用户定义的抽取规则的数据抽取器从MySQL数据库、Oracle、SQL Server、Excel、Access等异构数据源中进行数据抽取；将...

【专利技术属性】
技术研发人员：张育雨，刘继强，蒋四礼，王家远，张立杰，王雪健，
申请(专利权)人：深圳大学深圳市斯维尔科技股份有限公司，
类型：发明
国别省市：