【技术实现步骤摘要】
一种异构数据源集成管理方法、装置和系统
[0001]本申请涉及但不限于大数据技术，尤指一种异构数据源集成管理方法、装置和系统。
技术介绍
[0002]随着移动互联网、云计算、物联网等信息技术的飞速发展，行业应用产生的数据呈指数增长，传统的数据管理系统已无法满足业务的计算需求。为了能从海量数据中分析出价值信息，大数据生态中的数据计算引擎因其超强的计算能力而成为应用热点。。
[0003]在使用大数据计算引擎时，往往需要获取数据源的数据，这些数据大都存储于不同的存储系统中。面对当前大数据生态系统中多种多样的存储系统，每种存储系统有其独特的功能特性，数据的存储格式也不尽相同，计算引擎要对接各种数据源就要适配多种存储系统，这增加了计算引擎实现各种数据源数据接入与分析计算时的难度，下面以Flink计算引擎为例说明，其他计算引擎也有类似问题。
[0004]在一个方案中，Flink计算引擎提供结构化查询语言(Structured Query Language，简称SQL)形式的定制数据定义语言(Data Definition...
【技术保护点】
【技术特征摘要】
1.一种异构数据源集成管理方法，包括：获取数据源的数据集成信息；根据Catalog数据模型为多种异构数据源提供的统一标签规则，对所述数据集成信息进行格式化封装，构建为Catalog数据模型的实例化对象；将所述实例化对象注册到计算引擎中实现数据集成。2.如权利要求1所述的方法，其特征在于：所述获取数据源的数据集成信息之前，所述方法还包括：接收所述数据源的数据集成信息，将所述数据源的数据集成信息封装为结构化数据模型对象并作为所述数据源的元数据保存在数据库中，所述数据库可保存所述多种异构数据源的元数据并进行统一管理；所述获取数据源的数据集成信息，包括：从所述数据库中所述数据源的元数据中抽取得到所述数据源的数据集成信息。3.如权利要求2所述的方法，其特征在于：所述多种异构数据源对应不同的结构化数据模型对象，所述将所述数据源的数据集成信息封装为结构化数据模型对象，包括：根据所述数据源对应的结构化数据模型，将所述数据源的数据集成信息封装为所述结构化数据模型对象，其中，所述不同的结构化数据模型使用的标签均可映射到所述Catalog数据模型的标签。4.如权利要求2所述的方法，其特征在于：所述接收所述数据源的数据集成信息，包括：通过接口接收前端传递的消息，所述消息封装有用户配置的所述数据源的数据集成信息；及，对所述消息进行解析，得到所述数据源的数据集成信息。5.如权利要求2所述的方法，其特征在于：所述从所述数据库中所述数据源的元数据中抽取得到所述数据源的数据集成信息，包括：对所述数据库中的元数据进行监听，当监听到所述数据源的元数据发生变化时，自动获取所述数据库中所述数据源的元数据，从所述数据源的元数据中抽取得到所述数据源的数据集成信息。6.如权利要求1至5中任一所述的方法，其特征在于：所述Catalog数据模型提供的统一标签规则定义了多层级的标签、所述标签之间的相互关系，以及所述标签在所述多种异构数据源中分别代表的数据集成信息，且所述多种异构数据源中任一数据源的所有数据集成信息在所述多层级的标签中均可找到对应的标签来代表。7.如权利要求5所述的方法，其特征在于：所述多层级的标签包括以下多个层级的标签，其中:第一层级包括以下标签中的一种或任意多种：“Catalog数据模型的实例化对象”、“存储系统信息”、“表信息”、“表统计信息”、“函数信息”、“关系型数据库分区信息”、“关系型数据库分区统计信息”；其中，所述“表信息”代表消息队列中的topic信息、数据库中的数据表信息以及搜索...
【专利技术属性】
技术研发人员：张鹏国，刘清炼，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。