一种基于Atlas实现多维元数据联合查询的方法技术

本发明专利技术公开了一种基于Atlas实现多维元数据联合查询的方法，属于数据查询技术领域。本发明专利技术的基于Atlas实现多维元数据联合查询的方法创建自定义的Atlas type，根据自定义的Atlas type进行分类存储，并根据分类存储后的内容进行分类查询及联合检索。该发明专利技术的基于Atlas实现多维元数据联合查询的方法不需要改动底层的Atlas服务模块的源代码，即能够很好的实现底层服务的扩展，大大缩减开发成本及故障率，具有很好的推广应用价值。具有很好的推广应用价值。具有很好的推广应用价值。

【技术实现步骤摘要】
一种基于Atlas实现多维元数据联合查询的方法


[0001]本专利技术涉及数据查询
，具体提供一种基于Atlas实现多维元数据联合查询的方法。

技术介绍

[0002]随着云时代的来临，面对海量且持续增加的各式各样的数据对象，越来越难知道哪些数据从哪里来以及它如何随时间而变化情况。采用Hadoop必须考虑数据管理的实际情况，元数据与数据治理成为企业级数据湖的重要部分。Atlas用于管理共享元数据、数据分级、审计、安全性以及数据保护等方面，努力与Apache Ranger整合，用于数据权限控制策略。Apache Atlas是hadoop的数据治理和元数据框架，它提供了一个可伸缩和可扩展的核心基础数据治理服务集，使得企业可以有效的和高效的满足Hadoop中的合规性要求，并允许与整个企业的数据生态系统集成。
[0003]然而，在实际使用中会经常遇到需要多维元数据联合查询的情景，现在Atlas服务自身是没有提供此项服务内容的，Atlas服务仅提供创建单一元数据type，不支持多种type进行联合查询，无法解决跨type联合查询的情形，如根据数据库的元数据信息进行联合检索其下属数据表的元数据信息，根据数据表的元数据信息反向查询其归属库的元数据信息；或者，根据数据库的元数据信息直接跨级查询其下属数据列的各项元数据信息等场景，此类情形均为常见的一些用户情形，在日常处理中经常使用代码进行分层查询并分层过滤处理，给开发者带来了很大的开发工作量也给项目管理者带来了很大的开发成本问题，急需一种可通过动态扩展的方式来解决此问题。

技术实现思路

[0004]本专利技术的技术任务是针对上述存在的问题，提供一种不需要改动底层的Atlas服务模块的源代码，即能够很好的实现底层服务的扩展，大大缩减开发成本及故障率的基于Atlas实现多维元数据联合查询的方法。
[0005]为实现上述目的，本专利技术提供了如下技术方案：
[0006]一种基于Atlas实现多维元数据联合查询的方法，创建自定义的Atlas type，根据自定义的Atlas type进行分类存储，并根据分类存储后的内容进行分类查询及联合检索。
[0007]作为优选，该基于Atlas实现多维元数据联合查询的方法包括以下步骤：
[0008]S1、部署Hadoop生态下的Atlas服务；
[0009]S2、编写自定义的type信息，包含但不限于元数据ID、元数据名称、元数据类型、元数据创建时间、元数据修改时间、元数据创建用户；
[0010]S3、调用Apache atlas服务的自定义type的RestAPI创建上述type；
[0011]S4、调用Apache atlas服务的保存数据的RESTAPI进行数据库的元数据信息、数据表的元数据信息、数据列的元数据信息的保存；
[0012]S5、调用对应的RESTAPI来进行将上述步骤所采集到的数据库、schema、数据表、数
据列的元数据内容，分别写入到定义的数据库、schema、数据表、数据列的Type类型及实体中；
[0013]S6、调用Apache atlas服务的数据查询RESTAPI，并插入对应的联合检索参数进行检索查询后返回结果数据。
[0014]作为优选，步骤S1中，部署Atlas依赖的基础服务，包括服务注册中心Zookeeper、权限管理服务Ranger、分布式文件存储系统HDFS、分布式列数据库Hbase、图数据库janusgraph。
[0015]作为优选，步骤S2中，数据库元数据可扩展元数据数据库名称、元数据数据库类型、元数据数据库地址信息。
[0016]作为优选，数据表元数据可扩展元数据数据表名称、元数据数据表中文名称、元数据数据表描述、元数据数据表安全等级、元数据数据表所属数据库ID、元数据数据表所属数据库类型、元数据数据表所属数据源ID、元数据数据表所属数据库类型、元数据数据表所属数据源ID、元数据数据表版本信息、元数据数据表标签值、元数据数据表是否主标注信息。
[0017]作为优选，数据列元数据可扩展元数据数据列名称、元数据数据列中文名称、元数据数据列描述、元数据数据列长度、元数据数据列精度、元数据数据列类型、元数据数据列所挂载的模型标准ID、元数据数据列所挂载的数据字典ID、元数据数据列数据格式、元数据数据列安全等级、元数据数据列所属数据表的ID、元数据数据列所属数据源类型、元数据数据列所属数据源ID信息。
[0018]作为优选，步骤S3中，调用方式为POST方式，传入对应参数创建对应type格式，若成功则返回成功标志并返回创建成功后的type格式，不成功则进行排查修正后再进行尝试。
[0019]作为优选，步骤S4中，不同的元数据信息如数据库元数据信息、数据表元数据信息、数据列元数据信息在保存时会按照不同的层级分别进行保存。
[0020]作为优选，步骤S5中，将对应的各类元数据内容写入到Atlas中，Atlas底层采用的janusgraph图数据作为存储引擎，Hbase作为存储介质，Solr服务或ElasticSearch作为检索引擎，对其中各类元数据信息进行增删改查操作。
[0021]作为优选，步骤S6中，根据传入的查询条件组装适用于自定义的Atlas type的查询语句进行查询。如根据元数据库信息进行检索下属元数据表信息时可以根据元数据库信息为传入参数、区分信息列为检索目标类型(数据表类型，对应常量值为“table”)即可实现联合检索查询到目标数据集。
[0022]与现有技术相比，本专利技术的基于Atlas实现多维元数据联合查询的方法具有以下突出的有益效果：所述基于Atlas实现多维元数据联合查询的方法基于使用底层Atlas服务所提供的RESTAPI方式进行自定义ApacheAtlas type的方式，很好实现了底层服务的扩展，不需要改动底层的Atlas服务模块的源代码即可实现，大大缩减了开发成本及故障率。本专利技术还通过基于自定义type的方式实现一套二维表的存储机制，很好的保存了所有的各类元数据信息并实现了能按照输入的查询条件进行多维联合的查询，适用于多种需要进行多维元数据联合查询的情景，具有良好的推广应用价值。
附图说明
[0023]图1是本专利技术所述基于Atlas实现多维元数据联合查询的方法的流程图。
具体实施方式
[0024]下面将结合附图和实施例，对本专利技术的基于Atlas实现多维元数据联合查询的方法作进一步详细说明。
[0025]实施例
[0026]本专利技术的基于Atlas实现多维元数据联合查询的方法，创建自定义的Atlastype，根据自定义的Atlas type进行分类存储，并根据分类存储后的内容进行分类查询及联合检索。首先，由于Apache Atlas服务支持自定义type的方式，所以可以通过调用Apache Atlas服务提供的REST API接口来实现自定义type的目的，所以需要进行编写的自定义的type信息并调用对应的R本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Atlas实现多维元数据联合查询的方法，其特征在于：该方法创建自定义的Atlas type，根据自定义的Atlas type进行分类存储，并根据分类存储后的内容进行分类查询及联合检索。2.根据权利要求1所述的基于Atlas实现多维元数据联合查询的方法，其特征在于：包括以下步骤：S1、部署Hadoop生态下的Atlas服务；S2、编写自定义的type信息，包含但不限于元数据ID、元数据名称、元数据类型、元数据创建时间、元数据修改时间、元数据创建用户；S3、调用Apache atlas服务的自定义type的RestAPI创建上述type；S4、调用Apache atlas服务的保存数据的RESTAPI进行数据库的元数据信息、数据表的元数据信息、数据列的元数据信息的保存；S5、调用对应的RESTAPI来进行将上述步骤所采集到的数据库、schema、数据表、数据列的元数据内容，分别写入到定义的数据库、schema、数据表、数据列的Type类型及实体中；S6、调用Apache atlas服务的数据查询RESTAPI，并插入对应的联合检索参数进行检索查询后返回结果数据。3.根据权利要求2所述的基于Atlas实现多维元数据联合查询的方法，其特征在于：步骤S1中，部署Atlas依赖的基础服务，包括服务注册中心Zookeeper、权限管理服务Ranger、分布式文件存储系统HDFS、分布式列数据库Hbase、图数据库janusgraph。4.根据权利要求3所述的基于Atlas实现多维元数据联合查询的方法，其特征在于：步骤S2中，数据库元数据可扩展元数据数据库名称、元数据数据库类型、元数据数据库地址信息。5.根据权利要求4所述的基于Atlas实现多维元数据联合查询的方法，其特征在于：数据表元数据可扩展元数据数据表名称、元数据数据表中文名称、元数据数据表描述、元数据...

【专利技术属性】
技术研发人员：张睿智，朱亚静，张金波，翟盛龙，吴万里，王东伟，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：