一种基于图形数据库的元数据关系的构建方法技术

本发明专利技术公开了一种基于图形数据库的元数据关系的构建方法，其特征在于，包括以下步骤：S1，通过对各部门业务系统数据库表进行分析，并生成数据普查报告；S2，根据各业务系统特点及数据库版本，通过ETL工具对各个业务系统进行ETL任务配置；S3，将配置好的任务通过大数据平台进行注册、治理、调度操作。本发明专利技术基于JanusGraph图数据库构建元数据管理容器，提升在政务大规模数据管理与应用过程中元数据识别、建模、元数据关系管理与数据视图生成的效率与直观性，解决关系深度深时的元数据追溯问题慢，运行效率差，不能集群化部署，支持并发度低的问题。低的问题。低的问题。

【技术实现步骤摘要】
一种基于图形数据库的元数据关系的构建方法


[0001]本专利技术属于图形数据库
，尤其涉及一种基于图形数据库的元数据关系的构建方法。

技术介绍

[0002]为贯彻落实国家数字政府建设总体规划，加快推动数字政府建设，使政府职能逐步转变，从原先的管理方式转变为先进的服务方式。在政府职能转变过程中，必须打破现有政府部门之间的信息壁垒，不断推动政府数据开发共享、推动资源整合，提升治理能力。同时，政府部门通过建设省市县大数据中心方式，对各个部门使用的业务系统数据库进行集中整合，形成数据仓库对外开放共享。在数据仓库对外共享使用的过程中，存在数据标准不统一、数据关联关系不清晰等情况，导致很多共享数据变成问题元数据，造成数据共享效率低下，共享数据无法直接使用等问题。
[0003]当前广泛使用的元数据血缘关系构建主要以传统关系型数据库为主，虽然能够对元数据进行追溯，但在实际使用过程中存在一定的限制和缺陷。如首先无法追溯关系深度大于一定数据值的元数据，在对关系深度小于一定数据值的元数据进行追溯时，运行效率较差；其次，需要开发技术接口配合数据追溯，有比较高的技术门槛；再次，支持并发度较低，无法支撑高并发业务等。而政务类元数据更加强调对数据追溯的时效性与准确性，因此现有元数据血缘关系构建在政务数据应用上存在缺陷，无法有效支撑。

技术实现思路

[0004]针对现有技术不足，本专利技术的目的在于提供一种基于图形数据库的元数据关系的构建方法，基于JanusGraph图数据库构建元数据管理容器，提升在政务大规模数据管理与应用过程中元数据识别、建模、元数据关系管理与数据视图生成的效率与直观性，解决关系深度深时的元数据追溯问题慢，运行效率差，不能集群化部署，支持并发度低的问题。
[0005]本专利技术提供如下技术方案：一种基于图形数据库的元数据关系的构建方法，包括以下步骤：S1，通过对各部门业务系统数据库表进行分析，并生成数据普查报告；S2，根据各业务系统特点及数据库版本，通过ETL工具对各个业务系统进行ETL任务配置； S3，将配置好的任务通过大数据平台进行注册、治理、调度操作。将配置好的任务注册到大数据平台任务调度中心，对业务系统数据库进行采集。
[0006]优选的，在步骤S1中，所述数据库表分析步骤为：首先整理现有各部门业务系统数据库表结构，然后分析各业务系统字段之间的关联关系和真实的字段含义。
[0007]优选的，所述大数据平台包括数据治理平台、任务调度平台。
[0008]优选的，在步骤S2中，所述ETL工具用于对各业务系统数据进行采集，并将各个元数据与数据进行耦合，并将采集完成的元数据和数据通过所述数据治理平台对元数据进行管理。
[0009]优选的，所述数据治理平台对元数据进行管理的实现方式为：通过微服务方式对采集元数据进行数据关联，并将生成的关联关系直接写入到JanusGraph库。
[0010]优选的，所述任务调度平台用于对数据治理平台治理完成的数据进行数据仓库分层构建综合库或专题数据库。
[0011]优选的，所述任务调度平台在对数据进行调度过程中，数据流向通过日志组件将数据最终流向更新到JanusGraph库。
[0012]优选的，在步骤S3中，所述大数据平台包括还包括运维监控平台，用于实时监控任务采集情况。
[0013]优选的，所述日志组件包括系统日志、错误日志、中间表日志，所述系统日志用于记录对数据源和数据仓库的操作，系统日志记录的内容包括当前用户、系统时间、所做的操作以及用户总数目；所述错误日志用于在流程错误点产生时记录错误信息，错误日志可以帮助业务开发人员调试；所述中间表日志用于记录系统对数据转移过程中组建的创建信息、系统运行时间和运行周期以及在数据转换时程序的流程情况。显示数据是怎样从源数据库中抽取出来装载到目标数据库中的。
[0014]优选的，所述ETL工具的工作方式是通过先抽取再装载最后在系统仓库中进行数据转换的方式实现。即数据转换在数据装载之后。
[0015]与现有技术相比，本专利技术具有以下有益效果：(1)本专利技术一种基于图形数据库的元数据关系的构建方法，通过基于JanusGraph图数据库构建元数据管理容器，提升在政务大规模数据管理与应用过程中元数据识别、建模、元数据关系管理与数据视图生成的效率与直观性，解决关系深度深时的元数据追溯问题慢，运行效率差，不能集群化部署，支持并发度低的问题。
[0016](2)本专利技术一种基于图形数据库的元数据关系的构建方法，通过采用的ETL工具支持多类型关系或非关系数据库的采集，可进行多链路采集，能保证断点续传，不仅能对元数据进行采集也支持对数据的采集，且采集过程不需要复杂治理过程。
[0017](3)本专利技术一种基于图形数据库的元数据关系的构建方法，通过数据治理平台能对数据建立统一标准，检核数据质量，准确描述数据元属性，分析数据之间关联关系，形成数据资源目录，实现数据快速检索，和对数据全生命周期进行管理。
[0018](4)本专利技术一种基于图形数据库的元数据关系的构建方法，元数据追溯关系深度越大，本方法的优势越明显，在政务元数据管理应用过程中，数据的深度能够反映数据的价值，而处理数据深度也是构建元数据模型的基础，本专利技术基于JanusGraph图形数据库实现了对元数据的设计管理，能够成功追溯到源头业务系统数据，并且以图形的方式展示元数据之间的关系，展示效果更加直观、清晰。
附图说明
[0019]为了更清楚地说明本专利技术实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0020]图1为本专利技术的共晶磷去除方法的流程图。
[0021]图2为本专利技术的血缘关系图。
[0022]图3为本专利技术的ETL工作原理图。
具体实施方式
[0023]为使本专利技术实施方式的目的、技术方案和优点更加清楚，下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本专利技术一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0024]因此，以下对在附图中提供的本专利技术的实施方式的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施方式。基于本专利技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本专利技术保护的范围。
[0025]实施例1请参阅图1
‑
2所示，一种基于图形数据库的元数据关系的构建方法，包括以下步骤：S1，通过对各部门业务系统数据库表进行分析，并生成数据普查报告；S2，根据各业务系统特点及数据库版本，通过ETL工具对各个业务系统进行ETL 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图形数据库的元数据关系的构建方法，其特征在于，包括以下步骤：S1，通过对各部门业务系统数据库表进行分析，并生成数据普查报告；S2，根据各业务系统特点及数据库版本，通过ETL工具对各个业务系统进行ETL任务配置；S3，将配置好的任务通过大数据平台进行注册、治理、调度操作。2.根据权利要求1所述一种基于图形数据库的元数据关系的构建方法，其特征在于，在步骤S1中，所述数据库表分析步骤为：首先整理现有各部门业务系统数据库表结构，然后分析各业务系统字段之间的关联关系和真实的字段含义。3.根据权利要求1所述一种基于图形数据库的元数据关系的构建方法，其特征在于，所述大数据平台包括数据治理平台、任务调度平台。4.根据权利要求3所述一种基于图形数据库的元数据关系的构建方法，其特征在于，在步骤S2中，所述...

【专利技术属性】
技术研发人员：李良昆，岳正飞，杨融，高攀，
申请(专利权)人：正数网络技术有限公司，
类型：发明
国别省市：