大数据图谱分析方法及系统技术方案

本发明专利技术涉及一种大数据图谱分析方法及系统，利用不同的ETL脚本写入大数据分析的不同规则，然后利用多个脚本解析工具对其进行解析，从而对元数据进行了多层次多角度的要素分析，得到多维度的大数据分析库，然后根据需求以关联信息组的形式进行整体展示，从而得到多个维度不同的大数据图谱，不同的大数据图谱分别位于不同层面，且各图谱标签地址是固定的，使得各关联信息元组成一个立体式图谱，根据需求自定义调用相应的关联信息元进行展示（其余关联信息元则隐藏），从而得到一个立体式大数据图谱，通过以上操作，使得本方案得到的大数据图谱维度多、表现形式多样化且利用多个脚本解析工具进行多次分析使得数据颗粒度更细。

【技术实现步骤摘要】
大数据图谱分析方法及系统
本专利技术涉及大数据领域，具体涉及一种大数据图谱分析方法及系统。
技术介绍
数据图谱分析系统记载了对数据处理的整个过程，包括数据的起源和处理这些数据的所有后继操作。大数据图谱分析是指基于大数据背景下的海量数据图谱分析，就目前而言，大数据图谱分析一般是根据需求构建处理引擎，在固定处理引擎下对大数据进行分析，得到相应的分析结果然后进行展示，这就造成传统的传统画像维度单一，表现形式简单，数据粒度粗略。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种大数据图谱分析方法及系统，解决了传统大数据图谱画像维度单一，表现形式简单，数据粒度粗略的问题。本专利技术的目的是通过以下技术方案来实现的：一种大数据图谱分析方法，包括：1）从各生产数据库和分析数据库获取需要分析的元数据；2）配置多个脚本解析工具以及至少一个图谱配置引擎，以及多组ETL脚本，每一组ETL脚本包括至少两个或两个以上的ETL脚本，各ETL脚本均不相同；3）通过脚本解析工具分析每一组ETL脚本，并结本文档来自技高网...

【技术保护点】
1.一种大数据图谱分析方法，其特征在于，包括：/n1）从各生产数据库和分析数据库获取需要分析的元数据；/n2）配置多个脚本解析工具以及至少一个图谱配置引擎，以及多组ETL脚本，每一组ETL脚本包括至少两个或两个以上的ETL脚本，各ETL脚本均不相同；/n3）通过脚本解析工具分析每一组ETL脚本，并结合元数据，得到各生产数据库和分析数据库之间表和字段层级的多个关联信息组，每一个关联信息组包括多个关联信息元；/n4）将所有的关联信息元全部放入同一个图谱数据库中，以组为单位对每一个关联信息组建立一条独立的第一调用链路，同时对每一个关联信息元建立一条独立的第二调用链路；/n5）初始状态下，按关联信息组...

【技术特征摘要】
1.一种大数据图谱分析方法，其特征在于，包括：
1）从各生产数据库和分析数据库获取需要分析的元数据；
2）配置多个脚本解析工具以及至少一个图谱配置引擎，以及多组ETL脚本，每一组ETL脚本包括至少两个或两个以上的ETL脚本，各ETL脚本均不相同；
3）通过脚本解析工具分析每一组ETL脚本，并结合元数据，得到各生产数据库和分析数据库之间表和字段层级的多个关联信息组，每一个关联信息组包括多个关联信息元；
4）将所有的关联信息元全部放入同一个图谱数据库中，以组为单位对每一个关联信息组建立一条独立的第一调用链路，同时对每一个关联信息元建立一条独立的第二调用链路；
5）初始状态下，按关联信息组展示图形化的关联信息，通过图谱配置引擎调用不同的关联信息组进行图形化展示，以获得按ETL脚本分类的大数据图谱，各关联信息组形成的大数据图谱采用分层展示的结构进行展示；
或，自定义配置图谱配置引擎，通过第二调用链路调用相应的关联信息元进行图形化展示，以获得自定义大数据图谱。


2.根据权利要求1所述的大数据图谱分析方法，其特征在于，所述脚本解析工具是多个相同的脚本解析工具，用于提高ETL脚本解析速度；
或，所述脚本解析工具是多个彼此不同的脚本解析工具，用于获得不同的ETL脚本解析结果。


3.根据权利要求2所述的大数据图谱分析方法，其特征在于，所述5）通过springboot框架、Neo4j数据库和echarts构建数据字典和数据图谱展示页面以展示图形化的所述关联信息。


4.一种大数据图谱分析系统，用于实现权利要求1-3任一项所述的大数据图谱分析方法，其特征在于，该系统包括：
至少一个图谱配置引擎和多个脚本解析器，以及至少一个生产数据库和分析数据库，以及至少一个关联信息数据库；...

【专利技术属性】
技术研发人员：周道华，李武鸿，杨陈，周涛，曾俊，黄泓蓓，黄维，伏彦林，刘杰，王小腊，洪江，彭容，罗玉，周林，张明娟，许江泽，吴婷婷，詹飞，
申请(专利权)人：成都中科大旗软件股份有限公司，
类型：发明
国别省市：四川;51