大数据图谱分析方法及系统技术方案

本发明专利技术涉及一种大数据图谱分析方法及系统，利用不同的ETL脚本写入大数据分析的不同规则，然后利用多个脚本解析工具对其进行解析，从而对元数据进行了多层次多角度的要素分析，得到多维度的大数据分析库，然后根据需求以关联信息组的形式进行整体展示，从而得到多个维度不同的大数据图谱，不同的大数据图谱分别位于不同层面，且各图谱标签地址是固定的，使得各关联信息元组成一个立体式图谱，根据需求自定义调用相应的关联信息元进行展示（其余关联信息元则隐藏），从而得到一个立体式大数据图谱，通过以上操作，使得本方案得到的大数据图谱维度多、表现形式多样化且利用多个脚本解析工具进行多次分析使得数据颗粒度更细。

【技术实现步骤摘要】
大数据图谱分析方法及系统
本专利技术涉及大数据领域，具体涉及一种大数据图谱分析方法及系统。
技术介绍
数据图谱分析系统记载了对数据处理的整个过程，包括数据的起源和处理这些数据的所有后继操作。大数据图谱分析是指基于大数据背景下的海量数据图谱分析，就目前而言，大数据图谱分析一般是根据需求构建处理引擎，在固定处理引擎下对大数据进行分析，得到相应的分析结果然后进行展示，这就造成传统的传统画像维度单一，表现形式简单，数据粒度粗略。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种大数据图谱分析方法及系统，解决了传统大数据图谱画像维度单一，表现形式简单，数据粒度粗略的问题。本专利技术的目的是通过以下技术方案来实现的：一种大数据图谱分析方法，包括：1）从各生产数据库和分析数据库获取需要分析的元数据；2）配置多个脚本解析工具以及至少一个图谱配置引擎，以及多组ETL脚本，每一组ETL脚本包括至少两个或两个以上的ETL脚本，各ETL脚本均不相同；3）通过脚本解析工具分析每一组ETL脚本，并结合元数据，得到各生产数据库和分析数据库之间表和字段层级的多个关联信息组，每一个关联信息组包括多个关联信息元；4）将所有的关联信息元全部放入同一个图谱数据库中，以组为单位对每一个关联信息组建立一条独立的第一调用链路，同时对每一个关联信息元建立一条独立的第二调用链路；5）初始状态下，按关联信息组展示图形化的关联信息，通过图谱配置引擎调用不同的关联信息组进行图形化展示，以获得按ETL脚本分类的大数据图谱，各关联信息组形成的大数据图谱采用分层展示的结构进行展示；或，自定义配置图谱配置引擎，通过第二调用链路调用相应的关联信息元进行图形化展示，以获得自定义大数据图谱。本专利技术利用不同的ETL脚本写入大数据分析的不同规则，然后利用多个脚本解析工具对其进行解析，从而对元数据进行了多层次多角度的要素分析，得到多维度的大数据分析库，然后根据需求以关联信息组的形式进行整体展示，从而得到多个维度不同的大数据图谱，不同的大数据图谱分别位于不同层面，且各图谱标签地址是固定的，使得各关联信息元组成一个立体式图谱，根据需求自定义调用相应的关联信息元进行展示（其余关联信息元则隐藏），从而得到一个立体式大数据图谱，通过以上操作，使得本方案得到的大数据图谱维度多、表现形式多样化且利用多个脚本解析工具进行多次分析使得数据颗粒度更细。进一步的，所述脚本解析工具是多个相同的脚本解析工具，用于提高ETL脚本解析速度；或，所述脚本解析工具是多个彼此不同的脚本解析工具，用于获得不同的ETL脚本解析结果。进一步的，所述5）通过springboot框架、Neo4j数据库和echarts构建数据字典和数据图谱展示页面以展示图形化的所述关联信息。一种大数据图谱分析系统，用于实现大数据图谱分析方法，该系统包括：至少一个图谱配置引擎和多个脚本解析器，以及至少一个生产数据库和分析数据库，以及至少一个关联信息数据库；用于从所述生产数据库和分析数据库采集元数据的数据采集单元；用于大数据图谱展示的数据展示单元，以及调用链路映射单元；所述数据采集单元从生产数据库和分析数据库采集元数据，将其发送至脚本解析器分析ETL脚本，并结合元数据，得到各生产数据库和分析数据库之间表和字段层级的多个关联信息组，每一个关联信息组包括多个关联信息元；所述数据展示单元根据关联信息展示大数据图谱；所述调用链路映射单元建立每一个关联信息组到数据展示单元之间的第一调用链路，以及各关联信息元到数据展示单元之间的第二调用链路；所述图谱配置引擎根据自定义配置，调用相应的关联信息元或关联信息组在所述数据展示单元中进行大数据图谱展示。进一步的，所述关联信息数据库是Neo4j数据库。进一步的，所述数据采集单元还包括一个数据流向分析单元连接，所述脚本解析器在数据流向分析单元作用下分析ETL脚本。进一步的，还包括一个图形界面渲染模块，所述图形界面渲染模块与图谱配置引擎连接，用于设置大数据图谱的显示要素。进一步的，所述所述显示要素包括大数据图谱中单元标签的形状、颜色、以及连接关系。进一步的，每个关联信息组所形成的大数据图谱以分层方式进行展示，并通过所述图谱配置引擎进行展示切换。进一步的，所述数据采集单元还用于通过工作流管理平台Airflow对收集元数据的流程进行调度。本专利技术的有益效果是：和传统的大数据图谱相比，本专利技术得到的大数据图谱颗粒度更细，且维度多样化，表现形式包括立体和平面，且可以根据用户自定义配置展示不同的大数据图谱。附图说明图1为本专利技术流程示意图；图2为本专利技术系统框图。具体实施方式下面结合具体实施例进一步详细描述本专利技术的技术方案，但本专利技术的保护范围不局限于以下所述。如图1所示，一种大数据图谱分析方法，包括：1）从各生产数据库和分析数据库获取需要分析的元数据；2）配置多个脚本解析工具以及至少一个图谱配置引擎，以及多组ETL脚本，每一组ETL脚本包括至少两个或两个以上的ETL脚本，各ETL脚本均不相同；3）通过脚本解析工具分析每一组ETL脚本，并结合元数据，得到各生产数据库和分析数据库之间表和字段层级的多个关联信息组，每一个关联信息组包括多个关联信息元；4）将所有的关联信息元全部放入同一个图谱数据库中，以组为单位对每一个关联信息组建立一条独立的第一调用链路，同时对每一个关联信息元建立一条独立的第二调用链路；5）初始状态下，按关联信息组展示图形化的关联信息，通过图谱配置引擎调用不同的关联信息组进行图形化展示，以获得按ETL脚本分类的大数据图谱，各关联信息组形成的大数据图谱采用分层展示的结构进行展示；或，自定义配置图谱配置引擎，通过第二调用链路调用相应的关联信息元进行图形化展示，以获得自定义大数据图谱。可选的，一种大数据图谱分析方法，本专利技术所图形化展示的大数据图谱包括两种形式，一是以一个关联信息组为整体展示一个大数据图谱，另一种是自定义所要展示的关联信息元，在关联信息组为整体展示一个大数据图谱的方式下，各个关联信息组所形成的大数据图谱采用叠层的方式布置，相当形了多层大数据图谱，其中每一层大数据图谱中各图谱标签（也就是关联信息元所对应的图样）位置是固定，并根据该位置形成上述的独立的第二调用链路，换言之，在本方案各关联信息组所组成的大数据图谱组成了一个立体式的图谱册，其厚度可自主设计，使其表现形式多样化。在另一个方面，一种大数据图谱分析方法，当采用自定义关联信息元进行展示，根据图谱配置引擎调用相应的关联信息元进行展示，由于各关联信息元的地址是固定，未展示的关联信息元则被隐藏，该展示的结果就相当于是在立体式的图谱册选择性进行展示，得到的是一个立体效果的大数据图谱，个关联信息元之间再通过其相互关系连线，就得到了一个全新的立体式的大数据图谱。...

【技术保护点】
1.一种大数据图谱分析方法，其特征在于，包括：/n1）从各生产数据库和分析数据库获取需要分析的元数据；/n2）配置多个脚本解析工具以及至少一个图谱配置引擎，以及多组ETL脚本，每一组ETL脚本包括至少两个或两个以上的ETL脚本，各ETL脚本均不相同；/n3）通过脚本解析工具分析每一组ETL脚本，并结合元数据，得到各生产数据库和分析数据库之间表和字段层级的多个关联信息组，每一个关联信息组包括多个关联信息元；/n4）将所有的关联信息元全部放入同一个图谱数据库中，以组为单位对每一个关联信息组建立一条独立的第一调用链路，同时对每一个关联信息元建立一条独立的第二调用链路；/n5）初始状态下，按关联信息组展示图形化的关联信息，通过图谱配置引擎调用不同的关联信息组进行图形化展示，以获得按ETL脚本分类的大数据图谱，各关联信息组形成的大数据图谱采用分层展示的结构进行展示；/n或，自定义配置图谱配置引擎，通过第二调用链路调用相应的关联信息元进行图形化展示，以获得自定义大数据图谱。/n

【技术特征摘要】
1.一种大数据图谱分析方法，其特征在于，包括：
1）从各生产数据库和分析数据库获取需要分析的元数据；
2）配置多个脚本解析工具以及至少一个图谱配置引擎，以及多组ETL脚本，每一组ETL脚本包括至少两个或两个以上的ETL脚本，各ETL脚本均不相同；
3）通过脚本解析工具分析每一组ETL脚本，并结合元数据，得到各生产数据库和分析数据库之间表和字段层级的多个关联信息组，每一个关联信息组包括多个关联信息元；
4）将所有的关联信息元全部放入同一个图谱数据库中，以组为单位对每一个关联信息组建立一条独立的第一调用链路，同时对每一个关联信息元建立一条独立的第二调用链路；
5）初始状态下，按关联信息组展示图形化的关联信息，通过图谱配置引擎调用不同的关联信息组进行图形化展示，以获得按ETL脚本分类的大数据图谱，各关联信息组形成的大数据图谱采用分层展示的结构进行展示；
或，自定义配置图谱配置引擎，通过第二调用链路调用相应的关联信息元进行图形化展示，以获得自定义大数据图谱。


2.根据权利要求1所述的大数据图谱分析方法，其特征在于，所述脚本解析工具是多个相同的脚本解析工具，用于提高ETL脚本解析速度；
或，所述脚本解析工具是多个彼此不同的脚本解析工具，用于获得不同的ETL脚本解析结果。


3.根据权利要求2所述的大数据图谱分析方法，其特征在于，所述5）通过springboot框架、Neo4j数据库和echarts构建数据字典和数据图谱展示页面以展示图形化的所述关联信息。


4.一种大数据图谱分析系统，用于实现权利要求1-3任一项所述的大数据图谱分析方法，其特征在于，该系统包括：
至少一个图谱配置引擎和多个脚本解析器，以及至少一个生产数据库和分析数据库，以及至少一个关联信息数据库；...

【专利技术属性】
技术研发人员：周道华，李武鸿，杨陈，周涛，曾俊，黄泓蓓，黄维，伏彦林，刘杰，王小腊，洪江，彭容，罗玉，周林，张明娟，许江泽，吴婷婷，詹飞，
申请(专利权)人：成都中科大旗软件股份有限公司，
类型：发明
国别省市：四川;51