基于数据血缘和热点的数据中台全域数据分析方法及系统技术方案

本发明专利技术公开了一种基于数据血缘和热点的数据中台全域数据分析方法及系统，涉及大数据处理技术领域，基于数据中台接入的系统数据资源，获取全域数据血缘关系；基于全域数据血缘关系，构建表级血缘可视化场景、字段级血缘可视化场景、热点表可视化场景、热点字段可视化场景和热点业务可视化场景；将所述数据血缘可视化场景和/或热点数据可视化场景进行展示，实现对数据中台全域数据的数据血缘分析和热点分析。本发明专利技术通过数据血缘可视化场景和热点数据可视化场景的建设，全方位、多角度展示数据中台全域数据资源，满足数据应用者在数据查询、使用方面的需求，提升数据中台数据资源管理能力，提高数据资源管理的实用性、可用性以及灵活性。及灵活性。及灵活性。

【技术实现步骤摘要】
基于数据血缘和热点的数据中台全域数据分析方法及系统


[0001]本专利技术涉及大数据处理
，更具体的说是涉及一种基于数据血缘和热点的数据中台全域数据分析方法及系统。

技术介绍

[0002]海量数据的积累为数据业务化、数据价值变现奠定了良好基础，但如何管理好数据，如何让数据发挥更大的价值，每个数据怎么用，每个数据怎么理解，如何基于已有的数据应用成果进行创新，都迫切需要了解数据的来龙去脉及其中的处理关系，才能支撑数据管理和数据应用向更高层次的发展。
[0003]随着数据中台建设的全面推进，为全面管好数据资源，实现数据资源地图化应用，因此充分应用大数据处理、语法分析等信息技术手段，将所有数据资源进行可视化管理是很有必要。并且为了解决各种数据问题，聚焦核心数据的管理能力提升，数据的血缘关系和热点分析将起到核心驱动作用，对数据流向追踪、业务问题排查、减少维护成本、提升开发效率等起着十分重要的作用。
[0004]因此，如何对数据资源进行可视化管理，实现数据流向追踪、问题排查等，是本领域技术人员亟需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于数据血缘和热点的数据中台全域数据分析方法及系统。
[0006]为了实现上述目的，本专利技术提供如下技术方案：
[0007]一种基于数据血缘和热点的数据中台全域数据分析方法，包括以下步骤：
[0008]步骤1、基于数据中台接入的系统数据资源，获取全域数据血缘关系；
[0009]步骤2、基于全域数据血缘关系，构建数据血缘可视化场景；
[0010]步骤3、基于全域数据血缘关系，构建热点数据可视化场景；
[0011]步骤4、将所述数据血缘可视化场景和/或热点数据可视化场景进行展示，实现对数据中台全域数据的数据血缘分析和热点分析。
[0012]可选的，所述步骤1中，获取全域数据血缘关系的方法为：
[0013]步骤1.1、基于数据中台接入的系统数据资源，提取全域数据的处理信息；
[0014]步骤1.2、利用语法分析工具处理关键字对数据的处理信息进行分块，形成逻辑子块；
[0015]步骤1.3、从逻辑子块中提取数据处理过程中的源、目标、处理逻辑、字段映射，形成表
‑
表关系映射、字段
‑
字段关系映射、数据访问热度统计数据。
[0016]可选的，所述步骤1.1中，全域数据的处理信息包括数据加工的存储过程、SQL日志和ETL信息。
[0017]可选的，所述步骤1.2中，语法分析工具处理关键字包括INSERT、SELECT、FROM、
WHERE。
[0018]可选的，所述步骤1.3中，数据访问热度统计数据包括数据中台全局应用访问表的记录、全局应用访问表字段记录、数据服务调用情况分析、数据的集中度、分布、冗余度。
[0019]可选的，所述步骤2中，基于全域数据血缘关系，构建数据血缘可视化场景的具体方法为：
[0020]步骤2.1、基于全域数据血缘关系中的表
‑
表关系映射，构建表级血缘可视化场景；所述表级血缘可视化场景提供表级血缘图，展示数据中台贴源层、共享层、分析层之间的数据加工链路关系；
[0021]步骤2.2、基于全域数据血缘关系中的字段
‑
字段关系映射，构建字段级血缘可视化场景；所述字段级血缘可视化场景提供字段级血缘图，展示数据中台实体表行级加工或列级加工的引用关系。
[0022]可选的，所述步骤3中，基于全域数据血缘关系，构建热点数据可视化场景的具体方法为：
[0023]基于全域数据血缘关系中的数据访问热度统计数据，构建热点数据可视化场景，包括热点表可视化场景、热点字段可视化场景、热点业务可视化场景。
[0024]可选的，所述热点表可视化场景，根据数据中台全局应用访问表的记录，展示热点表的表名、中文名及描述；
[0025]所述热点字段可视化场景，根据数据中台全局应用访问表字段记录，展示热点表字段的字段名、中文名及描述；
[0026]所述热点业务可视化场景，根据数据中台数据服务调用情况分析，展示热点应用的应用名称、描述及访问频次。
[0027]一种基于数据血缘和热点的数据中台全域数据分析系统，包括：
[0028]数据关系获取模块，用于基于数据中台接入的系统数据资源，获取全域数据血缘关系；
[0029]数据血缘可视化场景构建模块，用于基于全域数据血缘关系，构建数据血缘可视化场景；
[0030]热点数据可视化场景构建模块，用于基于全域数据血缘关系，构建热点数据可视化场景；
[0031]场景服务展示模块，用于将所述数据血缘可视化场景和/或热点数据可视化场景进行展示，实现对数据中台全域数据的数据血缘分析和热点分析。
[0032]经由上述的技术方案可知，与现有技术相比，本专利技术提供了一种基于数据血缘和热点的数据中台全域数据分析方法及系统，具有以下有益效果：
[0033]本专利技术通过数据血缘可视化场景和热点数据可视化场景的建设，全方位多角度展示数据中台全域数据资源，支撑数据管理者设计数据管理策略，辅助数据运营者掌握数据依赖影响，满足数据应用者在数据查询、使用方面的需求，从而有力提升数据中台数据资源管理能力，提高数据资源管理的实用性、可用性以及灵活性，带来更好的效率和效益，充分体现数据资源的价值。
附图说明
[0034]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0035]图1为本专利技术的方法原理示意图；
[0036]图2为本专利技术的系统模块示意图。
具体实施方式
[0037]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]本专利技术实施例公开了一种基于数据血缘和热点的数据中台全域数据分析方法，参见图1，包括以下环节：
[0039]一、获取全域数据血缘关系
[0040]基于数据中台接入的SIS、ERP、经营在线系统、燃料系统、安全系统等系统数据资源，提取全域数据的处理信息，包括数据加工的存储过程、SQL日志和ETL信息等；利用语法分析工具处理关键字(包括INSERT、SELECT、FROM、WHERE等)对数据的处理信息进行分块，形成逻辑子块；从逻辑子块中提取数据处理过程中的源、目标、处理逻辑、字段映射，形成表
‑
表关系映射、字段
‑
字段关系映射、数据访问热度统计数据。...

【技术保护点】

【技术特征摘要】
1.一种基于数据血缘和热点的数据中台全域数据分析方法，其特征在于，包括以下步骤：步骤1、基于数据中台接入的系统数据资源，获取全域数据血缘关系；步骤2、基于全域数据血缘关系，构建数据血缘可视化场景；步骤3、基于全域数据血缘关系，构建热点数据可视化场景；步骤4、将所述数据血缘可视化场景和/或热点数据可视化场景进行展示，实现对数据中台全域数据的数据血缘分析和热点分析。2.根据权利要求1所述的一种基于数据血缘和热点的数据中台全域数据分析方法，其特征在于，所述步骤1中，获取全域数据血缘关系的方法为：步骤1.1、基于数据中台接入的系统数据资源，提取全域数据的处理信息；步骤1.2、利用语法分析工具处理关键字对数据的处理信息进行分块，形成逻辑子块；步骤1.3、从逻辑子块中提取数据处理过程中的源、目标、处理逻辑、字段映射，形成表
‑
表关系映射、字段
‑
字段关系映射、数据访问热度统计数据。3.根据权利要求2所述的一种基于数据血缘和热点的数据中台全域数据分析方法，其特征在于，所述步骤1.1中，全域数据的处理信息包括数据加工的存储过程、SQL日志和ETL信息。4.根据权利要求2所述的一种基于数据血缘和热点的数据中台全域数据分析方法，其特征在于，所述步骤1.2中，语法分析工具处理关键字包括INSERT、SELECT、FROM、WHERE。5.根据权利要求2所述的一种基于数据血缘和热点的数据中台全域数据分析方法，其特征在于，所述步骤1.3中，数据访问热度统计数据包括数据中台全局应用访问表的记录、全局应用访问表字段记录、数据服务调用情况分析、数据的集中度、分布、冗余度。6.根据权利要求2所述的一种基于数据血缘和热点的数据中台全域数据分析方法，其特征在于，所述步骤2中，基于全域数据血缘关系，构建数据血...

【专利技术属性】
技术研发人员：吴菲，刘曙元，康芳，陈静，王天沅，张宏尉，徐遥，
申请(专利权)人：国能信控互联技术有限公司，
类型：发明
国别省市：