一种分析型数据口径管理方法、系统、设备及存储介质技术方案

本发明专利技术提供了一种分析型数据口径管理方法、系统、设备及存储介质，所述方法包括：获取数据分析加工代码，并根据预设的程序开发规约，从数据分析加工代码中提取数据处理逻辑脚本；对数据处理逻辑脚本进行语法解析，得到对应的数据口径加工脚本；对数据口径加工脚本进行关系解析，得到对应的字段口径信息；根据字段口径信息和预设的图论分析工具，构建口径关系网络图。本发明专利技术通过集“数据逻辑提取、脚本语法解析、数据关系网络图构建、动态数据口径监测与更新”为一体的自动化数据口径管理方法，实现数据口径的全局性直观存储展示及实时更新，有效解决现有数据口径在管理、设计、存储和表示等方面的应用缺陷，具有较高的应用价值。具有较高的应用价值。具有较高的应用价值。

【技术实现步骤摘要】
一种分析型数据口径管理方法、系统、设备及存储介质


[0001]本专利技术涉及大数据
，特别是涉及一种分析型数据口径管理方法、系统、计算机设备和存储介质。

技术介绍

[0002]大数据时代，企业业务的开展越来越重视业务数据中的隐含价值。而现有企业级数据计算与分析(OLAP)场景中，存在着因错综复杂的数据引用关系导致的数据口径设计和表示不清晰、不直观的问题；同时，受到异构复杂环境、管理成本高昂以及系统功能持续迭代等因素的制约，数据口径更是难以实现长期、全面且及时地更新保鲜，进而为业务分析人员或技术开发人员的合理有效使用数据造成诸多困扰。
[0003]现有的针对性解决方案除了手工设计管理数据口径外，主要为通过统一的研发过程管理平台把研发过程的代码结构化地存储下来，并随着平台的推广和积累，将大量数据口径沉淀下来应用的“研发过程结构化登记法”；然而，尽管研发过程结构化登记法可一定程度上实现企业级数据口径的存储和维护，但其必须与研发项目同步进行，不能脱离研发过程单独实施，且未实现对数据口径的全面直观展示，以及实时更新保鲜，并不能真正有效满足企业级数据计算与分析的应用需求。

技术实现思路

[0004]本专利技术的目的是提供一种分析型数据口径管理方法，通过对数据计算与分析应用加工场景的共性抽象，分析提取数据引用关系，并将解析得到的数据口径基于图技术进行全局性地直观存储，且基于数据口径的动态变更及时更新存储展示，有效解决现有数据口径在管理、设计、存储和表示等方面的应用缺陷，实现管理过程的工具化和自动化，提升管理效率，能真正有效满足企业级数据计算与分析的应用需求。
[0005]为了实现上述目的，有必要针对上述技术问题，提供了一种分析型数据口径管理方法、系统、计算机设备和存储介质。
[0006]第一方面，本专利技术实施例提供了一种分析型数据口径管理方法，所述方法包括以下步骤：
[0007]获取数据分析加工代码，并根据预设的程序开发规约，从所述数据分析加工代码中提取数据处理逻辑脚本；
[0008]对所述数据处理逻辑脚本进行语法解析，得到对应的数据口径加工脚本；
[0009]对所述数据口径加工脚本进行关系解析，得到对应的字段口径信息；
[0010]根据所述字段口径信息和预设的图论分析工具，构建口径关系网络图。
[0011]进一步地，所述根据所述字段口径信息和预设的图论分析工具，构建口径关系网络图步骤之后，还包括：
[0012]响应于所述数据分析加工代码的动态更新，判断所述动态更新是否满足预设口径更新条件，若满足，则更新所述口径关系网络图。
[0013]进一步地，所述数据处理逻辑脚本包括流程控制脚本和数据分析脚本；
[0014]所述根据预设的程序开发规约，从所述数据分析加工代码中提取数据处理逻辑脚本的步骤包括：
[0015]根据所述数据分析加工代码，得到对应的流程控制脚本类型和数据分析脚本类型；
[0016]根据所述流程控制脚本类型和数据分析脚本类型，分别获取对应的程序开发规约；所述程序开发规约包括程序结构、程序注释和特定分隔符；
[0017]根据所述程序开发规约，分别对数据分析加工代码进行文本解析，得到对应的流程控制脚本和数据分析脚本。
[0018]进一步地，所述对所述数据处理逻辑脚本进行语法解析，得到对应的数据口径加工脚本的步骤包括：
[0019]对所述数据处理逻辑脚本进行预处理，得到数据分析核心脚本；所述预处理包括特殊语法处理和非重点脚本处理；
[0020]通过预设的正则表达式，对所述数据分析核心脚本进行核心功能代码解析提取，得到所述数据口径加工脚本；所述数据口径加工脚本为包含所述数据分析核心脚本中SQL插入语句的脚本。
[0021]进一步地，所述对所述数据口径加工脚本进行关系解析，得到对应的字段口径信息的步骤包括：
[0022]通过语法分析工具，对所述数据口径加工脚本中的SQL插入语句进行相应的二维表关系解析和提取，得到对应的字段口径信息；所述语法分析工具包括SQL语法分析工具和类SQL语法分析工具。
[0023]进一步地，所述字段口径信息包括数据表、字段口径、表关系和注解；
[0024]根据所述字段口径信息和预设的图论分析工具，构建口径关系网络图的步骤包括：
[0025]将数据表、表关系、字段口径和注解分别作为图数据结构中的节点、边、属性和对应的属性扩展元素，并基于所述图论分析工具进行存储，得到所述口径关系网络图。
[0026]第二方面，本专利技术实施例提供了一种分析型数据口径管理系统，所述系统包括：
[0027]逻辑提取模块，用于获取数据分析加工代码，并根据预设的程序开发规约，从所述数据分析加工代码中提取数据处理逻辑脚本；
[0028]语法解析模块，用于对所述数据处理逻辑脚本进行语法解析，得到对应的数据口径加工脚本；
[0029]关系解析模块，用于对所述数据口径加工脚本进行关系解析，得到对应的字段口径信息；
[0030]关系图构建模块，用于根据所述字段口径信息和预设的图论分析工具，构建口径关系网络图。
[0031]进一步地，所述系统还包括：
[0032]关系图更新模块，用于响应于所述数据分析加工代码的动态更新，判断所述动态更新是否满足预设口径更新条件，若满足，则更新所述口径关系网络图。
[0033]第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在
存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0034]第四方面，本专利技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0035]上述本申请提供了一种分析型数据口径管理方法、系统、计算机设备及存储介质，通过所述方法，实现了获取数据分析加工代码，并根据预设的程序开发规约从数据分析加工代码中提取数据处理逻辑脚本，再对数据处理逻辑脚本进行语法解析得到对应的数据口径加工脚本，并对数据口径加工脚本进行关系解析得到对应的字段口径信息，以及根据字段口径信息和预设的图论分析工具，构建口径关系网络图的技术方案。与现有技术相比，该分析型数据口径管理方法，通过集“数据逻辑提取、脚本语法解析、数据关系网络图构建、动态数据口径监测与更新”为一体的自动化数据口径管理，实现数据口径的全局性直观存储展示及实时更新，有效解决现有数据口径在管理、设计、存储和表示等方面的应用缺陷，不仅实现了数据口径管理过程的工具化和自动化，而且极大提升了数据口径的管理效率，能真正有效满足企业级数据计算与分析的应用需求，具有较高的应用价值。
附图说明
[0036]图1是本专利技术实施例中分析型数据口径管理方法的应用框架示意图；
[0037]图2是本专利技术实施例中分析型数据口径管理方法的流程示意图；
[0038]图3是本专利技术实施例中口径关系网络图的展示示意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分析型数据口径管理方法，其特征在于，所述方法包括以下步骤：获取数据分析加工代码，并根据预设的程序开发规约，从所述数据分析加工代码中提取数据处理逻辑脚本；对所述数据处理逻辑脚本进行语法解析，得到对应的数据口径加工脚本；对所述数据口径加工脚本进行关系解析，得到对应的字段口径信息；根据所述字段口径信息和预设的图论分析工具，构建口径关系网络图。2.如权利要求1所述的分析型数据口径管理方法，其特征在于，所述根据所述字段口径信息和预设的图论分析工具，构建口径关系网络图步骤之后，还包括：响应于所述数据分析加工代码的动态更新，判断所述动态更新是否满足预设口径更新条件，若满足，则更新所述口径关系网络图。3.如权利要求1所述的分析型数据口径管理方法，其特征在于，所述数据处理逻辑脚本包括流程控制脚本和数据分析脚本；所述根据预设的程序开发规约，从所述数据分析加工代码中提取数据处理逻辑脚本的步骤包括：根据所述数据分析加工代码，得到对应的流程控制脚本类型和数据分析脚本类型；根据所述流程控制脚本类型和数据分析脚本类型，分别获取对应的程序开发规约；所述程序开发规约包括程序结构、程序注释和特定分隔符；根据所述程序开发规约，分别对数据分析加工代码进行文本解析，得到对应的流程控制脚本和数据分析脚本。4.如权利要求1所述的分析型数据口径管理方法，其特征在于，所述对所述数据处理逻辑脚本进行语法解析，得到对应的数据口径加工脚本的步骤包括：对所述数据处理逻辑脚本进行预处理，得到数据分析核心脚本；所述预处理包括特殊语法处理和非重点脚本处理；通过预设的正则表达式，对所述数据分析核心脚本进行核心功能代码解析提取，得到所述数据口径加工脚本；所述数据口径加工脚本为包含所述数据分析核心脚本中SQL插入语句的脚本。5.如权利要求1所述的分析型数据口径管理方法，其...

【专利技术属性】
技术研发人员：罗明明，温海林，黄凯，付渤钧，王立，
申请(专利权)人：广发银行股份有限公司，
类型：发明
国别省市：