一种数据治理管理系统技术方案

本发明专利技术提出了一种数据治理管理系统，包括：数据治理创建模块，用于创建数据流每个转换操作控件对应一个数据转换功能，并对输入控件赋值输入数据，运行数据治理创建模块，在数据治理过程中，数据被自动提取和加载，并根据转换操作控件进行处理，转换为相应的格式或结构供查询和分析，由输出控件得到的输出数据为数据流，并将其加载到数据中心中；数据治理编辑模块对数据中心中保存的数据流的信息进行编辑保存；数据治理删除模块对数据中心中保存的数据流的信息进行删除处理；数据治理管理模块对数据中心中保存的数据流提供数据运行功能，并提供数据流运行历史查询记录。本发明专利技术可以降低实施难度、降低实施成本、提高实施质量、提高实施效率。

A data governance management system

【技术实现步骤摘要】
一种数据治理管理系统
本专利技术涉及数据处理
，特别涉及一种数据治理管理系统。
技术介绍
现有的业务数据处理存在以下问题：数据分散在各业务系统、数据质量差，不完整、数据量大、数据格式及版本繁杂、历史数据缺失、无人了解源系统数据、统计口径不好确定、指标计算复杂。图1为简化ETL的示意图。ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。利用ETL工具可以对业务数据进行处理，但现有的其它ETL工具存在以下缺陷：采用功能繁多的转换组件进行开发；组件功能极为复杂，容易形成蛛网式流程；难以调试、排错及性能优化；缺少专门的运维界面，计划调度采用；操作系统命令，手工跑批需命令行；查看日志需打开生产环境的日志文件；如何解决上述业务系统中存在的问题，是当前需要解决的技术问题。
技术实现思路
本专利技术的目的旨在至少解决所述技术缺陷之一。为此，本专利技术的目的在于提出一种数据治理管理系统。为了实现上述目的，本专利技术的实施例提供一种数据治理管理系统，包括：数据治理创建模块，用于创建数据流，包括：设置输入控件、一个或多个转换操作控件、输出控件，在所述输入控件、一个或多个转换操作控件、输出控件之间建立顺序连接，其中，每个所述转换操作控件对应一个数据转换功能，并对所述输入控件赋值输入数据，运行所述数据治理创建模块，在数据治理过程中，数据被自动提取和加载，并根据所述转换操作控件进行处理，转换为相应的格式或结构供查询和分析，由所述输出控件得到的输出数据为数据流，并将其加载到数据中心中；数据治理编辑模块，用于对所述数据中心中保存的数据流的信息进行编辑保存；数据治理删除模块，用于对所述数据中心中保存的数据流的信息进行删除处理；数据治理管理模块，用于对所述数据中心中保存的数据流提供数据运行功能，并提供数据流运行历史查询记录。进一步，所述数据治理编辑模块还用于提供禁用或删除数据流功能，其中，执行禁用数据流，将会停止数据流自动更新设置的运行；执行删除数据流，该数据流将会从数据治理系统移除，但由其输出的数据仍然保留。进一步，每个所述数据流的信息包括：名称、连接器、所有者、行列数、图集数及最后更新时间。进一步，所述数据治理创建模块对输入控件进行赋值，赋值数据从预存的带有JDBC驱动的数据库或第三方云应用中获取。进一步，所述一个或多个转换操作控件包括：常量列、计算、列转行、连接列、日期计算、分组聚合、排序和累计、选择列、修改列类型、行转列、文本计算、过滤、删除重复项、替换文本、设置列值、文本格式化、值映射、合并、关联。进一步，所述数据治理管理模块对数据运行排序和累计功能，包括：对数据进行排序、累计与偏移操作，并对结果进行排序与分组展示。进一步，所述数据治理管理模块对数据运行值映射功能，包括：根据特定列中的值进行内容的匹配映射，对已有列进行值替换或创建新的列。进一步，所述数据治理管理模块对数据运行合并功能，包括：将来自多个数据集的具有相同数据结构和数据类型的行合并到一个数据集中，返回所有匹配项，包括重复行；如果数据结构不匹配，则创建新的列。进一步，所述数据治理管理模块对数据运行关联功能，包括：用特定列或列集的公共值，将两个数据集组合成一个数据集，其中，特定列必须存在于两个输入数据中，且具有相同的数据结构。进一步，所述多个转换操作控件的数据连接和数据抽取过程，采用SQL语句执行。根据本专利技术实施例的数据治理管理系统，采用先抽取源数据并加载到目标数据库后再进行清洗转换的ELT方式，充分利用数据库服务器自身的性能优势，通过异构数据抽取、转换脚本任务、作业控制流、计划调度、实时监控等核心服务引擎，开发人员只需要掌握基本的SQL语言就可以准确、高效的实现数据整合的开发和运维工作，可快速搭建包括数据迁移、数据标准化、数据同步、数据交换、数据仓库在内的一体化数据整合服务。本专利技术可以降低实施难度、降低实施成本、提高实施质量、提高实施效率。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的简化ETL的示意图；图2为根据本专利技术实施例的数据治理管理系统的结构图；图3为根据本专利技术实施例的数据中心的界面图；图4为根据本专利技术实施例的数据族谱的界面图；图5为根据本专利技术实施例的数据流的界面图；图6为根据本专利技术实施例的数据治理创建的界面图；图7为根据本专利技术实施例的查看数据流运行历史的界面图；图8为根据本专利技术实施例的数据输入的界面图；图9为根据本专利技术实施例的数据输出的界面图；图10为根据本专利技术实施例的分组聚合的界面图；图11为根据本专利技术实施例的排序累计的界面图；图12为根据本专利技术实施例的关联的界面图；图13为根据本专利技术实施例的实时监控的界面图；图14为根据本专利技术实施例的历史日志的界面图；图15为根据本专利技术实施例的数据质量剖析-分析报告的界面图。具体实施方式下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面对本专利技术中使用到的两个概念：数据和数据流，进行说明。本专利技术设置了数据中心，管理数据及数据流，数据中心分为两个选项，可以通过导航栏面板切换进行选择，如图3所示。(1)数据：查看和管理数据治理系统中的数据集。对于任何数据，都可以点击查看详情。1、字段和记录2、数据类型选择Excel中任意一个单元格，单击鼠标右键，在弹出的菜单中选择“设置单元格格式”，会出现“设置单元格格式”的对话框，。可以看到各种不同的数据类型，比如：数字、货币、会计专用、时间、百分比、文本等。可以归结为两大类：字符型数据和数值型数据。字符型数据是不具有计算能力的文本数据类型，它包括中文字、英文字、数字以及特殊字符等。数值型数据是直接使用自然数或度量单位进行计量的数值数据。是否能够用数学方法进行汇总和分析，是区分数据是否是数值型数据的重要依据。在数据治理系统中，数据类型的分类更加贴近用户的业务类型，比如：身份证、邮箱、手机号、省、市等更加便于理解，而且对于数值型的数据，可以进行智能统计，在之后的内容中会详细介绍。3、交叉表和列表对于数据分析最理想的方式是使用列表，因为列表的每一行记录都是完整的记录，而交叉表中每一行包含“字段”和“记录”两部分内容，因此并不适合提供数据分析使用。在数据治本文档来自技高网...

【技术保护点】
1.一种数据治理管理系统，其特征在于，包括：/n数据治理创建模块，用于创建数据流，包括：设置输入控件、一个或多个转换操作控件、输出控件，在所述输入控件、一个或多个转换操作控件、输出控件之间建立顺序连接，其中，每个所述转换操作控件对应一个数据转换功能，并对所述输入控件赋值输入数据，运行所述数据治理创建模块，在数据治理过程中，数据被自动提取和加载，并根据所述转换操作控件进行处理，转换为相应的格式或结构供查询和分析，由所述输出控件得到的输出数据为数据流，并将其加载到数据中心中；/n数据治理编辑模块，用于对所述数据中心中保存的数据流的信息进行编辑保存；/n数据治理删除模块，用于对所述数据中心中保存的数据流的信息进行删除处理；/n数据治理管理模块，用于对所述数据中心中保存的数据流提供数据运行功能，并提供数据流运行历史查询记录。/n

【技术特征摘要】
1.一种数据治理管理系统，其特征在于，包括：
数据治理创建模块，用于创建数据流，包括：设置输入控件、一个或多个转换操作控件、输出控件，在所述输入控件、一个或多个转换操作控件、输出控件之间建立顺序连接，其中，每个所述转换操作控件对应一个数据转换功能，并对所述输入控件赋值输入数据，运行所述数据治理创建模块，在数据治理过程中，数据被自动提取和加载，并根据所述转换操作控件进行处理，转换为相应的格式或结构供查询和分析，由所述输出控件得到的输出数据为数据流，并将其加载到数据中心中；
数据治理编辑模块，用于对所述数据中心中保存的数据流的信息进行编辑保存；
数据治理删除模块，用于对所述数据中心中保存的数据流的信息进行删除处理；
数据治理管理模块，用于对所述数据中心中保存的数据流提供数据运行功能，并提供数据流运行历史查询记录。


2.如权利要求1所述的数据治理管理系统，其特征在于，所述数据治理编辑模块还用于提供禁用或删除数据流功能，其中，执行禁用数据流，将会停止数据流自动更新设置的运行；执行删除数据流，该数据流将会从数据治理系统移除，但由其输出的数据仍然保留。


3.如权利要求1所述的数据治理管理系统，其特征在于，每个所述数据流的信息包括：名称、连接器、所有者、行列数、图集数及最后更新时间。


4.如权利要求1所述的数据治理管理系统，其特征在于，所述数据治理创建模块对输入控件进行赋值，赋值数据从预存的带有JDBC驱动的数据库...

【专利技术属性】
技术研发人员：李晓捷，张卫民，
申请(专利权)人：天津浪淘科技股份有限公司，
类型：发明
国别省市：天津;12