一种数据治理管理系统技术方案

本发明专利技术提出了一种数据治理管理系统，包括：数据治理创建模块，用于创建数据流每个转换操作控件对应一个数据转换功能，并对输入控件赋值输入数据，运行数据治理创建模块，在数据治理过程中，数据被自动提取和加载，并根据转换操作控件进行处理，转换为相应的格式或结构供查询和分析，由输出控件得到的输出数据为数据流，并将其加载到数据中心中；数据治理编辑模块对数据中心中保存的数据流的信息进行编辑保存；数据治理删除模块对数据中心中保存的数据流的信息进行删除处理；数据治理管理模块对数据中心中保存的数据流提供数据运行功能，并提供数据流运行历史查询记录。本发明专利技术可以降低实施难度、降低实施成本、提高实施质量、提高实施效率。

A data governance management system

【技术实现步骤摘要】
一种数据治理管理系统
本专利技术涉及数据处理
，特别涉及一种数据治理管理系统。
技术介绍
现有的业务数据处理存在以下问题：数据分散在各业务系统、数据质量差，不完整、数据量大、数据格式及版本繁杂、历史数据缺失、无人了解源系统数据、统计口径不好确定、指标计算复杂。图1为简化ETL的示意图。ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。利用ETL工具可以对业务数据进行处理，但现有的其它ETL工具存在以下缺陷：采用功能繁多的转换组件进行开发；组件功能极为复杂，容易形成蛛网式流程；难以调试、排错及性能优化；缺少专门的运维界面，计划调度采用；操作系统命令，手工跑批需命令行；查看日志需打开生产环境的日志文件；如何解决上述业务系统中存在的问题，是当前需要解决的技术问题。
技术实现思路
本专利技术的目的旨在至少解决所述技术缺陷之一。为此，本文档来自技高网...

【技术保护点】
1.一种数据治理管理系统，其特征在于，包括：/n数据治理创建模块，用于创建数据流，包括：设置输入控件、一个或多个转换操作控件、输出控件，在所述输入控件、一个或多个转换操作控件、输出控件之间建立顺序连接，其中，每个所述转换操作控件对应一个数据转换功能，并对所述输入控件赋值输入数据，运行所述数据治理创建模块，在数据治理过程中，数据被自动提取和加载，并根据所述转换操作控件进行处理，转换为相应的格式或结构供查询和分析，由所述输出控件得到的输出数据为数据流，并将其加载到数据中心中；/n数据治理编辑模块，用于对所述数据中心中保存的数据流的信息进行编辑保存；/n数据治理删除模块，用于对所述数据中心中保存的数...

【技术特征摘要】
1.一种数据治理管理系统，其特征在于，包括：
数据治理创建模块，用于创建数据流，包括：设置输入控件、一个或多个转换操作控件、输出控件，在所述输入控件、一个或多个转换操作控件、输出控件之间建立顺序连接，其中，每个所述转换操作控件对应一个数据转换功能，并对所述输入控件赋值输入数据，运行所述数据治理创建模块，在数据治理过程中，数据被自动提取和加载，并根据所述转换操作控件进行处理，转换为相应的格式或结构供查询和分析，由所述输出控件得到的输出数据为数据流，并将其加载到数据中心中；
数据治理编辑模块，用于对所述数据中心中保存的数据流的信息进行编辑保存；
数据治理删除模块，用于对所述数据中心中保存的数据流的信息进行删除处理；
数据治理管理模块，用于对所述数据中心中保存的数据流提供数据运行功能，并提供数据流运行历史查询记录。


2.如权利要求1所述的数据治理管理系统，其特征在于，所述数据治理编辑模块还用于提供禁用或删除数据流功能，其中，执行禁用数据流，将会停止数据流自动更新设置的运行；执行删除数据流，该数据流将会从数据治理系统移除，但由其输出的数据仍然保留。


3.如权利要求1所述的数据治理管理系统，其特征在于，每个所述数据流的信息包括：名称、连接器、所有者、行列数、图集数及最后更新时间。


4.如权利要求1所述的数据治理管理系统，其特征在于，所述数据治理创建模块对输入控件进行赋值，赋值数据从预存的带有JDBC驱动的数据库...

【专利技术属性】
技术研发人员：李晓捷，张卫民，
申请(专利权)人：天津浪淘科技股份有限公司，
类型：发明
国别省市：天津;12