一种基于Hadoop的数据治理系统技术方案

本发明专利技术公开了一种基于Hadoop的数据治理系统，属于数据治理技术领域。本发明专利技术的基于Hadoop的数据治理系统包括数据源、数据治理规则配置模块、数据治理规则执行模块、数据交付模块、数据治理评估报告模块、日志模块和权限管理模块。数据源通过查询过滤条件，配置数据挖掘所需的数据；数据治理规则配置模块选择数据源中的数据进入数据挖掘计算；数据治理规则执行模块针对数据处理规则，对输入数据进行治理；数据交付模块使经过治理的数据与数据挖掘模型的输入类型匹配。该发明专利技术的基于Hadoop的数据治理系统能够解决数据挖掘、数据计算、数据分析过程中遇到的数据缺少、数据冗余、数据错误等异常情况，具有很好的推广应用价值。

【技术实现步骤摘要】
一种基于Hadoop的数据治理系统
本专利技术涉及数据治理
，具体提供一种基于Hadoop的数据治理系统。
技术介绍
随着社会的不断进步，社会经济飞速发展，同时带动着社会中各项工业的发展。计算机具有存储信息量大，使用者获取信息方便快捷等优点，受到广泛的应用，并且社会工业的发展离不开计算机的使用。计算机能够快速的整合各企业的相关数据，并能快速的处理企业已经发生的数据信息，为企业业务的稳定运营及正常发展提供基础。特别是随着经济的进一步发展，各个企业的数据量越来越多，如何能够正确的记录企业的数据具有重要的意义。但是，目前随着数据量的不断增多，在数据方面存在数据缺少、数据冗余、数据错误等异常情况，当出现上述情况时，数据的实用价值会大大降低，并且会影响企业的正常运营，具有很大的缺陷。
技术实现思路
本专利技术的技术任务是针对上述存在的问题，提供一种能够解决数据挖掘、数据计算、数据分析过程中遇到的数据缺少、数据冗余、数据错误等异常情况的基于Hadoop的数据治理系统。为实现上述目的，本专利技术提供了如下技术方案：一种基于Hadoop的数据治理系统，该系统包括数据源、数据治理规则配置模块、数据治本文档来自技高网...

【技术保护点】
1.一种基于Hadoop的数据治理系统，其特征在于：该系统包括数据源、数据治理规则配置模块、数据治理规则执行模块、数据交付模块、数据治理评估报告模块、日志模块和权限管理模块，数据源通过查询过滤条件，配置数据挖掘所需的数据；数据治理规则配置模块选择数据源中的数据进入数据挖掘计算；数据治理规则执行模块针对数据处理规则，对输入数据进行治理；数据交付模块使经过治理的数据与数据挖掘模型的输入类型匹配；数据治理评估报告模块给出应用数据治理规则后，与原始数据的差异性；日志模块用于记录数据挖掘过程产生的日志数据；权限管理模块用于控制用户的权限。

【技术特征摘要】
1.一种基于Hadoop的数据治理系统，其特征在于：该系统包括数据源、数据治理规则配置模块、数据治理规则执行模块、数据交付模块、数据治理评估报告模块、日志模块和权限管理模块，数据源通过查询过滤条件，配置数据挖掘所需的数据；数据治理规则配置模块选择数据源中的数据进入数据挖掘计算；数据治理规则执行模块针对数据处理规则，对输入数据进行治理；数据交付模块使经过治理的数据与数据挖掘模型的输入类型匹配；数据治理评估报告模块给出应用数据治理规则后，与原始数据的差异性；日志模块用于记录数据挖掘过程产生的日志数据；权限管理模块用于控制用户的权限。2.根据权利要求1所述的基于Hadoop的数据治理系统，其特征在于：所述数据源为结构化数据，结构化数据通过sql查询。3.根据权利要求1所述的基于Hadoop的数据治理系统，其特征在于：所述数据源为非结构化数据，非结构化数据通过关键字方式进行查询。4.根据权利要求1、2或3所述的基于Hadoop的数据治理系统，其特征在于：所述数据治理规则配置模块对数据源中的数据列配置对应的数据治理规则及其参数。5...

【专利技术属性】
技术研发人员：林贵绪，
申请(专利权)人：山东浪潮云信息技术有限公司，
类型：发明
国别省市：山东,37