基于Hadoop的大数据治理装置制造方法及图纸

本发明专利技术公开了一种基于Hadoop的大数据治理装置，包括：数据治理信息管理模块，用于维护各数据源的数据治理操作信息；数据源选择模块，用于对导入大数据平台的数据进行治理操作；数据预览模块，用于从结构化数据库的角度展示各数据表的基本信息；元数据管理模块，用于向用户多维度呈现数据表中的元数据信息；数据质量管理模块，用于查看数据表中各字段的具体缺失信息，并设置相应的填充规则以完成缺失信息的填充；多源数据融合模块，用于将多个数据源的多张数据表进行再次融合汇总，以得到新的数据表后，对新的数据表进行进一步分析。该装置利用大数据组件完成多个功能模块，为后续的分析和查询提供高可靠的数据基础。

【技术实现步骤摘要】
基于Hadoop的大数据治理装置
本专利技术涉及数据处理
，特别涉及一种基于Hadoop的大数据治理装置。
技术介绍
目前，随着大数据技术及相关应用的普及，数据已经成为除了人力、实物、财务、技术、知识产权和关系之外的另一种重要资产。通过对已有数据进行分析，企业可以更加了解近期的运营情况、用户使用情况等，以便更加精准地优化企业的运营。但是，目前条件下由于对企业数据的真实情况并不了解，分析人员需要花费大量时间学习业务数据库文档或者咨询业务人员，并且数据准备工作还需要专门的数据工程师做ETL，容易导致交付的速度跟不上，中间过程中还容易出现问题。随着信息装置建设发展到一定阶段,数据资源将成为战略资产,而有效的数据治理才是数据资产形成的必要条件。有效的数据治理对于确保数据的准确、适度分享和保护至关重要。随着企业对数据治理环节的逐渐重视，已经出现了一些商用的数据治理装置，主要包含元数据管理、数据标准管理、数据质量管理等功能模块相关技术中，包括以下技术方案：(1)定义元数据；导入所述元数据；对所述元数据进行治理和分析，得到分析结果；至少根据所述分析结果得到元数据图谱。(2)首先提出独立于应用本文档来自技高网...

【技术保护点】
1.一种基于Hadoop的大数据治理装置，其特征在于，包括：数据治理信息管理模块，用于维护各数据源的数据治理操作信息，并且提供治理操作的复制功能；数据源选择模块，用于对导入大数据平台的数据进行治理操作，且支持结构化数据库的MySQL数据源类型和Hive数据源类型的治理操作；数据预览模块，用于从所述结构化数据库的角度展示各数据表的基本信息；元数据管理模块，用于向用户多维度呈现数据表中的元数据信息；数据质量管理模块，用于查看所述数据表中各字段的具体缺失信息，并设置相应的填充规则以完成所述缺失信息的填充；以及多源数据融合模块，用于将多个数据源的多张数据表进行再次融合汇总，以得到新的数据表后，对所述新...

【技术特征摘要】
1.一种基于Hadoop的大数据治理装置，其特征在于，包括：数据治理信息管理模块，用于维护各数据源的数据治理操作信息，并且提供治理操作的复制功能；数据源选择模块，用于对导入大数据平台的数据进行治理操作，且支持结构化数据库的MySQL数据源类型和Hive数据源类型的治理操作；数据预览模块，用于从所述结构化数据库的角度展示各数据表的基本信息；元数据管理模块，用于向用户多维度呈现数据表中的元数据信息；数据质量管理模块，用于查看所述数据表中各字段的具体缺失信息，并设置相应的填充规则以完成所述缺失信息的填充；以及多源数据融合模块，用于将多个数据源的多张数据表进行再次融合汇总，以得到新的数据表后，对所述新的数据表进行进一步分析。2.根据权利要求1所述的基于Hadoop的大数据治理装置...

【专利技术属性】
技术研发人员：鄂海红，宋美娜，白杨，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11