【技术实现步骤摘要】
大数据环境下实现数据治理的系统
本专利技术涉及数据资产管理领域，尤其涉及数据治理领域，具体是指一种大数据环境下实现数据治理的系统。
技术介绍
在当前数据量日益剧增的大背景下，政府和企业对数据服务和治理的需求非常迫切，总部和分部及子公司的数据管理松散，内部系统获取数据过于多样，管理方式多，没有统一的规范，无法实现共享，特别是对业务系统中数据管理、数据服务的提供以及如何高效、高价值的使用数据是当前需要解决的一个问题。数据服务共享平台定位于企业数据资源“纵向贯通”、“横向互联”的共享通道，使其成为企业、组织、部门的数据工厂，主要从安全管控、服务治理、服务消费、服务开发效率等系列问题入手，提供统一平台对多源、多类型数据进行统一的服务化管控，帮助企业更加有效、可靠的使用数据。其中，数据共享平台是处理数据交换的一种重要方式，是将数据规划整理后提供出去的一种管理方式，包括整个数据的流程和走向，通过有效的管理实现数据价值。目前，在政府和企业中对数据的使用，在各自的数据系统中通过多年的信息化建设和运营，企业已经建立了完善的业务...
【技术保护点】
1.一种大数据环境下实现数据治理的系统，其特征在于，所述的系统包括：/n环境初始化模块，用于提供数据共享平台搭建需满足的基本运行条件，即数据共享平台产品组件、安全性和硬件环境；/n数据共享设计模块，与所述的环境初始化模块相连接，包含架构层和核心场景及服务共享发布单元，所述的架构层和核心场景及服务共享发布单元均与环境初始化模块相连接，用于通过架构层对外提供服务；/n数据治理应用模块，与所述的数据共享设计模块相连接，用于建立数据共享集成平台，通过整合资源、作业管理、数据开发、数据使用、服务引擎管理、调度计划、统计监控、服务权限配置的功能实现数据交换以及提升数据。/n
【技术特征摘要】
1.一种大数据环境下实现数据治理的系统，其特征在于，所述的系统包括：
环境初始化模块，用于提供数据共享平台搭建需满足的基本运行条件，即数据共享平台产品组件、安全性和硬件环境；
数据共享设计模块，与所述的环境初始化模块相连接，包含架构层和核心场景及服务共享发布单元，所述的架构层和核心场景及服务共享发布单元均与环境初始化模块相连接，用于通过架构层对外提供服务；
数据治理应用模块，与所述的数据共享设计模块相连接，用于建立数据共享集成平台，通过整合资源、作业管理、数据开发、数据使用、服务引擎管理、调度计划、统计监控、服务权限配置的功能实现数据交换以及提升数据。
2.根据权利要求1所述的大数据环境下实现数据治理的系统，其特征在于，所述的数据共享平台产品组件包括管控平台、服务引擎、服务状态监控、可视化开发工具、传输代理、调度引擎、数据发布引擎和资源采集客户端。
管控平台，用于提供资源目录、数据开发、数据使用、服务引擎管理、调度计划、统计监控、服务权限配置的功能，对数据资源和服务资源统一注册管理；
服务引擎，用于批量作业模型解析、批量作业执行、文件传输服务，提供多协议、多数据源适配支持；
服务状态监控，用于提供日志解析及监控能力，对事前预警、事中告警、事后统计分析的功能提供后台支撑；
可视化开发工具，用于提供可视化批量作业模型定义与调试、可视化的模型性能监控、元数据管理和数据处理模型部署的功能；
传输代理，用于支持数据库、大数据等数据源的数据抽取，支持任意节点及任意大小文件一对一、一对多的传输，并支持文件传输策略；
调度引擎，用于支持作业与作业流的串行及并行调度，提供多种规则的调度，为作业和作业流运行提供多样化的调度方式；
数据发布引擎，用于提供数据服务发布及数据访问能力，支持单表、结果集的形式的实时接口服务发布；
资源采集客户端，用于实时采集各引擎所在物理机的CPU、内存、磁盘、网络的指标。
3.根据权利要求1所述的大数据环境下实现数据治理的系统，其特征在于，所述的环境初始化模块通过服务访问控制、数据...
【专利技术属性】
技术研发人员：徐明明，顾伟，丁雅娜，
申请(专利权)人：普元信息技术股份有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。