一种数据治理方法、系统、设备及存储介质技术方案

本发明专利技术涉及数据治理技术领域，涉及一种数据治理方法、系统、设备及存储介质；其中，一种数据治理方法，包括：获取原始业务数据；将原始业务数据分布式存储至数据库的指定位置，并将原始业务数据的数据格式转换为统一结构模型，得到整合后的业务数据；监测数据库管理系统对数据库的操作，当监测到数据库管理系统对数据库执行表结构变更操作时，采集数据库内业务数据的图需求信息，并根据图需求信息构建业务数据的数据血缘图；对整合后的业务数据和数据血缘图加密处理，完成对原始业务数据的处理。本发明专利技术可以提高用户对业务数据的分析和管理的便捷性。

【技术实现步骤摘要】

本专利技术涉及数据治理技术的领域，尤其涉及一种数据治理方法、系统、设备及存储介质。

技术介绍

1、随着大数据时代的深入发展，数据治理技术已成为企业实现数据资产化管理的核心支撑。当前主流的数据治理体系普遍采用分层架构设计，典型如ibm infosphere、informatica mdm等商业解决方案，以及基于dama-dmbok理论构建的标准化框架，数据治理体系的典型架构通常包含以下核心模块：数据源层(集成结构化/非结构化多源数据)、数据采集/抽取模块(含格式预处理)、数据存储层(数据仓库/湖)、元数据管理与质量监控模块(实施完整性/准确性校验)、安全权限模块(含加密与访问控制)，以及上层数据应用服务。

2、虽然现有架构在基础数据处理层面已形成成熟范式，但在实际应用中仍存在显著的技术瓶颈：其一，模块间采用刚性接口设计，导致架构耦合度过高，难以适配物联网时代动态扩展的异构数据源(如流式数据与边缘节点数据)；其次，数据质量监控多采用t+1批处理模式，无法满足金融风控等场景的实时异常检测需求；最后，安全控制模块与应用层权限体系缺乏协同机制，难以构建跨本文档来自技高网...

【技术保护点】

1.一种数据治理方法，其特征在于，所述方法包括：

2.如权利要求1所述的数据治理方法，其特征在于，所述获取原始业务数据，包括：

3.如权利要求1所述的数据治理方法，其特征在于，图需求信息包括业务数据的操作日志事件和数据流路径；节点对应的属性包括表名、字段名、文件路径、数据类型、数据来源和数据格式中的至少一个。

4.如权利要求1至3中任意一项所述的数据治理方法，其特征在于，所述方法还包括：实时监测数据库中的业务数据，识别并修复数据库中的异常数据。

5.如权利要求4所述的数据治理方法，其特征在于，所述实时监测数据库中的业务数据，识别并修复数据库...

【技术特征摘要】

1.一种数据治理方法，其特征在于，所述方法包括：

2.如权利要求1所述的数据治理方法，其特征在于，所述获取原始业务数据，包括：

3.如权利要求1所述的数据治理方法，其特征在于，图需求信息包括业务数据的操作日志事件和数据流路径；节点对应的属性包括表名、字段名、文件路径、数据类型、数据来源和数据格式中的至少一个。

4.如权利要求1至3中任意一项所述的数据治理方法，其特征在于，所述方法还包括：实时监测数据库中的业务数据，识别并修复数据库中的异常数据。

5.如权利要求4所述的数据治理方法，...

【专利技术属性】
技术研发人员：李映瀛，刘富阔，杜会锋，
申请(专利权)人：数字重庆大数据应用发展有限公司，
类型：发明
国别省市：