一种基于数据编织架构的数据管理方法技术

本发明专利技术公开了一种基于数据编织架构的数据管理方法包括：构建主动元数据管理工具，形成元数据知识图谱，生成全景数据画像；基于业务经验及机器学习模型，对元数据进行深度挖掘，形成智能推荐引擎；以主动元数据为核心，使用AI人工智能和机器学习实现数据自动化编目，实现增强式数据服务目录；通过联邦查询、动态集成、数据编排技术，构建数据虚拟化引擎，实现全链路自助用数；构建DataOps数据研发和管理体系，实现敏捷和高质量的数据交付。本发明专利技术的业务用户可以直接使用数据分析结果并形成预测能力，无需重复进行复杂的数据科学工作，实现极致敏捷的数据交付，同时通过主动、智能、持续的数据治理让数据架构持续健康，提供比传统数据管理更多的价值。数据管理更多的价值。数据管理更多的价值。

【技术实现步骤摘要】
一种基于数据编织架构的数据管理方法


[0001]本专利技术涉及数据管理
，具体为一种基于数据编织架构的数据管理方法。

技术介绍

[0002]随着进入大数据时代，数据已成为一种新的生产资源，其价值日益凸显。组织对数据的需求变得更加多样化，海量数据可能驻留在分布式环境中的多个应用系统中，特别是随着大量半结构化、非结构化数据量的积累、外部数据源相关性的增加及混合多云环境的发展，组织的数据管理和应用过程充满了挑战，具体为：
[0003](1)激增的暗数据和数据孤岛
[0004]随着企业数据量激增和数据需求日趋复杂，越来越多数据技术(如数据仓库、数据湖、NoSQL数据库、OLAP数据库、实时数据源等)被引入，企业数据在物理上支离破碎，尤其是采用混合云&多云架构后更是加剧了这一问题。
[0005](2)日趋迟缓的需求交付
[0006]激增的企业数据、爆炸的业务需求、复杂的数据工程，让业务自助找数、用数变得日趋困难。
[0007](3)日益严峻的质量问题
[0008]越来越多的数据技术，让本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据编织架构的数据管理方法，其特征在于，包括：构建主动元数据管理工具，形成元数据知识图谱，生成全景数据画像；基于业务经验及机器学习模型，对元数据进行深度挖掘，形成智能推荐引擎；以主动元数据为核心，使用AI人工智能和机器学习实现数据自动化编目，实现增强式数据服务目录；通过联邦查询、动态集成、数据编排技术，构建数据虚拟化引擎，实现全链路自助用数；构建DataOps数据研发和管理体系，实现敏捷和高质量的数据交付。2.如权利要求1所述的基于数据编织架构的数据管理方法，其特征在于：所述构建主动元数据管理工具的步骤包括：与数据仓库、传统关系型数据库建立连接；使用自动化流水线的方式，配置元数据获取时间、获取对象及处理脚本，按配置定时获取制定一切与数据相关的元数据信息；基于获取的结果信息构建表、字段之间的关系映射，形成元数据资产；基于已有业务关系字典表，对元数据资产进行加工，建立表、字段、业务间关联关系，人工校核加工结果，形成元数据湖；使用Neo4j组件，对元数据湖中的数据图谱化展示，元数据间的血缘可通过人工干预的方式进行调优。3.如权利要求1和2所述的基于数据编织架构的数据管理方法，其特征在于：所述主动元数据包括元数据湖和数据流程自动化；所述元数据湖作为主动元数据的基石，包括技术元数据、业务元数据、操作元数据、社交元数据和一切发生在数据上和对数据做的一切的数据；所述流程自动化包括：自动采集数据分布信息，并对全域数据进行自动的敏感数据分类和业务分类，同时基于数据血缘进行实时扩散，实现分类分级的数据管理和合规治理策略。4.如权利要求1所述的基于数据编织架构的数据管理方法，其特征在于：所述知识图谱使用节点和边来表示所述数据信息以及这些信息之间的关系，通过AI/ML算法进行实体连接以及连接关系的量化，自动挖掘并建立起数据与数据、数据与用户、数据与业务语义之间的关联关系，形成语义知识图谱。5.如权利要求1所述的基于数据编织架构的数据管理方法，其特征在于：所述机器学习模型为随机森林算法，对元数据湖中的元数据信息进行模型训练、逻辑...

【专利技术属性】
技术研发人员：陈彬，萧展辉，徐欢，李辉，时燕，
申请(专利权)人：云南电网有限责任公司信息中心，
类型：发明
国别省市：