数据资产管理的方法和装置制造方法及图纸

技术编号:31306574 阅读:19 留言:0更新日期:2021-12-12 21:23
本发明专利技术公开了数据资产管理的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:获取数据集市中的所有生产任务,根据生产任务确定数据集市中各个数据表之间的第一关联关系;获取数据集市中各个数据表和各个应用模型之间的第二关联关系;依据第一关联关系和第二关联关系,构建数据集市的数据资产立体关系网络。该实施方式以数据表、生产任务和应用模型三者为核心构建数据集市的数据资产立体关系网络,能够确定数据表、生产任务、应用模型这三者之间的相互关联影响和依赖关系,展示数据的产生过程和对外使用情况,从而可以在数据异常时快速定位问题所在和影响范围,达到便于查看异常数据之间的相互依赖以及通知和告警的作用。警的作用。警的作用。

【技术实现步骤摘要】
数据资产管理的方法和装置


[0001]本专利技术涉及计算机
,尤其涉及一种数据资产管理的方法和装置。

技术介绍

[0002]众所周知,数据治理和数据质量是数据中台的两大核心职能工作,数据中台工作服务的数据集市作为一个部门级别的数据仓库,且从属于集团企业级数据仓库获取数据。上下游数据联动的主要方式为:在上游人工告知数据变动,下游人工梳理变动影响范围或通过简单的关键信息获取大概影响,部门通过统一收集技术人员个人经验或笔记进行团队知识沉淀和信息共享。
[0003]在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题:
[0004]对于数据是如何产生的,数据表、生产任务、重要应用这三者之间的相互关联影响和依赖关系无从知晓;无法直观获知从上游仓库输入的数据情和输出至下游集市的数据情况;不能实现统一的查询和分类管理,同时对于数据资产中的劣质或垃圾资产,无法即时识别和有效清除。

技术实现思路

[0005]有鉴于此,本专利技术实施例提供一种数据资产管理的方法和装置,以数据表、生产任务和应用模型三者为核心构建数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据资产管理的方法,其特征在于,包括:获取数据集市中的所有生产任务,根据所述生产任务确定所述数据集市中各个数据表之间的第一关联关系;获取所述数据集市中各个数据表和各个应用模型之间的第二关联关系;依据第一关联关系和第二关联关系,构建所述数据集市的数据资产立体关系网络。2.如权利要求1所述的方法,其特征在于,根据所述生产任务确定所述数据集市中各个数据表之间的第一关联关系,包括:获取并解析所述生产任务,以确定作为所述生产任务的源表的第一数据表和作为所述生产任务的目标表的第二数据表;以第一数据表和第二数据表中的其中一个为子、另一个为父形成数据表父子递归关系网络,得到所述数据集市中各个数据表之间的第一关联关系。3.如权利要求2所述的方法,其特征在于,解析所述生产任务,包括:对所述生产任务的执行代码进行分词处理,为每个分析建立唯一索引信息,得到所述生产任务的唯一索引序列;根据正则表达式规则从所述唯一索引序列中提取所述生产任务的源表和目标表。4.如权利要求3所述的方法,其特征在于,对所述生产任务的执行代码进行分词处理之前,还包括:对所述生产任务的执行代码进行标准化处理。5.如权利要求1-4任一所述的方法,其特征在于,还包括:获取所述数据集市中所有数据表、生产任务和应用模型的资产信息,将所述资产信息添加至所述数据资产立体关系网络中;所述资产信息包括以下至少之一:资产文件,存储位置,文件格式,存储路径,存储量,使用状态信息,资产质量信息更新信息。6.如权利要求1-4任一所述的方法,其特征在于,还包括:从所述数据集市的...

【专利技术属性】
技术研发人员:周奇博
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1