一种数据资产运营效能评估方法及系统技术方案

技术编号:39164443 阅读:28 留言:0更新日期:2023-10-23 15:04
本发明专利技术公开了一种数据资产运营效能评估方法,包括采集数据源导入至数据库,对入库后的数据进行提取并进行存储,并对标记的元数据更新记录进行修正或审核后正式注册;在元数据生成、注册过程中,元数据与亲缘管理模块向全域事件消息队列发送元数据注册消息,数据治理模块、数据应用模块及数据资产运营效能分析报告模块各自接收消息通知并执行相应动作或更新自身数据;已跟踪、计算获得全域数据的元数据信息、亲缘谱系信息及各类指标,通过量化及自动化手段,降低了数据资产运营活动的资源投入,同时在提高资产运营策略准确性、针对性的前提下,极大提高了其工作的整体效率。极大提高了其工作的整体效率。极大提高了其工作的整体效率。

【技术实现步骤摘要】
一种数据资产运营效能评估方法及系统


[0001]本专利技术属于数据处理
,具体涉及一种数据资产运营效能评估方法及系统。

技术介绍

[0002]如何充分利用数据资产和专家经验对数据展开有效、高效的资产运营活动,是众多以数据为核心的企业面临的巨大挑战。在实际的生产实践中,数据资产运营方面的工作通常全程都由数据管理相关部门的专家完成,涉及大量的前期数据分析、存储模型设计、系统建设、效果评估及系统修正等等。根据数据资产的整体复杂性、覆盖范围、丰富度以及相关领域专家经验积累的情况,数据资产运营的工作周期也从若干月至长期持续不等,对资产运营的活动跟踪,效果评估缺乏更为高效的手段或工具支撑,并且业界在此领域也无相对标准的实践经验参考。因此数据资产运营效能的评估一直以来均投入资源巨大,但回报相对较低,缺乏量化手段支撑。
[0003]泛金融机构(以下简称机构)在充分借助数字技术开展业务的同时,采集和存储数据的能力都在急速扩张,并在过程中沉淀了大量原始数据资源,实现了“业务数据化”。然而,掌握大量原始数据本身并不能使机构自身在市场竞争中处于不败之地。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据资产运营效能评估方法,其特征在于,方法包括如下步骤:采集数据源导入至数据库,对入库后的数据进行提取并进行存储,并对标记的元数据更新记录进行修正或审核后正式注册;在元数据生成、注册过程中,元数据与亲缘管理模块向全域事件消息队列发送元数据注册消息,数据治理模块、数据应用模块及数据资产运营效能分析报告模块各自接收消息通知并执行相应动作或更新自身数据;已跟踪、计算获得全域数据的元数据信息、亲缘谱系信息及各类指标,数据资产运营效能分析报告模块据此在不同的粒度上出具相应的分析结果,并整合输出评估结论。2.根据权利要求1所述的一种数据资产运营效能评估方法,其特征在于,在数据治理模块中,对数据执行集成类、加工类及分析类处理,在数据应用模块中,对数据以API及SDK形式进行封装后对外进步提供服务,数据在存储计算的不同层次架构间流通并最终应用步骤包括:建立所有字段间的亲缘二元组,根据字段类型或业务需要计算信息损耗率指标MR
IL
;跟踪记录所有字段的上下游字段,并串接形成所有字段的处理链,并由此计算字段链复杂度指标M
CC
,字段的最终链复杂度取其经历的各路径对应链复杂度的最大值;对所有字段的处理动作,跟踪记录节点活跃度指标M
A
,在一个特定时长的观察周期内或单位时间内,针对某库表的特定字段,计算其经历的处理波次数量;根据字段级活跃度指标及由处理链获取的亲缘谱系数据,计算亲缘差异活跃比指标MR
DAL
,亲缘差异活跃比指标MR
DAL = Max{M
A,1~n
}/N
Acc
,其中n为除终止节点外的节点数,M
A
为节点活跃度指标,N
Acc
为节点的处理或访问次数;对上述所有过程中产生的数据库表,进行周期性静态分析,并计算所有质量类指标。3.根据权利要求2所述的一种数据资产运营效能评估方法,其特征在于,分析临接上下游字段时,类SQL操作通过类SQL语法分析及字段提取技术,非SQL类操作通过系统操作识别,最终结合元数据存储匹配,生成临接处理链并串接为完整处理链,遍历所有处理链,计算所有字段的扇入指标M
FI
及扇出指标M
FO
。4.根据权利要求3所述的一种数据资产运营效能评估方法,其特征在于,根据处理链及各表元数据信息,计算域间资产覆盖率指标MR
CDAC
,域间资产覆盖率指标MR
CDAC
的计算包括首先将不同的计算存储层次架构称为不同的域,数据的所属域利用标签技术进行标记,同时标签用于对数据信息进行描述。5.根据权利要求2所述的一种数据资产运营效能评估方法,其特征在于,质量类指标包括空值率指标MR
N
,针对字段,计算在表中,空值率指标MR
N1
=C
NF
/C
A
,其中C
NF
为计算在表中字段出现空值的次数,C
A
为表中记录总数,针对表,表空值率MR
N2
=Sum(C
NF
)/(C
A
*N
F
),其中Sum(C
NF
)为对所有字段的空值次数求和数,N
F
为表字段数,C
A
为表中记录总数。6.根据权利要求5所述的一种数据资产运营效能评估方法,其特征在于,质量类指标包括误值率指标MR
WR
,字段误值率指标MR
WR1
=C
NF
/C
A
,其中C
NF
为计算在表中字段出现误值的次数,C
A
为表中记录总数,表误值率MR
WR2
...

【专利技术属性】
技术研发人员:齐宁周云松王治平茅天天王子青华伟
申请(专利权)人:江苏省联合征信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1