血缘分析方法、设备及存储介质技术

技术编号:43301730 阅读:21 留言:0更新日期:2024-11-12 16:17
本申请公开了一种血缘分析方法、设备及存储介质,涉及大数据治理技术领域,包括:动态脚本采集器从数据源采集待处理数据,并将所述待处理数据写入消息队列,其中,所述待处理数据包括脚本信息和执行方式;数据血缘分析器从所述消息队列读取所述待处理数据,并根据所述待处理数据的数据源类型,确定适用的数据血缘分析器处理类;所述数据血缘分析器处理类对所述待处理数据进行血缘分析,得到对应的血缘分析结果。旨在对多源异构数据进行血缘分析。

【技术实现步骤摘要】

本申请涉及大数据治理,尤其涉及血缘分析方法、设备及存储介质


技术介绍

1、数据血缘是指数据的全生命周期中,数据从产生、处理、加工、融合、流转到最终消亡,数据之间自然形成一种关系。

2、在相关技术中,数据库的日志文件记录了操作历史,包括数据的插入、更新和删除等操作。利用数据源厂商提供的数据库日志分析工具或其他专业工具,可以解析这些日志文件,从而获得数据血缘关系。

3、目前的血缘分析方法过于依赖于特定数据源厂商提供的工具,这导致了其应用范围局限于单一数据源的分析。然而,在数据治理过程中,业务数据的生命周期往往涉及到多源异构数据源,特别是在日志文件等方面,不同的数据源之间存在显著差异,因此,目前的方法无法对多源异构数据进行血缘分析。

4、上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。


技术实现思路

1、本申请的主要目的在于提供一种血缘分析方法、设备及存储介质,旨在解决无法对多源异构数据进行血缘分析的技术问题。

2、为实现上述目的,本申请提出本文档来自技高网...

【技术保护点】

1.一种血缘分析方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述动态脚本采集器从数据源采集待处理数据的步骤包括:

3.如权利要求1所述的方法,其特征在于,所述数据血缘分析器包括数据血缘分析器注册类,所述根据所述待处理数据的数据源类型,确定适用的数据血缘分析器处理类的步骤包括:

4.如权利要求3所述的方法,其特征在于,所述根据所述数据血缘分析器注册类,确定所述枚举值对应的所述数据血缘分析器处理类的步骤之前,还包括:

5.如权利要求3所述的方法,其特征在于,所述根据所述数据血缘分析器注册类,确定所述枚举值对应的所述...

【技术特征摘要】

1.一种血缘分析方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述动态脚本采集器从数据源采集待处理数据的步骤包括:

3.如权利要求1所述的方法,其特征在于,所述数据血缘分析器包括数据血缘分析器注册类,所述根据所述待处理数据的数据源类型,确定适用的数据血缘分析器处理类的步骤包括:

4.如权利要求3所述的方法,其特征在于,所述根据所述数据血缘分析器注册类,确定所述枚举值对应的所述数据血缘分析器处理类的步骤之前,还包括:

5.如权利要求3所述的方法,其特征在于,所述根据所述数据血缘分析器注册类,确定所述枚举值对应的所述数据血缘分析器处理类的步骤包括:

6.如权利要求1所述的方法,其特征在于,所述数据血缘分析器处理类对所述待处理数据进行血缘分析,得到对应的血缘分析...

【专利技术属性】
技术研发人员:朱润酥黄坛琴滕一帆
申请(专利权)人:深圳市智慧城市科技发展集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1