基于记录级血缘关系的数据影响分析方法、存储介质及设备技术

本发明专利技术公开一种基于记录级血缘关系的数据影响分析方法、存储介质及设备，通过在元数据血缘关系的基础上，构建更细粒度的数据记录级血缘关系，可以弥补字段级别的元数据血缘关系的不足。在数据治理过程中的影响分析场景中，通过数据记录级的血缘关系的链路，能全面、准确定位到产生数据质量问题的记录，对数据质量问题的溯源工作，而且还可以通过量化的方式形成影响分析报告，对数据变更影响工作的决策以及上下游协同工作的开展起到重要的作用。以及上下游协同工作的开展起到重要的作用。以及上下游协同工作的开展起到重要的作用。

【技术实现步骤摘要】
基于记录级血缘关系的数据影响分析方法、存储介质及设备


[0001]本专利技术属于数据处理
，具体涉及一种基于记录级血缘关系的数据影响分析方法、存储介质及设备。

技术介绍

[0002]在数据治理领域中，数据通过复杂的数据流转过程，从上游表流向下游表，从上游表的数据记录经过各种复杂的规则处理输出到下游表。某个表数据的变更必定会影响其下游库表，导致下游库表需要进行同步调整，否则数据就会出现不一致性。在实施同步调整之前，我们需要先进行影响分析，评估数据变更对下游整个数据链路的影响程度，业务覆盖情况等，以辅助决策数据变更工作的开展。在实际的数据流转过程中，不同的数据流转环节即上下游，可能由不同的厂商负责，因此影响分析在数据治理领域中就变得十分必要和重要。
[0003]在数据处理的过程中，数据流转过程的长度深度以及数据处理规则的复杂度，直接导致影响分析的难度。数据治理人员需要做大量的数据链路跟踪工作，才能比较全面的掌握受影响的情况。在数据治理领域里，目前通常是将影响分析纳入元数据管理的范畴，通过元数据的血缘关系，进行影响分析。元数据的血缘关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于记录级血缘关系的数据影响分析方法，其特征在于，包括：S1、构造元数据血缘关系，包括构建某数据库中库表间的映射关系及字段间的映射关系：S2、选定所述数据库中上游表数据记录特征因子；S3、生成上游表数据记录特征值；S4、融合上游表数据记录特征值并记录至下游表记录中；S5、基于所述数据记录特征值构造出数据记录级血缘关系；S6、根据所述数据记录级血缘关系确定受影响的链路并找出所述链路上的各库表；S7：对找出的所述链路上的各库表的对象数据进行统计分析。2.根据权利要求1所述的基于记录级血缘关系的数据影响分析方法，其特征在于，步骤S1中，通过构建一个库表血缘关系维表记录所述库表间的映射关系；通过构建一个字段血缘关系维表记录所述字段间的映射关系。3.根据权利要求2所述的基于记录级血缘关系的数据影响分析方法，其特征在于，所述库表血缘关系维表包括上游表名和下游表名信息。4.根据权利要求3所述的基于记录级血缘关系的数据影响分析方法，其特征在于，所述字段血缘关系维表包括上游表名、上游表字段名、下游表名和目标字段名信息。5.根据权利要求3所述的基于记录级血缘关系...

【专利技术属性】
技术研发人员：龚波，苏学武，水军，杨刚，苏文辉，温杰峰，
申请(专利权)人：珠海市新德汇信息技术有限公司，
类型：发明
国别省市：