表间冗余关系确定方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术提供一种表间冗余关系确定方法、装置、设备及可读存储介质。该方法包括：基于具有血缘关系的源表主键Id以及父表主键Id，得到血缘关系集合数据；遍历血缘关系集合数据，根据源表主键Id以及父表主键Id查询源表血缘字段主键Id以及父表血缘字段主键Id，并根据查询结果得到冗余明细表结果集合数据；遍历冗余明细表结果集合数据，在循环中确定与当前轮循环中的源表主键Id有相同父表主键Id的参照表主键Id；若当前轮循环中的源表主键Id与参照表主键Id对应的冗余字段占比大于预设比例，则确定两主键Id对应的数据表互为冗余表。通过本发明专利技术，实现了冗余表的自动识别，为数据治理提供了有力协助。力协助。力协助。

【技术实现步骤摘要】
表间冗余关系确定方法、装置、设备及可读存储介质


[0001]本专利技术涉及数据处理领域，尤其涉及一种表间冗余关系确定方法、装置、设备及可读存储介质。

技术介绍

[0002]在如今的大数据时代，数据的抽取、治理、管理等起到至关重要的作用。在数据治理中，会产生大量的数据表，这些大量的表中难免会出现一些数据来源或者结构来源相似的表，找出这些结构来源或者数据来源相似的冗余表，对数据治理将提供重要帮助。因此，亟需一种识别冗余表的方案。

技术实现思路

[0003]为实现上述目的，本专利技术提供一种表间冗余关系确定方法、装置、设备及可读存储介质。
[0004]第一方面，本专利技术提供一种表间冗余关系确定方法，所述表间冗余关系确定方法包括：
[0005]基于具有血缘关系的源表主键Id以及父表主键Id，得到血缘关系集合数据；
[0006]遍历血缘关系集合数据，根据源表主键Id以及父表主键Id查询源表血缘字段主键Id以及父表血缘字段主键Id，并根据查询结果得到冗余明细表结果集合数据；
[0007]遍历冗余明细表结果集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表间冗余关系确定方法，其特征在于，所述表间冗余关系确定方法包括：基于具有血缘关系的源表主键Id以及父表主键Id，得到血缘关系集合数据；遍历血缘关系集合数据，根据源表主键Id以及父表主键Id查询源表血缘字段主键Id以及父表血缘字段主键Id，并根据查询结果得到冗余明细表结果集合数据；遍历冗余明细表结果集合数据，在循环中确定与当前轮循环中的源表主键Id有相同父表主键Id的参照表主键Id；计算当前轮循环中的源表主键Id与参照表主键Id对应的冗余字段占比；若所述冗余字段占比大于预设比例，则确定当前轮循环中的源表主键Id对应的数据表与参照表主键Id对应的数据表互为冗余表。2.如权利要求1所述的表间冗余关系确定方法，其特征在于，所述计算当前轮循环中的源表主键Id与参照表主键Id对应的冗余字段占比的步骤包括：确定当前轮循环中的源表主键Id以及参照表主键Id的重复字段；计算所述重复字段的数量与当前轮循环中的源表主键Id对应的数据表的总字段数量的比值，得到冗余字段占比。3.如权利要求2所述的表间冗余关系确定方法，其特征在于，所述确定当前轮循环中的源表主键Id以及参照表主键Id的重复字段的步骤包括：确定当前轮循环中的源表主键Id对应的第一父表血缘字段主键Id集合；确定参照表主键Id对应的第二父表血缘字段主键Id集合；以第一父表血缘字段主键Id集合以及第二父表血缘字段主键Id集合的交集对应的父表血缘字段为重复字段。4.如权利要求1至3中任一项所述的表间冗余关系确定方法，其特征在于，在若所述冗余字段占比大于预设比例，则确定当前轮循环中的源表主键Id对应的数据表与参照表主键Id对应的数据表互为冗余表的步骤之后，还包括：关联存储所述冗余字段占比、当前轮循环中的源表主键Id以及参照表主键Id。5.一种表间冗余关系确定装置，其特征在于，所述表间冗余关系确定装置包括：第一构建模块，用于基于具有血缘关系的源表主键Id以及父表主键Id，得到血缘关系集合数据；第二构建模块，用...

【专利技术属性】
技术研发人员：彭书庆，甘相阳，邓泽生，
申请(专利权)人：中电云数智科技有限公司，
类型：发明
国别省市：