本说明书提供一种数据治理方法、装置及电子设备，所述方法包括：获取对源数据进行数据质量评估检测得到的第一问题数据；从所述第一问题数据中提取预设数目的目标数据；对所述目标数据发起整改流程，直至所述目标数据满足预设的整改流程结束条件；重复以上步骤，直至对所述源数据进行数据质量评估检测得到的问题数据满足预设的数据治理结束条件，实现对与源数据的治理。数据的治理。数据的治理。
【技术实现步骤摘要】
数据治理方法、装置及电子设备
[0001]本说明书涉及计算机
，尤其涉及数据治理方法、装置及电子设备。
技术介绍
[0002]为了保证数据质量，需要对源数据进行治理。治理是指在得到源数据后，对源数据进行质量评估检测，选出其中不满足质量要求的问题数据进行整改的过程。
[0003]然而，当源数据的数据量较大时，问题数据也比较多，对整个源数据进行治理比较困难。
技术实现思路
[0004]为克服相关技术中存在的问题，本说明书提供了数据治理方法、装置及电子设备。
[0005]根据本说明书实施例的第一方面，提供一种数据治理方法，所述方法包括：
[0006]获取对源数据进行数据质量评估检测得到的第一问题数据；
[0007]从所述第一问题数据中提取预设数目的目标数据；
[0008]对所述目标数据发起整改流程，直至所述目标数据满足预设的整改流程结束条件；
[0009]重复以上步骤，直至对所述源数据进行数据质量评估检测得到的问题数据满足预设的数据治理结束条件。
[0010]可选的，所述整改流程结束条件包括所述目标数据全部被整改成功；所述对所述目标数据发起整改流程，直至所述目标数据满足预设的整改流程结束条件，包括：
[0011]对所述源数据中的所述目标数据进行整改，并对完成所述整改的源数据进行质量评估检测，得到第二问题数据；
[0012]在所述第二问题数据与所述目标数据不存在相同问题数据的情况下，结束针对所述目标数据的整改流程。
[0013]可选的，在所述得到第二问题数据之后，还包括：
[0014]在所述第二问题数据与所述目标数据存在相同问题数据的情况下，对所述相同问题数据进行整改。
[0015]可选的，所述整改流程结束条件包括所述目标数据中整改失败的数据包括经确认无法被整改的问题数据；
[0016]在得到第二问题数据之后，还包括：
[0017]在所述第二问题数据与所述目标数据存在相同问题数据的情况下，将所述相同问题数据发送至数据确认端；
[0018]在接收到所述数据确认端发送的无法整改的指示信息的情况下，结束针对所述目标数据的整改流程。
[0019]可选的，所述整改流程结束条件包括所述目标数据中整改失败的数据比例未达到第一预设比例；
[0020]在得到第二问题数据之后，还包括：
[0021]在所述第二问题数据与所述目标数据存在相同问题数据的情况下，根据所述相同问题数据确定整改失败数据比例；
[0022]在所述整改失败数据比例未达到第一预设比例的情况下，结束针对所述目标数据的整改流程。
[0023]可选的，所述根据所述相同问题数据确定整改失败数据比例，包括：
[0024]计算所述相同问题数据与所述第二问题数据的比值，得到所述整改失败数据比例；
[0025]或者，
[0026]计算所述相同问题数据与所述源数据的比值，得到所述整改失败数据比例。
[0027]可选的，所述目标数据存储在针对所述整改流程创建的第一数据表中；
[0028]在所述得到第二问题数据之后，还包括：
[0029]在所述第二问题数据与所述目标数据存在相同问题数据的情况下，将所述相同问题数据覆盖所述第一数据表中的所有数据；
[0030]在所述第二问题数据与所述目标数据不存在相同问题数据的情况下，删除所述第一数据表。
[0031]可选的，所述方法还包括：
[0032]将每次整改流程针对的目标数据进行汇总存储，得到汇总问题数据；
[0033]所述数据治理结束条件包括对所述源数据进行数据质量评估检测得到的问题数据为经确认无法被整改的问题数据；
[0034]所述重复以上步骤，直至对所述源数据进行数据质量评估检测得到的问题数据满足预设的数据治理结束条件，包括：
[0035]在结束一次整改流程后，获取对所述源数据进行数据质量评估检测得到的第三问题数据，以及所述汇总问题数据；
[0036]在所述汇总问题数据包含所述第三问题数据的情况下，结束对所述源数据的数据治理。
[0037]可选的，所述汇总问题数据存储在第二数据表中，所述第一问题数据存储在第三数据表中；
[0038]在所述获取对所述源数据进行数据质量评估检测得到的第三问题数据之后，还包括：
[0039]将所述第三问题数据覆盖所述第三数据表中的所有第一问题数据。
[0040]可选的，所述从所述第一问题数据中提取预设数目的目标数据，包括：
[0041]从所述第一问题数据中提取多组所述目标数据，其中，每组所述目标数据包括预设数目的第一问题数据；
[0042]所述对所述目标数据发起整改流程，直至所述目标数据满足预设的整改流程结束条件，包括：
[0043]对于每组目标数据，对所述目标数据发起整改流程，直至所述目标数据满足预设的整改流程结束条件。
[0044]根据本说明书实施例的第二方面，提供一种数据治理装置，包括：
[0045]数据获取模块，用于获取对源数据进行数据质量评估检测得到的第一问题数据；
[0046]数据确定模块，用于从所述第一问题数据中提取预设数目的目标数据；
[0047]数据整改模块，用于对所述目标数据发起整改流程，直至所述目标数据满足预设的整改流程结束条件；
[0048]数据治理模块，用于重复以上步骤，直至对所述源数据进行数据质量评估检测得到的问题数据满足预设的数据治理结束条件。
[0049]可选的，所述整改流程结束条件包括所述目标数据全部被整改成功；所述数据整改模块，具体用于：
[0050]对所述源数据中的所述目标数据进行整改，并对完成所述整改的源数据进行质量评估检测，得到第二问题数据；
[0051]在所述第二问题数据与所述目标数据不存在相同问题数据的情况下，结束针对所述目标数据的整改流程。
[0052]可选的，所述数据整改模块还用于：
[0053]在所述得到第二问题数据之后，在所述第二问题数据与所述目标数据存在相同问题数据的情况下，对所述相同问题数据进行整改。
[0054]可选的，所述整改流程结束条件包括所述目标数据中整改失败的数据包括经确认无法被整改的问题数据；
[0055]所述数据整改模块还用于：
[0056]在得到第二问题数据之后，在所述第二问题数据与所述目标数据存在相同问题数据的情况下，将所述相同问题数据发送至数据确认端；
[0057]在接收到所述数据确认端发送的无法整改的指示信息的情况下，结束针对所述目标数据的整改流程。
[0058]可选的，所述整改流程结束条件包括所述目标数据中整改失败的数据比例未达到第一预设比例；
[0059]所述数据整改模块还用于：
[0060]在得到第二问题数据之后，在所述第二问题数据与所述目标数据存在相同问题数据的情况下，根据所述相同问题数据确定整改失败数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据治理方法，其特征在于，包括：获取对源数据进行数据质量评估检测得到的第一问题数据；从所述第一问题数据中提取预设数目的目标数据；对所述目标数据发起整改流程，直至所述目标数据满足预设的整改流程结束条件；重复以上步骤，直至对所述源数据进行数据质量评估检测得到的问题数据满足预设的数据治理结束条件。2.根据权利要求1所述的方法，其特征在于，所述整改流程结束条件包括所述目标数据全部被整改成功；所述对所述目标数据发起整改流程，直至所述目标数据满足预设的整改流程结束条件，包括：对所述源数据中的所述目标数据进行整改，并对完成所述整改的源数据进行质量评估检测，得到第二问题数据；在所述第二问题数据与所述目标数据不存在相同问题数据的情况下，结束针对所述目标数据的整改流程。3.根据权利要求2所述的方法，其特征在于，在所述得到第二问题数据之后，还包括：在所述第二问题数据与所述目标数据存在相同问题数据的情况下，对所述相同问题数据进行整改。4.根据权利要求2所述的方法，其特征在于，所述整改流程结束条件包括所述目标数据中整改失败的数据包括经确认无法被整改的问题数据；在得到第二问题数据之后，还包括：在所述第二问题数据与所述目标数据存在相同问题数据的情况下，将所述相同问题数据发送至数据确认端；在接收到所述数据确认端发送的无法整改的指示信息的情况下，结束针对所述目标数据的整改流程。5.根据权利要求2所述的方法，其特征在于，所述整改流程结束条件包括所述目标数据中整改失败的数据比例未达到第一预设比例；在得到第二问题数据之后，还包括：在所述第二问题数据与所述目标数据存在相同问题数据的情况下，根据所述相同问题数据确定整改失败数据比例；在所述整改失败数据比例未达到第一预设比例的情况下，结束针对所述目标数据的整改流程。6.根据权利要求5所述的方法，其特征在于，所述根据所述相同问题数据确定整改失败数据比例，包括：计算所述相同问题数据与所述第二问题数据的比值，得到所述整改失败数据比例；或者，计算所述相同问题数据与所述源数据的比值，得到所述整改失败数据比例。7.根据权利要求2所述的方法，其特征在于，所述目标数据存储在针对所述整改流程创建的第一数据表中；在所述得到第二问题数据之后，还包括：在所述第二问题数据与所述目标数据存在相同问题数据的情况下，将所述相同问题数
据覆盖所述第一数据表中的所有...
【专利技术属性】
技术研发人员：范金岳，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。