一种数据质量检查方法、检查装置、检查设备及存储介质制造方法及图纸

本申请公开一种数据质量检查方法、检查装置、检查设备及存储介质，可应用于金融领域或其他领域，方法包括：从应用系统数据库中确定待检查数据；应用系统数据库中存有应用系统运行过程中产生的数据；根据待检查数据的数据名称，从数据字典中确定待检查数据对应的数据标准；数据名称与数据标准在数据字典中是按照一一对应的关系进行保存的；将待检查数据和数据标准输入应用系统对应的数据质量检查模型，对待检查数据进行数据质量检查；从数据质量检查模型中获取待检查数据对应的数据质量检查结果；对于相同的数据使用相同的数据标准进行数据质量检查，进而保障了业务系统数据库中数据质量的一致性。质量的一致性。质量的一致性。

【技术实现步骤摘要】
一种数据质量检查方法、检查装置、检查设备及存储介质


[0001]本申请涉及数据处理领域，具体涉及一种数据质量检查方法、检查装置、检查设备及存储介质。

技术介绍

[0002]数据质量是企业有效管理业务数据的保障，对业务数据进行数据质量检查是保障数据质量的有效手段。
[0003]相关技术中，数据质量检查是由系统开发人员根据自身对数据标准的理解制定数据质量检查规则，并写入数据检查程序中，目前存在由于质量检查规则不一致导致数据的质量检查结果存在偏差的问题。

技术实现思路

[0004]本申请实施例提供了一种数据质量检查方法、检查装置、检查设备及存储介质，提高了应用系统中数据质量的一致性。
[0005]有鉴于此，本申请第一方面提供了一种数据质量检查方法，所述方法包括：
[0006]从应用系统数据库中确定待检查数据；所述应用系统数据库中存有应用系统运行过程中产生的数据；
[0007]根据所述待检查数据的数据名称，从数据字典中确定所述待检查数据对应的数据标准；所述数据名称与所述数据标准在所述数据字典中是按照一一对应的关系进行保存的；
[0008]将所述待检查数据和所述数据标准输入所述应用系统对应的数据质量检查模型，对所述待检查数据进行数据质量检查；
[0009]从所述数据质量检查模型中获取所述待检查数据对应的数据质量检查结果；所述数据质量检查结果用于描述所述待检查数据是否符合所述数据标准。
[0010]可选地，所述数据质量检查模型是通过如下方法训练的：
[0011]从所述应用系统数据库中采集训练数据，并从所述数据字典中获取所述训练数据对应的所述数据标准；
[0012]当所述训练数据满足所述数据标准时，将所述训练数据标记为合规数据，获得训练数据集；
[0013]基于所述训练集训练机器学习分类模型，获得所述数据质量检查模型。
[0014]可选地，所述方法进一步包括：
[0015]当所述数据字典更新时，基于更新后的所述数据字典，更新所述数据质量检查模型。
[0016]可选地，所述方法进一步包括：
[0017]设置数据质量检查周期；
[0018]所述将所述待检查数据和所述数据标准输入所述应用系统对应的数据质量检查
模型，对所述待检查数据进行数据质量检查包括：
[0019]每隔所述数据质量检查周期，将所述待检查数据和所述数据标准输入所述应用系统对应的数据质量检查模型，对所述待检查数据进行数据质量检查。
[0020]本申请第二方面提供了一种数据质量检查装置，所述装置包括：
[0021]数据确定单元，用于：从应用系统数据库中确定待检查数据；所述应用系统数据库中存有应用系统运行过程中产生的数据；
[0022]标准确定单元，用于：根据所述待检查数据的数据名称，从数据字典中确定所述待检查数据对应的数据标准；所述数据名称与所述数据标准在所述数据字典中是按照一一对应的关系进行保存的；
[0023]数据质量检查单元，用于：将所述待检查数据和所述数据标准输入所述应用系统对应的数据质量检查模型，对所述待检查数据进行数据质量检查；
[0024]结果获取单元，用于：从所述数据质量检查模型中获取所述待检查数据对应的数据质量检查结果；所述数据质量检查结果用于描述所述待检查数据是否符合所述数据标准。
[0025]可选地，所述装置进一步包括模型训练单元，用于：
[0026]从所述应用系统数据库中采集训练数据，并从所述数据字典中获取所述训练数据对应的所述数据标准；
[0027]当所述训练数据满足所述数据标准时，将所述训练数据标记为合规数据，获得训练数据集；
[0028]基于所述训练集训练机器学习分类模型，获得所述数据质量检查模型。
[0029]可选地，所述装置进一步包括模型更新单元，用于：
[0030]当所述数据字典更新时，基于更新后的所述数据字典，更新所述数据质量检查模型。
[0031]可选地，所述装置进一步包括周期确定单元，用于：
[0032]设置数据质量检查周期；
[0033]所述数据质量检查单元具体用于：
[0034]每隔所述数据质量检查周期，将所述待检查数据和所述数据标准输入所述应用系统对应的数据质量检查模型，对所述待检查数据进行数据质量检查。
[0035]本申请第三方面提供了一种数据质量检查设备，所述设备包括：存储器和处理器；
[0036]所述存储器，用于存储指令；
[0037]所述处理器，用于执行所述存储器中的所述指令，执行以上所述的方法。
[0038]本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码或指令，当其在计算机上运行时，使得所述计算机执行以上所述的方法。
[0039]从以上技术方案可以看出，本申请具有以下优点：本申请通过从应用系统数据库中确定待检查数据；应用系统数据库中存有应用系统运行过程中产生的数据；根据待检查数据的数据名称，从数据字典中确定待检查数据对应的数据标准；数据名称与数据标准在数据字典中是按照一一对应的关系进行保存的；在数据字典中存有每个数据对应的数据标准，基于这种数据标准的统一管理，提高了数据标准的一致性；将待检查数据和数据标准输入应用系统对应的数据质量检查模型，对待检查数据进行数据质量检查；从数据质量检查
模型中获取待检查数据对应的数据质量检查结果；数据质量检查结果用于描述待检查数据是否符合数据标准，对于相同的数据使用相同的数据标准进行数据质量检查，提高了数据质量检查规则的一致性，进而保障了业务系统数据库中数据质量的一致性。
附图说明
[0040]图1为本申请实施例提供的一种数据质量检查方法的流程图；
[0041]图2为本申请实施例提供的一种数据质量检查模型训练方法的流程图；
[0042]图3为本申请实施例提供的一种用于执行数据质量检查方法的系统架构图；
[0043]图4为本申请实施例提供的一种数据质量检查装置的结构图；
[0044]图5为本申请实施例提供的一种数据质量检查设备的结构图。
具体实施方式
[0045]下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。
[0046]参见图1所示，本申请实施例提供了一种数据质量检查方法，具体包括如下步骤：
[0047]步骤101：从应用系统数据库中确定待检查数据。
[0048]应用系统数据库中存有应用系统运行过程中产生的数据，当对应用系统数据库中存储的数据进行数据质量检查时，可以根据此次数据质量检查的实际需求，从应用系统数据库中确定出此次数据质量检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量检查方法，其特征在于，所述方法包括：从应用系统数据库中确定待检查数据；所述应用系统数据库中存有应用系统运行过程中产生的数据；根据所述待检查数据的数据名称，从数据字典中确定所述待检查数据对应的数据标准；所述数据名称与所述数据标准在所述数据字典中是按照一一对应的关系进行保存的；将所述待检查数据和所述数据标准输入所述应用系统对应的数据质量检查模型，对所述待检查数据进行数据质量检查；从所述数据质量检查模型中获取所述待检查数据对应的数据质量检查结果；所述数据质量检查结果用于描述所述待检查数据是否符合所述数据标准。2.根据权利要求1所述的方法，其特征在于，所述数据质量检查模型是通过如下方法训练的：从所述应用系统数据库中采集训练数据，并从所述数据字典中获取所述训练数据对应的所述数据标准；当所述训练数据满足所述数据标准时，将所述训练数据标记为合规数据，获得训练数据集；基于所述训练集训练机器学习分类模型，获得所述数据质量检查模型。3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：当所述数据字典更新时，基于更新后的所述数据字典，更新所述数据质量检查模型。4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：设置数据质量检查周期；所述将所述待检查数据和所述数据标准输入所述应用系统对应的数据质量检查模型，对所述待检查数据进行数据质量检查包括：每隔所述数据质量检查周期，将所述待检查数据和所述数据标准输入所述应用系统对应的数据质量检查模型，对所述待检查数据进行数据质量检查。5.一种数据质量检查装置，其特征在于，所述装置包括：数据确定单元，用于：从应用系统数据库中确定待检查数据；所述应用系统数据库中存有应用系统运行过程中产生的数据；标准确定单元，用于：根据所述待检查数据的数据名称，从数据字典中确定...

【专利技术属性】
技术研发人员：郭群，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：