一种基于多维标签的数据质量检测方法和系统技术方案

本申请公开了一种基于多维标签的数据质量检测方法和系统。基于已知类型数据项和检测规则库、利用多维标签分析算法为已知类型数据项打上对应的维度标签，并利用维度标签动态调整已知类型数据项的质量检测流程；基于未知类型数据项并结合检测规则库，利用规则相似性评估算法为未知类型数据源推荐质量检测引擎，并对所述质量检测引擎的结果进行验证，获得有效质量检测规则集合；保存已知类型数据项的质量检测流程和有效质量检测规则集合并更新多维标签规则库。该方案通过多维标签算法和规则相似性评估两种算法，解决固定检测规则模板引起的准确性差和时效性弱等问题，实现数据质量的快速准确检测且及时反馈检测结果，提升数据源的质量。

【技术实现步骤摘要】
一种基于多维标签的数据质量检测方法和系统
本申请涉及数据处理
，具体涉及一种基于多维标签的数据质量检测方法和系统。
技术介绍
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力，才使得大数据成为海量、高增长率和多样化的信息资产。由于各地的大数据系统持续不断地接入不同行业，产生多种多样数据源行的原始数据，经过再加工处理，形成最终的信息资产。每种数据源的质量都是大数据系统能否发挥实效的基础，如何快速准确地检测出各种数据源是否存在质量问题，及时预警并提高数据源的质量，减少最终信息资产的脏数据比例，是大数据能否高效支撑业务办理的关键点。但是由于大数据系统接入的原始数据的种类多、结构复杂等特点，目前市场上现有的数据质量检测方法，主要通过对每个数据项手工设置检测规则模板，再进行数据质量检测工作，这些技术存在准确性差和时效性弱等问题。通过设置固定检测规则模板的方法，对已知类型的数据项进行检测，经常会遇到一些特殊业务场景下，规则无法灵活调整，无法有效地检测出数据质量问题，导致产生错误的检测结果。此外，当接入的数据源出现未知类本文档来自技高网...

【技术保护点】
1.一种基于多维标签的数据质量检测方法，其特征在于，所述方法包括：/nS1：利用大数据系统接入的各业务场景对原始数据，进行数据项的分类，将所述数据项分为已知类型数据项和未知类型数据项；/nS2：基于所述已知类型数据项和检测规则库、利用多维标签分析算法为所述已知类型数据项打上对应的维度标签，并利用所述维度标签动态调整所述已知类型数据项的质量检测流程；/nS3：基于未知类型数据项并结合所述检测规则库，利用规则相似性评估算法为未知类型数据源推荐质量检测引擎，并对所述质量检测引擎的结果进行验证，获得有效质量检测规则集合；以及/nS4：保存所述已知类型数据项的质量检测流程和所述有效质量检测规则集合并更新...

【技术特征摘要】
1.一种基于多维标签的数据质量检测方法，其特征在于，所述方法包括：
S1：利用大数据系统接入的各业务场景对原始数据，进行数据项的分类，将所述数据项分为已知类型数据项和未知类型数据项；
S2：基于所述已知类型数据项和检测规则库、利用多维标签分析算法为所述已知类型数据项打上对应的维度标签，并利用所述维度标签动态调整所述已知类型数据项的质量检测流程；
S3：基于未知类型数据项并结合所述检测规则库，利用规则相似性评估算法为未知类型数据源推荐质量检测引擎，并对所述质量检测引擎的结果进行验证，获得有效质量检测规则集合；以及
S4：保存所述已知类型数据项的质量检测流程和所述有效质量检测规则集合并更新多维标签规则库。


2.根据权利要求1所述的一种基于多维标签的数据质量检测方法，其特征在于，所述S2步骤中的所述多维标签分析算法具体包括以下子步骤：
S21：将所述已知类型数据项的业务类型和数据项类型结合所述检测规则库映射存储到检测规则数据集合Sn；
S22：将所述检测规则数据集合Sn根据不同规则类型拆分成必检集合Zm和可检集合Km,并分别根据检测顺序进行倒序排序，获得对应的倒序必检集合Z′m和倒序可检集合K′m；
S23：针对已知类型数据源的前数条记录遍历执行所述倒序必检集合Z′m的质量规则检测，获得所述倒序必检集合Z′m的结果异常数和检测数量，并计算出对应的异常比例，直至所述异常比例小于执行下步阀值，结束所述倒序必检集合Z′m的遍历操作；
S24：同理执行所述倒序可检集合K′m的质量规则检测，获得所述倒序可检集合K′m的结果异常数和检测数量，并计算出对应的异常比例，直至所述异常比例小于所述执行下步阈值，结束所述可检集合K′m的遍历操作，并更新所述倒序必检集合Z′m和所述倒序可检集合K′m。


3.根据权利要求1所述的一种基于多维标签的数据质量检测方法，其特征在于，在所述S3步骤中的规则相似性评估算法具体包括以下子步骤：
S31：随机提取所述检测规则库中检测规则集合An作为所述未知类型数据源的默认质量检测规则；
S32：针对所述未知类型数据源的前数条记录遍历执行所述检测规则集合An，并过滤小于设定阀值的所述未知类型数据项，获得有效检测结果集合Tm，基于所述有效检测结果集合Tm的序号过滤所述检测规则集合An，进而获得有效检测规则集合Am；
S33：利用关联规则库建立所述有效检测规则集合Am至对应数据项的倒排表，将所述有效检测规则集合下的数据项列表进行两两组合，计算每组存在交集的数据项组合的相似度，并存储到组合有效检测规则集合A′m的数据集中；
S34：响应于所述组合有效检测规则集合A′m中的相似度大于指定阀值，获得所述未知类型数据源的质量检测规则集合Ax。


4.根据权利...

【专利技术属性】
技术研发人员：林文楷，周成祖，乔赞瑞，王海滨，吴朝晖，齐战胜，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：福建;35