定位异常数据的异常起源的方法和装置制造方法及图纸

本发明专利技术公开了一种定位异常数据的异常起源的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：把叶节点的数据与相应预处理层节点的数据作比较，当某个预处理层节点与其对应的叶节点不一致，则确定该预处理层节点为异常起源并返回；当异常数据不大于基准值，则检查除预处理层节点之外的各中间节点的完整情况，当某个中间节点不完整，则确定该中间节点为异常起源并返回；检查除预处理层节点之外的各中间节点的口径与异常数据的标准口径是否一致，若某个中间节点的口径与异常数据的口径不一致，则确定该中间节点为异常起源并返回。该实施方式能够有效规避人为误差，降低对数据异常处理者的要求并且快速高效。

Methods and devices for abnormal origin of locating abnormal data

The invention discloses a method and device for locating abnormal origin of abnormal data, which relates to the field of computer technology. \u8be5\u65b9\u6cd5\u7684\u4e00\u5177\u4f53\u5b9e\u65bd\u65b9\u5f0f\u5305\u62ec\uff1a\u628a\u53f6\u8282\u70b9\u7684\u6570\u636e\u4e0e\u76f8\u5e94\u9884\u5904\u7406\u5c42\u8282\u70b9\u7684\u6570\u636e\u4f5c\u6bd4\u8f83\uff0c\u5f53\u67d0\u4e2a\u9884\u5904\u7406\u5c42\u8282\u70b9\u4e0e\u5176\u5bf9\u5e94\u7684\u53f6\u8282\u70b9\u4e0d\u4e00\u81f4\uff0c\u5219\u786e\u5b9a\u8be5\u9884\u5904\u7406\u5c42\u8282\u70b9\u4e3a\u5f02\u5e38\u8d77\u6e90\u5e76\u8fd4\u56de\uff1b\u5f53\u5f02\u5e38\u6570\u636e\u4e0d\u5927\u4e8e\u57fa\u51c6\u503c\uff0c\u5219\u68c0\u67e5\u9664\u9884\u5904\u7406\u5c42\u8282\u70b9\u4e4b\u5916\u7684\u5404\u4e2d\u95f4\u8282\u70b9\u7684\u5b8c\u6574\u60c5\u51b5\uff0c\u5f53\u67d0\u4e2a\u4e2d\u95f4\u8282\u70b9\u4e0d\u5b8c\u6574\uff0c\u5219\u786e\u5b9a\u8be5\u4e2d\u95f4\u8282\u70b9\u4e3a\u5f02\u5e38\u8d77\u6e90\u5e76\u8fd4\u56de\uff1b\u68c0\u67e5\u9664\u9884\u5904\u7406\u5c42\u8282\u70b9\u4e4b\u5916\u7684\u5404\u4e2d\u95f4\u8282\u70b9\u7684\u53e3\u5f84\u4e0e\u5f02\u5e38\u6570\u636e\u7684\u6807\u51c6\u53e3\u5f84\u662f\u5426\u4e00\u81f4\uff0c\u82e5\u67d0\u4e2a\u4e2d\u95f4\u8282\u70b9\u7684\u53e3\u5f84\u4e0e\u5f02\u5e38\u6570\u636e\u7684\u53e3\u5f84\u4e0d\u4e00\u81f4\uff0c\u5219\u786e\u5b9a\u8be5\u4e2d\u95f4\u8282\u70b9\u4e3a\u5f02\u5e38\u8d77\u6e90\u5e76\u8fd4\u56de\u3002 The implementation method can effectively avoid human error, reduce the requirements for data exception handlers and be fast and efficient.

【技术实现步骤摘要】
定位异常数据的异常起源的方法和装置
本专利技术涉及计算机
，尤其涉及一种定位异常数据的异常起源的方法和装置。
技术介绍
数据仓库是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库，它用于支持企业或组织的决策分析处理。对于数据仓库出现的数据异常的原因的判断，目前唯一的处理方法是全人工的对数据仓库进行排查，当数据仓库下游反馈数据有问题后，工程师开始从数据仓库的前端应用到底层数据源一层一层往下排查，找到一个问题点处理一个，然后再重跑，或者将所有问题点找出来统一处理，然后再重跑。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：现有的对于数据仓库的数据异常的原因的判断方法，由纯人工进行，如果遇到不规范的脚本(例如脚本全文注释寥寥)就会对判断和处理工作增加难度和成本，人力成本高、人为误差可能性高且速度较慢。并且整个过程对于排查问题的人要求较高，要求其对问题数据的来源、底层加工逻辑以及业务知识相当熟知，否则会浪费很多时间，导致工作效率大大降低，甚至找错方向、徒劳无功。因此，亟需一种快速高效，能够有效规避人为误差，降低对数据异常处理者的要求的定位异常数据的异常起源的方法和装置。
技术实现思路
有鉴于此，本专利技术实施例提供一种定位异常数据的异常起源的方法和装置，能够有效规避人为误差，降低对数据异常处理者的要求并且快速高效。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种定位异常数据的异常起源的方法，所述异常数据对应逻辑关系树，所述逻辑关系树的根节点是该异常数据，叶节点是数据源的数据表，中间节点是该异常数据产生过程中涉及的中间数据表，所述方法包括：步骤一，把所述叶节点的数据与相应预处理层节点的数据作比较，所述预处理层节点是对应叶节点的数据源经预处理后生成的中间节点，其中，当某个预处理层节点与其对应的叶节点不一致，则确定该预处理层节点为异常起源并返回，否则执行步骤二；步骤二，判断所述异常数据是否大于对应的基准值，当所述异常数据不大于所述基准值，则检查除所述预处理层节点之外的各中间节点的完整情况，否则执行步骤三，其中，当某个中间节点不完整，则确定该中间节点为异常起源并返回，否则执行步骤三；步骤三，检查除所述预处理层节点之外的各中间节点的口径与所述异常数据的标准口径是否一致，若某个中间节点的口径与所述异常数据的口径不一致，则确定该中间节点为异常起源并返回。可选的，所述逻辑关系树是把所述异常数据对应的原始的业务逻辑关系树中的与定位异常起源无关的部分剪去获得的。进一步的，本专利技术实施例提供的定位异常数据的异常起源的方法还包括：输出所述确定的异常起源的清单。进一步的，把所述叶节点的数据与相应预处理层节点的数据作比较包括：基于所述逻辑关系树获得所述异常数据与其产生过程中涉及的所述预处理层节点的直接映射关系树；把所述直接映射关系树中的预处理层节点的数据与其对应的所述叶节点的数据作比较。进一步的，所述检查除所述预处理层节点之外的各中间节点的口径与所述异常数据的标准口径是否一致包括：根据所述逻辑关系树获取除所述预处理层节点之外的各中间节点的口径清单；检查所述口径清单中的中间节点的口径与所述异常数据的口径是否一致。为实现上述目的，根据本专利技术实施例的另一个方面，还提供了一种定位异常数据的异常起源的装置，所述异常数据对应逻辑关系树，所述逻辑关系树的根节点是该异常数据，叶节点是数据源的数据表，中间节点是该异常数据产生过程中涉及的中间数据表，所述装置包括：判责模块，用于步骤一，把所述叶节点的数据与相应预处理层节点的数据作比较，所述预处理层节点是对应叶节点的数据源经预处理后生成的中间节点，其中，当某个预处理层节点与其对应的叶节点不一致，则确定该预处理层节点为异常起源并返回，否则执行步骤二；完整性检查模块，用于步骤二，判断所述异常数据是否大于对应的基准值，当所述异常数据不大于所述基准值，则检查除所述预处理层节点之外的各中间节点的完整情况，否则执行步骤三，其中，当某个中间节点不完整，则确定该中间节点为异常起源并返回，否则执行步骤三；口径检查模块，用于步骤三，检查除所述预处理层节点之外的各中间节点的口径与所述异常数据的标准口径是否一致，若某个中间节点的口径与所述异常数据的口径不一致，则确定该中间节点为异常起源并返回。进一步的，本专利技术实施例提供的定位异常数据的异常起源的装置还包括：输出模块，用于输出所述确定的异常起源的清单。进一步的，所述判责模块进一步用于基于所述逻辑关系树获得所述异常数据与其产生过程中涉及的所述预处理层节点的直接映射关系树，把所述直接映射关系树中的预处理层节点的数据与其对应的所述叶节点的数据作比较。进一步的，所述口径检查模块进一步用于根据所述逻辑关系树获取除所述预处理层节点之外的各中间节点的口径清单，检查所述口径清单中的中间节点的口径与所述异常数据的口径是否一致。为实现上述目的，根据本专利技术实施例的另一个方面，还提供了一种判断数据异常原因的电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例提供的定位异常数据的异常起源的方法。为实现上述目的，根据本专利技术实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术实施例提供的定位异常数据的异常起源的方法。本专利技术实施例提供的定位异常数据的异常起源的方法和装置，基于异常数据涉及的原始的业务逻辑关系树进行剪枝获得其对应的逻辑关系树，从而整理出导致该异常数据发生异常的直接因素所在的数据表集合，然后根据出现问题的可能性和排查的难易程度，从相对来说可能性大且排查容易的问题开始，依次排查该逻辑关系树中的可能存在的数据源问题、数据表不完整问题以及口径不一致问题，从而定位到异常数据的异常起源。通过本专利技术提供上述方法，相关人员能够自助、快速的定位到异常起源，并给出异常相关的数据表信息，以便于后续的问题处理和修复，从而缩短需求方等待时间，且能及时告知业务处理进度。相对于现有的定位方法需要进行纯人工定位和处理数据异常，本专利技术方法能够有效规避人为误差，降低对问题排查处理者的要求，使得并非只能开发者本人才能处理。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是本专利技术实施例提供的定位异常数据的异常起源的方法流程图；图2是本专利技术实施例提供的异常指标数据F对应的逻辑关系树的示意图；图3是本专利技术实施例提供的定位异常数据的异常起源的方法的应用流程示意图；图4是本专利技术实施例提供的异常指标F与数据仓库中数据清洗层直接依赖的映射关系树的示意图；图5是本专利技术实施例提供的定位异常数据的异常起源的装置的示意图；图6是适于用来实现本专利技术实施例的电子设备的计算机系统的结构示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中本文档来自技高网...

【技术保护点】
一种定位异常数据的异常起源的方法，其特征在于，所述异常数据对应逻辑关系树，所述逻辑关系树的根节点是该异常数据，叶节点是数据源的数据表，中间节点是该异常数据产生过程中涉及的中间数据表，所述方法包括：步骤一，把所述叶节点的数据与相应预处理层节点的数据作比较，所述预处理层节点是对应叶节点的数据源经预处理后生成的中间节点，其中，当某个预处理层节点与其对应的叶节点不一致，则确定该预处理层节点为异常起源并返回，否则执行步骤二；步骤二，判断所述异常数据是否大于对应的基准值，当所述异常数据不大于所述基准值，则检查除所述预处理层节点之外的各中间节点的完整情况，否则执行步骤三，其中，当某个中间节点不完整，则确定该中间节点为异常起源并返回，否则执行步骤三；步骤三，检查除所述预处理层节点之外的各中间节点的口径与所述异常数据的标准口径是否一致，若某个中间节点的口径与所述异常数据的口径不一致，则确定该中间节点为异常起源并返回。

【技术特征摘要】
1.一种定位异常数据的异常起源的方法，其特征在于，所述异常数据对应逻辑关系树，所述逻辑关系树的根节点是该异常数据，叶节点是数据源的数据表，中间节点是该异常数据产生过程中涉及的中间数据表，所述方法包括：步骤一，把所述叶节点的数据与相应预处理层节点的数据作比较，所述预处理层节点是对应叶节点的数据源经预处理后生成的中间节点，其中，当某个预处理层节点与其对应的叶节点不一致，则确定该预处理层节点为异常起源并返回，否则执行步骤二；步骤二，判断所述异常数据是否大于对应的基准值，当所述异常数据不大于所述基准值，则检查除所述预处理层节点之外的各中间节点的完整情况，否则执行步骤三，其中，当某个中间节点不完整，则确定该中间节点为异常起源并返回，否则执行步骤三；步骤三，检查除所述预处理层节点之外的各中间节点的口径与所述异常数据的标准口径是否一致，若某个中间节点的口径与所述异常数据的口径不一致，则确定该中间节点为异常起源并返回。2.根据权利要求1所述的方法，其特征在于，所述逻辑关系树是把所述异常数据对应的原始的业务逻辑关系树中的与定位异常起源无关的部分剪去获得的。3.根据权利要求1所述的方法，其特征在于，还包括：输出所述确定的异常起源的清单。4.根据权利要求1所述的方法，其特征在于，把所述叶节点的数据与相应预处理层节点的数据作比较包括：基于所述逻辑关系树获得所述异常数据与其产生过程中涉及的所述预处理层节点的直接映射关系树；把所述直接映射关系树中的预处理层节点的数据与其对应的所述叶节点的数据作比较。5.根据权利要求1所述的方法，其特征在于，所述检查除所述预处理层节点之外的各中间节点的口径与所述异常数据的标准口径是否一致包括：根据所述逻辑关系树获取除所述预处理层节点之外的各中间节点的口径清单；检查所述口径清单中的中间节点的口径与所述异常数据的口径是否一致。6.一种定位异常数据的异常起源的装置，其特征在于，所述异常数据对应逻辑关系树，所述逻辑...

【专利技术属性】
技术研发人员：钟媛媛，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11