一种异常数据的确定方法及装置制造方法及图纸

本说明书提供一种异常数据的确定方法及装置，所述方法包括：通过获取节点信息表，根据节点信息表逐级查找各个节点的处理结果，获得异常数据查找报表，根据异常数据查找报表可以清楚的展示各个节点的处理结果，对比各个节点的处理结果，可以快速确定出异常数据。实现了异常数据的自动追查功能，降低了异常数据追查所用的时间，提高了异常数据追查的效率和速度。

A Method and Device for Determining Abnormal Data

This specification provides a method and device for determining abnormal data. The method includes: by acquiring the node information table, searching the processing results of each node step by step according to the node information table, obtaining the abnormal data search report. According to the abnormal data search report, the processing results of each node can be clearly displayed, and the processing results of each node can be quickly determined by comparing the processing results of each node. Exceptional data. It realizes the automatic tracing function of abnormal data, reduces the time of abnormal data tracing, and improves the efficiency and speed of abnormal data tracing.

【技术实现步骤摘要】
一种异常数据的确定方法及装置
本说明书属于互联网
，尤其涉及一种异常数据的确定方法及装置。
技术介绍
随着计算机技术的发展，数据处理能力的提升，也带来了数据量的增加，许多系统都会产生大量的数据，通常情况下可以将数据经过处理后存储在数据仓库。数据仓库中可以存储大量的数据，若数据仓库中出现异常数据，异常数据的确定是一项比较重要的工作。例如：公司大量的财务数据，比如公司的收入，每一笔收入都需要加工汇总形成各种报表。每份报表都有各自的处理逻辑，有些甚至需要关联业务数据，丰富报表的内容。由于业务的复杂，报表的处理链路往往非常长、环节非常多，这样若在某个环节数据处理出现错误，可能需要追查异常数据以及异常数据产生的原因，比如：数据加工的错误、源头数据获取时产生的错误等等。现有技术中，为了查清楚异常数据产生的原因，确定出异常数据，通常采用人工核查，往往需要耗费大量的时间和精力。
技术实现思路
本说明书目的在于提供一种异常数据的确定方法及装置，实现了异常数据的自动追查。一方面本说明书实施例提供了一种异常数据的确定方法，包括：获取节点信息表，所述节点信息表包括：节点的上下游关系、节点对应的处理结果；根据所述节点信息表，逐级获取各个节点的处理结果，生成异常数据查找报表；根据所述异常数据查找报表，确定出异常数据。进一步地，所述方法的另一个实施例中，所述根据所述异常数据查找报表，确定出异常数据，包括：将所述异常数据查找报表中各个节点的处理结果与所述节点对应的报表的输出结果进行对比，将与所述报表的输出结果不同的处理结果作为所述异常数据。进一步地，所述方法的另一个实施例中，所述根据所述异常数据查找报表，确定出异常数据，包括：将所述异常数据查找报表中各个节点的处理结果与数据源进行对比，将与所述数据源的值不同的处理结果作为所述异常数据。进一步地，所述方法的另一个实施例中，所述根据所述异常数据查找报表，确定出异常数据，包括：将所述异常数据查找报表中各个节点的处理结果进行对比，将与上游节点的处理结果不同的处理结果作为所述异常数据。进一步地，所述方法的另一个实施例中，所述节点信息表中还包括：节点对应的节点代码，所述节点代码表征对应的节点的数据处理过程；相应地，所述方法还包括：根据所述异常数据对应的节点的节点代码，确定所述异常数据的产生原因。进一步地，所述方法的另一个实施例中，所述方法还包括：修改所述异常数据对应的节点的节点代码，以使所述异常数据恢复正常。进一步地，所述方法的另一个实施例中，所述方法还包括：在获取所述节点信息表之前，核对不同报表的输出结果，当不同报表的输出结果不同时，获取所述节点信息表。另一方面，本说明书提供了异常数据的确定装置，包括：节点信息获取模块，用于获取节点信息表，所述节点信息表包括：节点的上下游关系、节点对应的处理结果；节点信息查找模块，用于根据所述节点信息表，逐级获取各个节点的处理结果，生成异常数据查找报表；异常数据确定模块，用于根据所述异常数据查找报表，确定出异常数据。进一步地，所述装置的另一个实施例中，所述异常数据确定模块具体用于：将所述异常数据查找报表中各个节点的处理结果与所述节点对应的报表的输出结果进行对比，将与所述报表的输出结果不同的处理结果作为所述异常数据。进一步地，所述装置的另一个实施例中，所述异常数据确定模块具体用于：将所述异常数据查找报表中各个节点的处理结果与数据源进行对比，将与所述数据源的值不同的处理结果作为所述异常数据。进一步地，所述装置的另一个实施例中，所述异常数据确定模块具体用于：将所述异常数据查找报表中各个节点的处理结果进行对比，将与上游节点的处理结果不同的处理结果作为所述异常数据。进一步地，所述装置的另一个实施例中，所述节点信息表中还包括：节点对应的节点代码，所述节点代码表征对应的节点的数据处理过程；相应地，所述装置还包括异常原因查找模块，用于：根据所述异常数据对应的节点的节点代码，确定所述异常数据的产生原因。进一步地，所述装置的另一个实施例中，所述异常原因查找模块还用于：修改所述异常数据对应的节点的节点代码，以使所述异常数据恢复正常。进一步地，所述装置的另一个实施例中所述装置还包括报表核对模块，用于在获取所述节点信息表之前，核对不同报表的输出结果，当不同报表的输出结果不同时，所述节点信息获取模块获取所述节点信息表。再一方面，本说明书提供了一种异常数据确定的处理设备，包括：至少一个处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述异常数据的确定方法。还一方面，本说明书提供了一种异常数据的确定系统，包括上述任一个所述的异常数据的确定装置。本说明书提供的异常数据的确定方法、装置、处理设备、系统，通过获取节点信息表，根据节点信息表逐级查找各个节点的处理结果，获得异常数据查找报表，根据异常数据查找报表可以清楚的展示各个节点的处理结果，对比各个节点的处理结果，可以快速确定出异常数据。实现了异常数据的自动追查功能，降低了异常数据追查所用的时间，提高了异常数据追查的效率和速度。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本说明书一个实施例中数据处理的流程示意图；图2是本说明书一个实施例中异常数据的确定方法的流程示意图；图3是本说明书一个实施例中异常数据追查报告的示意图；图4是本说明书又一个实施例中异常数据追查的流程示意图；图5是本说明书另一个实施例中异常数据追查的流程示意图；图6是本说明书提供的异常数据的确定装置一个实施例的模块结构示意图；图7是本说明书又一个实施例中异常数据的确定装置的结构示意图；图8是本说明书又一个实施例中异常数据的确定装置的结构示意图；图9是应用本专利技术实施例的一种确定异常数据的服务器的硬件结构框图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。图1是本说明书一个实施例中数据处理的流程示意图，如图1所示，本说明书一个实施例中示意出了ODPS(分布式的海量数据处理平台)数据仓库的数据处理过程，图中A、B、C、D可以表示数据处理步骤。应用系统会产生大量生产数据，这部分数据会存储在线上数据库，并通过ODPS的同步功能同步到ODPS的数据仓库，进行下一步的大数据处理即步骤A。如图2所示，在数据处理过程中，可能需要对数据源数据进行不同的数据处理过程，获得不同的报表，如：某网络购物平台，在对一天的收益数据进行整理时，可以从商品类型的维度进行数据整理，也可以按照售出商品对应的地区的维度进行数据整理，分别生成两个报表，每一个报表的生成对应有一个链路。如图2所示，本说明书实施例中对数据的加工处理中采用了两条链路即步骤B、C两条链路，每本文档来自技高网...

【技术保护点】
1.一种异常数据的确定方法，包括：获取节点信息表，所述节点信息表包括：节点的上下游关系、节点对应的处理结果；根据所述节点信息表，逐级获取各个节点的处理结果，生成异常数据查找报表；根据所述异常数据查找报表，确定出异常数据。

【技术特征摘要】
1.一种异常数据的确定方法，包括：获取节点信息表，所述节点信息表包括：节点的上下游关系、节点对应的处理结果；根据所述节点信息表，逐级获取各个节点的处理结果，生成异常数据查找报表；根据所述异常数据查找报表，确定出异常数据。2.如权利要求1所述的方法，所述根据所述异常数据查找报表，确定出异常数据，包括：将所述异常数据查找报表中各个节点的处理结果与所述节点对应的报表的输出结果进行对比，将与所述报表的输出结果不同的处理结果作为所述异常数据。3.如权利要求1所述的方法，所述根据所述异常数据查找报表，确定出异常数据，包括：将所述异常数据查找报表中各个节点的处理结果与数据源进行对比，将与所述数据源的值不同的处理结果作为所述异常数据。4.如权利要求1所述的方法，如权利要求1所述的方法，所述根据所述异常数据查找报表，确定出异常数据，包括：将所述异常数据查找报表中各个节点的处理结果进行对比，将与上游节点的处理结果不同的处理结果作为所述异常数据。5.如权利要求1所述的方法，所述节点信息表中还包括：节点对应的节点代码，所述节点代码表征对应的节点的数据处理过程；相应地，所述方法还包括：根据所述异常数据对应的节点的节点代码，确定所述异常数据的产生原因。6.如权利要求5所述的方法，所述方法还包括：修改所述异常数据对应的节点的节点代码，以使所述异常数据恢复正常。7.如权利要求1所述的方法，所述方法还包括：在获取所述节点信息表之前，核对不同报表的输出结果，当不同报表的输出结果不同时，获取所述节点信息表。8.一种异常数据的确定装置，包括：节点信息获取模块，用于获取节点信息表，所述节点信息表包括：节点的上下游关系、节点对应的处理结果；节点信息查找模块，...

【专利技术属性】
技术研发人员：张洋，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY