一种数据指标计算结果自动归因化的方法以及应用产品技术

本申请实施例提供一种数据指标计算结果自动归因化的方法及应用产品，所述方法包括：响应于指定的目标数据指标，获取并展示与所述目标数据指标对应的数据血缘模型，其中，所述数据血缘模型用于展示与计算所述目标数据指标相关的数据表、数据字段以及所述数据表与所述数据字段的依赖关系；响应于从所述数据血缘模型上选中的目标节点，获取与所述目标节点对应的目标计算结果；提供所述目标计算结果。采用本申请实施例的方法可以实现数据指标的自动化归因，使运营人员能够在不依赖技术人员的前提下，从数据指标计算结果开始逐层向下挖掘明细数据，并找到产生计算结果的深层次原因，以快速发起针对性的运营决策。以快速发起针对性的运营决策。以快速发起针对性的运营决策。

【技术实现步骤摘要】
一种数据指标计算结果自动归因化的方法以及应用产品


[0001]本申请涉及数据处理领域，具体而言本申请实施例涉及一种数据指标计算结果自动归因化的方法及应用产品。

技术介绍

[0002]在企业基于自身拥有的数据进行运营活动时，往往需要将运营所关注的数据指标进行每日自动例行计算，并呈现在运营报表中。数据指标的取值是根据指定的统计维度从物理数据表中统计出的计算结果，该计算结果通常会从两个方面影响数据运营活动的质量和效果。其一是数据指标的计算结果的准确性，会决定数据运营所依赖的数据是否是可信且能够帮助运营人员发现真实问题的；其二是数据指标的可归因性，会决定数据运营人员能否根据报表中的数字，逐步挖掘出产生该数字的深层次原因，并针对性地发起运营决策。
[0003]然而数据指标的计算结果通常是由技术部门通过运行SQL语言或程序而得到的，计算过程中产生的代码是面向技术和底层数据平台，而不是面向业务模型的。这导致数据指标计算的物理实现代码无法直观地对数据指标计算结果进行业务层面上的解释，要判断数据指标计算结果是否正确，或者挖掘计算结果产生的具体原因是什么，必须依赖技术人员在实现代码中进行逐步排查，且技术人员在排查代码时，经常需要与数据运营人员进行业务逻辑的沟通确认，以判断挖掘出的数据情况是否属于业务上的异常情况，这一排查过程是极其耗费人力和时间的。

技术实现思路

[0004]本申请实施例的目的在于提供一种数据指标计算结果自动归因化的方法及应用产品，采用本申请实施例的方法可以实现数据指标的自动化归因，使运营人员能够在不依赖技术人员的前提下，从数据指标计算结果开始逐层向下挖掘明细数据，并找到产生计算结果的深层次原因，以快速发起针对性的运营决策。
[0005]第一方面，本申请实施例提供一种数据指标计算结果自动归因化的方法，所述方法包括：响应于指定的目标数据指标，获取并展示与所述目标数据指标对应的数据血缘模型，其中，所述数据血缘模型用于展示与计算所述目标数据指标相关的数据表、数据字段以及所述数据表与所述数据字段的依赖关系；响应于从所述数据血缘模型上选中的目标节点，获取与所述目标节点对应的目标计算结果；提供所述目标计算结果。
[0006]本申请的一些实施例通过生成的数据血缘模型和目标节点的目标计算结果能够实现目标数据指标的自动化归因，使运营人员在不依赖技术人员的前提下从数据指标计算结果找到产生数据结果的深层次原因。
[0007]在一些实施例中，在所述获取并展示与所述目标数据指标对应的数据血缘模型之前，所述方法还包括：根据所述目标数据指标生成所述数据血缘模型。
[0008]本申请的一些实施例可以根据指定的目标数据指标生成用于反应获取目标数据指标相关的所有的数据表、数据字段以及数据表和数据字段之间依赖关系等特征的数据血
缘模型，进而可以使得运营人员可根据该模型完成目标数据指标的自动归因分析。
[0009]在一些实施例中，所述根据所述目标数据指标生成所述数据血缘模型，包括：选择多张数据表(即与目标数据指标相关的表)中的两个或多个数据字段，在数据计算的输入字段和输出字段(输入字段包含指标和维度信息，通过指标和维度建模系统配合实现输出)之间建立所述多张数据表和所述两个或多个数据字段之间的依赖关系，其中，一个输出字段可依赖多个输入字段；重复上述过程直到与计算所述目标数据指标相关的所有数据表和数据字段均完成依赖关系的建立，得到所述数据血缘模型。
[0010]本申请的一些实施例通过建立用于计算所述目标数据指标相关的所有数据表和数据字段的依赖关系而建立数据血缘模型。
[0011]在一些实施例中，所述根据所述目标数据指标生成所述数据血缘模型，包括：解析物理上的数据处理SQL(结构化查询语言，物理上的数据处理SQL是指大数据系统对于数据处理产出的任务SQL)，通过所述数据处理SQL构建多个抽象语法树，其中，所述抽象语法树的根节点为所述数据处理SQL中一个输出字段，叶节点为所述数据处理SQL的输入字段，同一棵抽象语法树中的输入字段与输出字段之间可构建依赖关系；重复上述过程直到与所述目标数据指标计算相关的所有数据表和数据字段均完成依赖关系的建立，再将所述目标数据指标与所述数据字段进行关联，得到所述数据血缘模型。
[0012]本申请的一些实施例通过建立用于计算所述目标数据指标相关的所有数据表和数据字段的依赖关系而建立数据血缘模型。
[0013]在一些实施例中，所述获取与所述目标节点对应的目标计算结果，包括：从所述数据血缘模型上截取最上游节点(根节点，数据关系图是一个有向无环图，最上游节点即是图的根节点)至所述期望节点之间的血缘链路，得到待分析血缘链路；将所述待分析血缘链路转化为物理SQL命令；执行对所述物理SQL命令施加查询约束条件后的待执行语句，得到所述目标计算结果。
[0014]本申请的一些实施例通过执行SQL命令得到与期望节点对应的目标计算结果，使得运营人员可根据目标计算结果确定目标数据指标的性能。
[0015]在一些实施例中，所述将所述待分析血缘链路转化为物理SQL命令，包括：将所述待分析血缘链路上的数据表与数据字段之间，及所述待分析血缘链路上的数据字段之间的处理和计算逻辑进行串联合并，得到用于数据计算的所述物理SQL命令。
[0016]本申请的一些实施例提供一种构建物理SQL命令的方法。
[0017]在一些实施例中，所述执行对所述物理SQL命令施加查询约束条件后的待执行语句，包括：在所述数据仓库的计算引擎上执行所述待执行语句，得到所述目标计算结果。
[0018]本申请的一些实施例通过数据仓库上的计算引擎执行待执行语句即可得到目标计算结果。
[0019]在一些实施例中，所述方法还包括：通过接收数据运营人员更换的约束条件，或接收数据运营人员在所述数据血缘模型中选择的更新期望节点，再次进行归因尝试。
[0020]本申请的一些实施例的运营人员若确认所述目标计算结果已反映所述目标数据指标的计算结果产出的原因，则结束数据指标归因流程；若确认所述目标计算结果未反映所述目标数据指标的计算结果产出的原因，则执行上述更换约束条件或者更新期望节点的方式再次进行归因尝试。
[0021]第二方面，本申请的一些实施例提供一种数据指标计算结果自动归因化的装置，所述装置包括：第一响应模块，被配置为响应于指定的目标数据指标，获取与并展示与所述目标数据指标对应的数据血缘模型，其中，所述数据血缘模型包括至少一个数据表、至少一个数据字段以及所述数据表与所述数据字段的依赖关系，所述数据表和所述数据字段是用于计算所述目标数据指标的表格和字段；第二响应模块，被配置为响应于从所述数据血缘模型上选中的目标节点，获取与所述目标节点对应的目标计算结果；提供模块，被配置为提供所述目标计算结果。
[0022]第三方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任意实施例所述的方法。
[0023]第四方面，本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据指标计算结果自动归因化的方法，其特征在于，所述方法包括：响应于指定的目标数据指标，获取并展示与所述目标数据指标对应的数据血缘模型，其中，所述数据血缘模型包括至少一个数据表、至少一个数据字段以及所述数据表与所述数据字段的依赖关系，所述数据表和所述数据字段是用于计算所述目标数据指标的表格和字段；响应于从所述数据血缘模型上选中的目标节点，获取与所述目标节点对应的目标计算结果；提供所述目标计算结果。2.如权利要求1所述的方法，其特征在于，在所述获取并展示与所述目标数据指标对应的数据血缘模型之前，所述方法还包括：根据所述目标数据指标生成所述数据血缘模型。3.如权利要求2所述的方法，其特征在于，所述根据所述目标数据指标生成所述数据血缘模型，包括：选择多张所述数据表中的两个或多个所述数据字段，在数据计算的输入字段和输出字段之间建立所述多张数据表和所述数据字段之间的依赖关系，其中，一个输出字段可依赖多个输入字段；重复上述过程直到与计算所述目标数据指标相关的所有数据表和数据字段均完成依赖关系的建立，得到所述数据血缘模型。4.如权利要求2所述的方法，其特征在于，所述根据所述目标数据指标生成所述数据血缘模型，包括：解析物理上的数据处理SQL，通过所述数据处理SQL构建多个抽象语法树，其中，所述抽象语法树的根节点为所述数据处理SQL中一个输出字段，叶节点为所述数据处理SQL的输入字段，同一棵抽象语法树中的输入字段与输出字段之间即可构建出依赖关系；重复上述过程直到与所述目标数据指标计算相关的所有数据表和数据字段均完成依赖关系的建立，再将所述目标数据指标与所述数据字段进行关联，得到所述数据血缘模型。5.如权利要求1所述的方法，其特征在于，所述获取与所述目标节点对应的目标计算结果，包括：从所述数据血缘模型上截取最上游节点至所述目标节点之间的血缘链路，得...

【专利技术属性】
技术研发人员：莫日根，宋孖健，
申请(专利权)人：北京量子公因数科技有限公司，
类型：发明
国别省市：