一种轻便检查数据应用指标有效性的方法、装置及应用制造方法及图纸

本申请提出了一种轻便检查数据应用指标有效性的方法、装置及应用，设计针对待稽核指标的指标配置表，通过python脚本连接数据库并将指标配置表内的字段赋值到python脚本内，利用python运算每个待稽核指标的结果值并生成结果表，基于结果表内的差异类型对待稽核指标的质量进行检查，实现了轻便检查待稽核指标质量的效果，同时可在数据运行过程中就进行数据检查，提高了数据质量检查的实效性。提高了数据质量检查的实效性。提高了数据质量检查的实效性。

【技术实现步骤摘要】
一种轻便检查数据应用指标有效性的方法、装置及应用


[0001]本申请涉及数据处理领域，特别是涉及一种轻便检查数据应用指标有效性的方法、装置及应用。

技术介绍

[0002]数字政府建设成效显著。一体化政务服务和监管效能大幅度提升，“一网通办”、“最多跑一次”、“一网统管”、“一网协同”等服务管理新模式广泛普及，数字营商环境持续优化，在线政务服务水平跃居全球领先行列，这其中离不开各地大数据局的数仓建设、数据治理。
[0003]通过对数据的整合、治理为数字政府、管理城市提供有力的数据底座支撑，通过集中化的智能提供了对日常城市运营的洞察。随着数字化改革的推进，智慧城市智能运行中心成为常见的数据应用展现，目前的展现侧大部分都没有做展现前的数据质量检查，一般的做法仅是在数据采集同步时和数据模型开发时对数据量、数据波动进行检查。这样只能保证单个数据模型的质量，并不能对具体的数据应用指标做有效性检查，从而无法保障数据应用指标的正确性，无法做到早发现，早处理，大部分情况都只能在数据应用展现后发现了异常再来进行人工干预处理。
[0004]现有的智慧城市智能运行中心中，例如：智慧城管运行分析专题中有：实时事件、街道统计、类型统计、常见问题分析的高发问题、重复问题等指标，目前从数据归集、治理、应用接口的数仓开发均基于大数据治理平台，在一些不具备数据质量检查或只支持数据表的质量检查的平台中，无法保证在数仓开发过程中的质量，虽然数仓开发过程中有调度任务的监控，如有报错可以查看报错并中断任务，但是也会存在一些源头本身数据的问题，比如：业务系统迁移，数据库停用，这种情况是不会影响到数仓的调度任务，因此数据质量在调度中无法完全暴露，会造成在数据应用继续展现异常的数据。

技术实现思路

[0005]本申请实施例提供了一种轻便检查数据应用指标有效性的方法、装置及应用，利用Python编程语言实现了轻便检查数据应用指标有效性的效果。
[0006]第一方面，本申请实施例提供了一种轻便检查数据应用指标有效性的方法，所述方法包括：基于待稽核指标填写存放在数据库中的指标配置表，其中所述指标配置表内至少配置所述待稽核指标的识别信息、计算逻辑、周期、指标状态以及差异类型；利用python脚本连接所述数据库，所述python脚本上引入时间模块；读取所述指标配置表，以对所述python脚本内对应的字段进行赋值；运行每个待稽核指标的所述当前值计算逻辑，并利用所述时间模块的当前时间替换所述当前值计算逻辑内的时间变量，得到每个待稽核指标的结果值；汇总所有待稽核指标的结果值得到结果表，依据所述结果表核查每一待稽核指标的质量。
[0007]第二方面，本申请实施例提供了一种轻便检查数据应用指标有效性的装置，包括：
指标配置表设计单元，用于基于待稽核指标填写存放在数据库中的指标配置表，其中所述指标配置表内至少配置所述待稽核指标的识别信息、计算逻辑、周期、指标状态以及差异类型；连接单元，用于利用python脚本连接所述数据库，所述python脚本上引入时间模块；读取单元，用于读取所述指标配置表，以对所述python脚本内对应的字段进行赋值；计算单元，用于运行每个待稽核指标的所述当前值计算逻辑，并利用所述时间模块替换所述当前值计算逻辑内的时间变量，得到每个待稽核指标的结果值；核查单元，用于汇总所有待稽核指标的结果值得到结果表，依据所述结果表核查每一待稽核指标的质量。
[0008]第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的轻便检查数据应用指标有效性的方法。
[0009]第四方面，本申请实施例提供了一种计算机程序产品，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行根据权利要求所述的轻便检查数据应用指标有效性的方法。
[0010]本专利技术的主要贡献和创新点如下：
[0011]设计针对待稽核指标的指标配置表，通过python脚本连接数据库并将指标配置表内的字段赋值到python脚本内，利用python运算每个待稽核指标的结果值并生成结果表，基于结果表内的差异类型对待稽核指标的质量进行检查，实现了轻便检查待稽核指标质量的效果，同时可在数据运行过程中就进行数据检查，提高了数据质量检查的实效性。
[0012]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0013]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0014]图1是根据本申请实施例的轻便检查数据应用指标有效性的方法的流程图；
[0015]图2是根据本申请一种实施例的指标配置表的示意图；
[0016]图3是根据本申请实施例一种实施例的结果表的示意图；
[0017]图4是根据本申请实施例轻便检查数据应用指标有效性的装置的结构示意图；
[0018]图5是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
[0019]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
[0020]需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进
行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
[0021]在介绍本方案的技术方案之前，首先介绍本方案涉及到的专业术语的解释：
[0022]Python：提供了高效的高级数据结构，还能简单有效地面向对象编程。它具有简单、易学、易读、易维护的特性，在编程的用途非常广泛，且速度较快，也是一个免费的开源软件。
[0023]实施例一
[0024]如图1所示，本申请旨在提出一种轻便检查数据应用指标有效性的方法，包括以下步骤：
[0025]基于待稽核指标填写存放在数据库中的指标配置表，其中所述指标配置表内至少配置所述待稽核指标的识别信息、计算逻辑、周期、指标状态以及差异类型；
[0026]利用python脚本连接所述数据库，所述python脚本上引入时间模块；
[0027]读取所述指标配置表，以对所述python脚本内对应的字段进行赋值；
[0028]运行每个待稽核指标的所述当前值计算逻辑，并利用所述时间模块的当前时间替换所述当前值计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻便检查数据应用指标有效性的方法，其特征在于，包括以下步骤：基于待稽核指标填写存放在数据库中的指标配置表，其中所述指标配置表内至少配置所述待稽核指标的识别信息、计算逻辑、周期、指标状态以及差异类型；利用python脚本连接所述数据库，所述python脚本上引入时间模块；读取所述指标配置表，以对所述python脚本内对应的字段进行赋值；运行每个待稽核指标的所述当前值计算逻辑，并利用所述时间模块的当前时间替换所述当前值计算逻辑内的时间变量，得到每个待稽核指标的结果值；汇总所有待稽核指标的结果值得到结果表，依据所述结果表核查每一待稽核指标的质量。2.根据权利要求1所述的轻便检查数据应用指标有效性的方法，其特征在于，在“基于待稽核指标填写存放在数据库中的指标配置表”步骤中，获取所述待稽核指标，并基于所述待稽核指标的数据合理性确定所述待稽核指标的核查类型，基于所述核查类型填写存放在数据库中的指标配置表。3.根据权利要求1所述的轻便检查数据应用指标有效性的方法，其特征在于，所述待稽核指标的识别信息用于唯一地标识对应的待稽核指标，所述计算逻辑至少包括当前值计算逻辑，所述差异类型记录所述待稽核指标的核查类型。4.根据权利要求1所述的轻便检查数据应用指标有效性的方法，其特征在于，在“读取所述指标配置表，以对所述python脚本内对应的字段进行赋值”步骤中，所述python脚本内写有对应所述指标配置表的字段，将读取到的所述指标配置表内的配置信息作为值赋予对应的字段。5.根据权利要求1所述的轻便检查数据应用指标有效性的方法，其特征在于，在“汇总所有待稽核指标的结果值得到结果表”步骤中，所述结果表内至少配置所述待稽核指标的识别信息、结果值、数据日期以及差异类型。6.根据权利要...

【专利技术属性】
技术研发人员：郁强，吴晶晶，
申请(专利权)人：城云科技中国有限公司，
类型：发明
国别省市：