一种数据统计方法、系统及电子设备和存储介质技术方案

本申请公开了一种数据统计方法、系统及一种电子设备和计算机可读存储介质，该方法包括：获取统计逻辑代码；其中，所述统计逻辑代码为利用预设变量编写的、用于进行数据统计的代码；初始化所述统计逻辑代码中每个任务的任务信息，并根据所述任务信息计算每个所述任务需要统计的数据时间范围；根据所述任务信息替换每个所述任务中的所有所述预设变量，并根据每个所述任务对应的数据时间范围执行每个所述任务。本申请提供的数据统计方法，开发人员只需要关注统计逻辑代码的编写和任务信息的配置即可，其他由系统自动完成，大大提高了数据分析的开发效率。

A Data Statistics Method, System and Electronic Equipment and Storage Media

【技术实现步骤摘要】
一种数据统计方法、系统及电子设备和存储介质
本申请涉及计算机
，更具体地说，涉及一种数据统计方法、系统及一种电子设备和一种计算机可读存储介质。
技术介绍
在互联网发展的大潮下，在大数据越来越流行的今天，如何快速实现业务的统计分析需求，开发出符合业务需求的报表，进行数字化运营，成为各个互联网公司面临的挑战。在一种现有技术中，需要数据开发人员从头开始开发数据统计分析脚本，实现业务需求。这种方案效率低下，时间周期长，数据开发人员需要处理很多重复性的工作。在另一种现有技术中，需要基于开源的报表产品，这种方案只能使用报表产品提供的功能，无法实现个性化的数据统计需求。因此，如何面对个性化的数据统计需求，提高开发效率是本领域技术人员需要解决的技术问题。
技术实现思路
本申请的目的在于提供一种数据统计方法、系统及一种电子设备和一种计算机可读存储介质，面对个性化的数据统计需求，提高了开发效率。为实现上述目的，本申请提供了一种数据统计方法，包括：获取统计逻辑代码；其中，所述统计逻辑代码为利用预设变量编写的、用于进行数据统计的代码；初始化所述统计逻辑代码中每个任务的任务信息，并根据所述任务信息计算每个所述任务需要统计的数据时间范围；根据所述任务信息替换每个所述任务中的所有所述预设变量，并根据每个所述任务对应的数据时间范围执行每个所述任务。其中，所述数据时间范围包括数据时间开始时间戳和数据时间结束时间戳，所述根据所述任务信息计算每个所述任务需要统计的数据时间范围，包括：根据所述任务信息确定每个所述任务的调度时间、任务周期和周期偏移；格式化所述调度时间，并利用格式化后的调度时间、所述任务周期和所述周期偏移计算所述数据时间开始时间戳和所述数据时间结束时间戳。其中，所述预设变量包括时间变量、数据变量和维表变量；所述时间变量包括标准时间变量、自定义时间变量和自定义函数时间变量，所述标准时间变量包括所述数据时间开始时间戳和所述数据时间结束时间戳对应的所有格式的时间变量；所述数据变量包括目标数据库、目标数据表和目标分区；所述维表变量包括维表数据库、维表表名和维表过滤条件。其中，所述根据每个所述任务对应的数据时间范围执行每个所述任务，包括：获取每个所述任务的依赖配置信息，并根据所述依赖配置判断每个所述任务的所有依赖任务对应的实例是否执行完成；若是，则根据每个所述任务对应的数据时间范围执行每个所述任务。其中，所述根据每个所述任务对应的数据时间范围执行每个所述任务，包括：确定每个所述任务的任务类型，并确定所述任务类型对应的计算引擎；利用每个所述任务对应的所述计算引擎根据所述数据时间范围执行每个所述任务。其中，所述根据每个所述任务对应的数据时间范围执行每个所述任务之后，还包括：输出每个所述任务的任务执行日志。其中，所述根据每个所述任务对应的数据时间范围执行每个所述任务之后，还包括：判断每个所述任务是否存在任务导入配置；若是，则根据所述任务导入配置将所述任务的任务结果导入目标位置。其中，所述根据每个所述任务对应的数据时间范围执行每个所述任务，包括：获取每个所述任务对应的任务运行周期，根据所述任务运行周期当检测到到达预设的运行时刻时，根据每个所述任务对应的数据时间范围执行每个所述任务。为实现上述目的，本申请提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的数据统计程序，所述数据统计程序被所述处理器执行时实现如上述数据统计方法的步骤。为实现上述目的，本申请提供了一种数据统计系统，包括：获取模块，用于获取统计逻辑代码；其中，所述统计逻辑代码为利用预设变量编写的、用于进行数据统计的代码；计算模块，用于初始化所述统计逻辑代码中每个任务的任务信息，并根据所述任务信息计算每个所述任务需要统计的数据时间范围；执行模块，用于根据所述任务信息替换每个所述任务中的所有所述预设变量，并根据每个所述任务对应的数据时间范围执行每个所述任务。为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有数据统计程序，所述数据统计程序被处理器执行时实现如上述数据统计方法的步骤。为实现上述目的，本申请提供了一种计算机程序产品，包括计算机指令，当其在计算机上运行时，使得计算机可以执行上述任一项所述数据统计方法。通过以上方案可知，本申请提供的一种数据统计方法，包括：获取统计逻辑代码；其中，所述统计逻辑代码为利用预设变量编写的、用于进行数据统计的代码；初始化所述统计逻辑代码中每个任务的任务信息，并根据所述任务信息计算每个所述任务需要统计的数据时间范围；根据所述任务信息替换每个所述任务中的所有所述预设变量，并根据每个所述任务对应的数据时间范围执行每个所述任务。本申请提供的数据统计方法，开发人员只需要根据系统提供的预设变量编写统计逻辑代码、配置各任务的任务信息，系统根据任务信息生成各任务的数据时间范围，在执行统计逻辑代码前使用已知的时间变量、数据表名，分区，维表名，维表过滤条件等替换统计逻辑代码中的预设变量，得到可执行的语句。在开发过程中，开发人员只需要关注统计逻辑代码的编写和任务信息的配置即可，其他由系统自动完成，大大提高了数据分析的开发效率。本申请还公开了一种数据统计系统及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例公开的一种数据统计方法的流程图；图2为图1中步骤S102的细化流程示意图；图3为本申请实施例公开的另一种数据统计方法的流程图；图4为本申请实施例公开的一种数据统计系统的结构图；图5为本申请实施例公开的一种电子设备的结构图；图6为本申请实施例公开的另一种电子设备的结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是，在本专利技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可本文档来自技高网...

【技术保护点】
1.一种数据统计方法，其特征在于，包括：获取统计逻辑代码；其中，所述统计逻辑代码为利用预设变量编写的、用于进行数据统计的代码；初始化所述统计逻辑代码中每个任务的任务信息，并根据所述任务信息计算每个所述任务需要统计的数据时间范围；根据所述任务信息替换每个所述任务中的所有所述预设变量，并根据每个所述任务对应的数据时间范围执行每个所述任务。

【技术特征摘要】
1.一种数据统计方法，其特征在于，包括：获取统计逻辑代码；其中，所述统计逻辑代码为利用预设变量编写的、用于进行数据统计的代码；初始化所述统计逻辑代码中每个任务的任务信息，并根据所述任务信息计算每个所述任务需要统计的数据时间范围；根据所述任务信息替换每个所述任务中的所有所述预设变量，并根据每个所述任务对应的数据时间范围执行每个所述任务。2.根据权利要求1所述数据统计方法，其特征在于，所述数据时间范围包括数据时间开始时间戳和数据时间结束时间戳，所述根据所述任务信息计算每个所述任务需要统计的数据时间范围，包括：根据所述任务信息确定每个所述任务的调度时间、任务周期和周期偏移；格式化所述调度时间，并利用格式化后的调度时间、所述任务周期和所述周期偏移计算所述数据时间开始时间戳和所述数据时间结束时间戳。3.根据权利要求2所述数据统计方法，其特征在于，所述预设变量包括时间变量、数据变量和维表变量；所述时间变量包括标准时间变量、自定义时间变量和自定义函数时间变量，所述标准时间变量包括所述数据时间开始时间戳和所述数据时间结束时间戳对应的所有格式的时间变量；所述数据变量包括目标数据库、目标数据表和目标分区；所述维表变量包括维表数据库、维表表名和维表过滤条件。4.根据权利要求1所述数据统计方法，其特征在于，所述根据每个所述任务对应的数据时间范围执行每个所述任务，包括：获取每个所述任务的依赖配置信息，并根据所述依赖配置判断每个所述任务的所有依赖任务对应的实例是否执行完成；若是，则根据每个所述任务对应的数据时间范围执行每个所述任务。5.根据权利要求1所述数据统计方法，其特征在于，所述根据每个所述任务对应的数据时间范围执行每个所述任务，包括：确定每个所述任务的任务类型，并确...

【专利技术属性】
技术研发人员：刘忠真，
申请(专利权)人：深圳市网心科技有限公司，
类型：发明
国别省市：广东,44