报表分解统计方法、系统、计算机设备和存储介质技术方案

本发明专利技术涉及数据处理技术领域，尤其涉及一种报表分解统计方法、系统、计算机设备和存储介质。获取预设在存储介质中的日志数据报表及查询请求，在日志数据报表中，查找对应的业务类型字段，通过中间统计语句进行运算，得到运算结果并保存在子报表中；获取目标时间范围和目标统计语句，在子报表中查找对应的运算结果，提取目标时间范围内的运算结果；通过聚合统计语句对提取的运算结果进行聚合运算，生成查询统计结果。本发明专利技术通过把原有查询用的统计语句分解为中间统计语句，在需要最终结果时，对运算结果进行聚合，大大提升了统计效率、降低系统负荷的目的。

【技术实现步骤摘要】
报表分解统计方法、系统、计算机设备和存储介质
本专利技术涉及数据处理
，尤其涉及一种报表分解统计方法、系统、计算机设备和存储介质。
技术介绍
客户端用户每天会产生大量的用户日志，如行为信息、异常信息等，需要存储用户产生的日志，并对日志进行统计、分析和查询，这类工作一般通过日志处理软件执行。当前的日志处理系统都有报表统计这一项功能，通过定时任务来规划周期性的查询统计，并生成查询统计结果。但是对于查询时间范围比较大的报表，则需要消耗大量计算资源。比如，假设统计一个月的数据，数据条目数为100000，通过定时任务来直接执行查询统计需要计算100000个数据的统计函数，造成执行速度慢，且报表集中生成，系统负载压力大。而且容易造成报表查询时间有重叠，历史的查询结果没有有效利用，造成资源的浪费。
技术实现思路
有鉴于此，有必要针对报表查询时间范围比较长、消耗系统大量对计算和存储资源以及造成资源的浪费问题，提供一种报表分解统计方法、系统、计算机设备和存储介质。一种报表分解统计方法，包括如下步骤：获取预设在存储介质中的日志数据报表，所述日志数据报表包括开始时间字段、结束时间字段、与所述开始时间字段和所述结束时间字段对应的业务类型字段，获取预设在所述存储介质中的查询请求，所述查询请求包括查询时间范围、一项或多项中间统计语句；在所述日志数据报表中，查找在所述查询时间范围内的所述开始时间字段和所述结束时间字段对应的所有业务类型字段，通过所述中间统计语句对所述业务类型字段逐一进行运算，得到一项或多项运算结果，分别将所述中间统计语句、所述查询时间范围和所述运算结果保存在一项或多项子报表中；获取目标时间范围和目标统计语句，从预设在所述存储介质中的统计列表中查找与所述目标统计语句对应的目标中间统计语句，所述统计列表中含有与所述目标统计语句对应的聚合统计语句、一项或多项目标中间统计语句，在所述子报表中查找与所述目标中间统计语句相同的所述中间统计语对应的运算结果，提取所述目标时间范围内的所述运算结果；从所述统计列表中查找与所述目标统计语句对应的聚合统计语句，通过所述聚合统计语句对提取的所述运算结果进行聚合运算，生成查询统计结果。在其中一个实施例中，所述获取预设在存储介质中的日志数据报表前，包括：通过日志数据采集器采集业务系统中的日志文件；将所述日志文件通过提取器解析成多个有效字段信息，所述有效字段信息包括开始时间字段、结束时间字段和业务类型字段；将多个所述有效字段信息存储在所述日志数据报表中。在其中一个实施例中，所述获取预设在所述存储介质中的查询请求，包括：在所述存储介质中预设查询定时任务，所述查询定时任务为目多个查询请求的轮询列表，调用查询定时脚本，定时获取所述查询请求。在其中一个实施例中，所述目标统计语句为统计函数，所述统计函数包括求最大值、求最小值、求和、求平均值、求数目、标准差或非重复结果的数目中的至少一项；当所述目标统计语句为求最大值时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求最大值，所述运算结果为最大值，所述聚合统计语句为对所述目标时间范围内的所述运算结果再求最大值；当所述目标统计语句为求最小值时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求最小值，所述运算结果为最小值，所述聚合统计语句为对所述目标时间范围内的所述运算结果再求最小值；当所述目标统计语句为求和时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求总和，所述运算结果为总和，所述聚合统计语句为对所述目标时间范围内的所述运算结果再求总和；当所述目标统计语句为求数目时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求数目，所述运算结果为数目，所述聚合统计语句为对所述目标时间范围内的所述运算结果进行累加；当所述目标统计语句为求平均值时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求总和和数目，所述运算结果为总和和数目，所述聚合统计语句为对所述目标时间范围内的总和再求和得a1，对所述目标时间范围内的数目求和得b1，最后求平均值为a1/b1；当所述目标统计语句为求标准差时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求平方和、数目和求总和，所述运算结果为平方和、数目和总和，所述聚合统计语句为对所述目标时间范围内的总和累加得a2，对平方和累加得b2，对数目累加得c2，最后求标准差为sqrt(b2/c2-(a2/c2)^2)；当所述目标统计语句为求非重复结果的数目时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求字段值和数目，所述运算结果为字段值和数目，所述聚合统计语句为对所述目标时间范围内的字段值进行合并，合并规则为相同字段值的数目进行相加，生成结果为非重复结果的数目。在其中一个实施例中，所述获取目标时间范围和目标统计语句，包括：在存储介质中预设统计定时任务，所述统计定时任务为目标时间范围和对应的目标统计语句的轮询列表，调用统计定时脚本，定时获取所述目标时间范围和目标统计语句。在其中一个实施例中，所述获取目标时间范围和目标统计语句，包括：设置用户输入界面，所述用户输入界面设有时间范围字段和目标统计语句字段，通过所述时间范围字段获取所述目标时间范围，通过所述目标统计语句字段获取所述目标统计语句。一种报表分解统计系统，包括如下单元：获取信息单元，用于获取预设在存储介质中的日志数据报表，所述日志数据报表包括开始时间字段、结束时间字段、与所述开始时间字段和所述结束时间字段对应的业务类型字段，获取预设在所述存储介质中的查询请求，所述查询请求包括查询时间范围、一项或多项中间统计语句；生成运算结果单元，用于在所述日志数据报表中，查找在所述查询时间范围内的所述开始时间字段和所述结束时间字段对应的所有业务类型字段，通过所述中间统计语句对所述业务类型字段逐一进行运算，得到一项或多项运算结果，分别将所述中间统计语句、所述查询时间范围和所述运算结果保存在一项或多项子报表中；提取运算结果单元，用于获取目标时间范围和目标统计语句，从预设在所述存储介质中的统计列表中查找与所述目标统计语句对应的目标中间统计语句，所述统计列表中含有与所述目标统计语句对应的聚合统计语句、一项或多项目标中间统计语句，在所述子报表中查找与所述目标中间统计语句相同的所述中间统计语对应的运算结果，提取所述目标时间范围内的所述运算结果；生成查询统计结果单元，用于从所述统计列表中查找与所述目标统计语句对应的聚合统计语句，通过所述聚合统计语句对提取的所述运算结果进行聚合运算，生成查询统计结果。在其中一个实施例中，还包括采集单元，用于通过日志数据采集器采集业务系统中的日志文件，将所述日志文件通过提取器解析成多个有效字段信息，所述有效字段信息包括开始时间字段、结束时间字段和业务类型字段，将多个所述有效字段信息存储在所述日志数据报表中。一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述报表分解统计方法的步骤。一种存储有本文档来自技高网...

【技术保护点】
1.一种报表分解统计方法，其特征在于，包括如下步骤：获取预设在存储介质中的日志数据报表，所述日志数据报表包括开始时间字段、结束时间字段、与所述开始时间字段和所述结束时间字段对应的业务类型字段，获取预设在所述存储介质中的查询请求，所述查询请求包括查询时间范围、一项或多项中间统计语句；在所述日志数据报表中，查找在所述查询时间范围内的所述开始时间字段和所述结束时间字段对应的所有业务类型字段，通过所述中间统计语句对所述业务类型字段逐一进行运算，得到一项或多项运算结果，分别将所述中间统计语句、所述查询时间范围和所述运算结果保存在一项或多项子报表中；获取目标时间范围和目标统计语句，从预设在所述存储介质中的统计列表中查找与所述目标统计语句对应的目标中间统计语句，所述统计列表中含有与所述目标统计语句对应的聚合统计语句、一项或多项目标中间统计语句，在所述子报表中查找与所述目标中间统计语句相同的所述中间统计语对应的运算结果，提取所述目标时间范围内的所述运算结果；从所述统计列表中查找与所述目标统计语句对应的聚合统计语句，通过所述聚合统计语句对提取的所述运算结果进行聚合运算，生成查询统计结果。

【技术特征摘要】
1.一种报表分解统计方法，其特征在于，包括如下步骤：获取预设在存储介质中的日志数据报表，所述日志数据报表包括开始时间字段、结束时间字段、与所述开始时间字段和所述结束时间字段对应的业务类型字段，获取预设在所述存储介质中的查询请求，所述查询请求包括查询时间范围、一项或多项中间统计语句；在所述日志数据报表中，查找在所述查询时间范围内的所述开始时间字段和所述结束时间字段对应的所有业务类型字段，通过所述中间统计语句对所述业务类型字段逐一进行运算，得到一项或多项运算结果，分别将所述中间统计语句、所述查询时间范围和所述运算结果保存在一项或多项子报表中；获取目标时间范围和目标统计语句，从预设在所述存储介质中的统计列表中查找与所述目标统计语句对应的目标中间统计语句，所述统计列表中含有与所述目标统计语句对应的聚合统计语句、一项或多项目标中间统计语句，在所述子报表中查找与所述目标中间统计语句相同的所述中间统计语对应的运算结果，提取所述目标时间范围内的所述运算结果；从所述统计列表中查找与所述目标统计语句对应的聚合统计语句，通过所述聚合统计语句对提取的所述运算结果进行聚合运算，生成查询统计结果。2.根据权利要求1所述的报表分解统计方法，其特征在于，所述获取预设在存储介质中的日志数据报表前，包括：通过日志数据采集器采集业务系统中的日志文件；将所述日志文件通过提取器解析成多个有效字段信息，所述有效字段信息包括开始时间字段、结束时间字段和业务类型字段；将多个所述有效字段信息存储在所述日志数据报表中。3.根据权利要求1所述的报表分解统计方法，其特征在于，所述获取预设在所述存储介质中的查询请求，包括：在所述存储介质中预设查询定时任务，所述查询定时任务为目多个查询请求的轮询列表，调用查询定时脚本，定时获取所述查询请求。4.根据权利要求1所述的报表分解统计方法，其特征在于，所述目标统计语句为统计函数，所述统计函数包括求最大值、求最小值、求和、求平均值、求数目、标准差或非重复结果的数目中的至少一项；当所述目标统计语句为求最大值时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求最大值，所述运算结果为最大值，所述聚合统计语句为对所述目标时间范围内的所述运算结果再求最大值；当所述目标统计语句为求最小值时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求最小值，所述运算结果为最小值，所述聚合统计语句为对所述目标时间范围内的所述运算结果再求最小值；当所述目标统计语句为求和时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求总和，所述运算结果为总和，所述聚合统计语句为对所述目标时间范围内的所述运算结果再求总和；当所述目标统计语句为求数目时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求数目，所述运算结果为数目，所述聚合统计语句为对所述目标时间范围内的所述运算结果进行累加；当所述目标统计语句为求平均值时，在所述子报表中查找到的所述中间统计语句为对所述查询时间范围内的所有业务类型字段求总和和数目，所述运算结果为总和和数目，所述聚合统计语句为对所述目标时间范围内的总和再求和得a1，对所述目标时间范围内的数目求和得b1，最后求平均值为a1/b1；当所述目标统计语句为...

【专利技术属性】
技术研发人员：陈俊峰，孙玉，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44