数据库大数据的统计方法及装置制造方法及图纸

本发明专利技术公开了一种数据库大数据的统计方法及装置，方法包括：查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中，执行下一步骤；调用所述业务统计脚本对所述指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到所述数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据；将所述指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；将所述指定日期的执行结果保存到所述数据库中的日志记录中。本发明专利技术能极大减少用户查询花费的时间、提高统计查询的效率、减少硬件资源和成本的浪费。

Statistical method and device for large data of database

The invention discloses a device and a method of database statistics, big data methods include: whether the specified date log, log table exists in the database query is out; otherwise, according to the business needs to write business statistics script in SQL format, and the stored to the database code or configuration file and executing the next step; call the business statistics script to the specified date report data summary and statistics, and will get the business summary data is saved to the database in the data summary table, direct access to the specified date business summary data for the users; the original detailed data specified the date of the demolition of the table to the corresponding molecular data in accordance with the rules of the split split; the execution of the specified date is saved to the database in the log records. The invention can greatly reduce the time spent by user inquiry, improve the efficiency of statistical inquiry, and reduce the waste of hardware resources and cost.

【技术实现步骤摘要】
数据库大数据的统计方法及装置
本专利技术涉及大数据统计领域，特别涉及一种数据库大数据的统计方法及装置。
技术介绍
一般企业业务数据都会保存在数据库中，以保证数据的完整性和可用性。随着业务的增长，单个数据表的数据会越来越庞大，当单个数据表的数据达到千万级或者上亿级时，用户统计查询的速度会越来越慢，长则数分钟，其统计效率较低，这样就无法满足用户的需求。目前普遍的做法是升级服务器硬件配置来满足业务的需求，随着数据量的增大，硬件资源的消耗也会越来越大。这样在业务没有环比增长的情况下，需要不断升级硬件资源来满足不断堆积的数据要求，这样会造成硬件资源和成本的浪费。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能极大减少用户查询花费的时间、提高统计查询的效率、减少硬件资源和成本的浪费的数据库大数据的统计方法及装置。本专利技术解决其技术问题所采用的技术方案是：构造一种数据库大数据的统计方法，包括如下步骤：A）查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中，执行步骤B）；B）调用所述业务统计脚本对所述指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到所述数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据；C）将所述指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；D）将所述指定日期的执行结果保存到所述数据库中的日志记录中。在本专利技术所述的数据库大数据的统计方法中，所述业务需求为从原始明细数据中汇总统计出各种指标数据，所述指标数据包括激活用户数、计费金额和次日留存。在本专利技术所述的数据库大数据的统计方法中，所述拆分规则为按照月份或日期来进行拆分。在本专利技术所述的数据库大数据的统计方法中，所述原始明细数据包括用户激活、来访、订购记录和用户浏览器信息。在本专利技术所述的数据库大数据的统计方法中，所述用户通过Web业务管理系统中的各个报表页面来浏览所述指定日期的业务汇总数据。本专利技术还涉及一种实现上述数据库大数据的统计方法的装置，包括：日志记录查询单元：用于查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中；脚本调用单元：用于调用所述业务统计脚本对所述指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到所述数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据；数据拆分单元：用于将所述指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；结果保存单元：用于将所述指定日期的执行结果保存到所述数据库中的日志记录中。在本专利技术所述的装置中，所述业务需求为从原始明细数据中汇总统计出各种指标数据，所述指标数据包括激活用户数、计费金额和次日留存。在本专利技术所述的数据库大数据的统计方法中，所述拆分规则为按照月份或日期来进行拆分。在本专利技术所述的数据库大数据的统计方法中，所述原始明细数据包括用户激活、来访、订购记录和用户浏览器信息。在本专利技术所述的数据库大数据的统计方法中，所述用户通过Web业务管理系统中的各个报表页面来浏览所述指定日期的业务汇总数据。实施本专利技术的数据库大数据的统计方法及装置，具有以下有益效果：由于根据业务需求编写SQL格式的业务统计脚本；调用业务统计脚本对指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到数据库中的汇总数据表中；将指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；也就是根据用户希望看到的结果预设SQL格式的业务统计脚本，提前将结果汇总统计出来保存到汇总数据表中，汇总数据表一般在万条以内，极大减少用户查询花费的时间以及执行查询带来的系统压力；同时在每次汇总完后，将汇总范围内的原始明细数据拆分到对应的数据拆分子表中，用户查询原始数据明细时，就可以直接在数据拆分子表中进行查询统计，极大减少用户查询花费的时间以及执行查询带来的系统压力，同时极大减少原始明细数据表的量级，提高涉及原始数据表的操作效率，所以其能极大减少用户查询花费的时间、提高统计查询的效率、减少硬件资源和成本的浪费。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术数据库大数据的统计方法及装置一个实施例中的方法的流程图；图2为所述实施例中装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术数据库大数据的统计方法及装置实施例中，其数据库大数据的统计方法的流程图如图1所示。图1中，该数据库大数据的统计方法包括如下步骤：步骤S01查询数据库中的日志表中是否存在指定日期的日志记录：本步骤中，查询数据库中的日志表中是否存在指定日期的日志记录，如果存在，则执行步骤S02；否则，执行步骤S03。值得一提的是，这里的指定日期一般为一个日期范围，在一些情况下也可以为某一天或某一天中指定的时间段。步骤S02退出：如果上述步骤S01中查询的结果是已经存在指定日期的日志记录，则执行本步骤。本步骤中，退出。步骤S03根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中：如果上述步骤S01中查询的结果是不存在指定日期的日志记录，则执行本步骤。本步骤中，根据业务需求编写SQL格式的业务统计脚本，也就是业务需求不同，编写的SQL格式的业务统计脚本的内容也不同，编写好SQL格式的业务统计脚本后，就开始进入存储过程，本实施例中，将编写SQL格式的业务统计脚本保存到数据库或代码的配置文件中。值得一提的是，业务需求主要是从原始明细数据中去汇总统计各种指标数据，例如：指标数据可以是汇总某段时间的激活用户数、计费金额和次日留存等等。执行完本步骤，执行步骤S04。步骤S04调用业务统计脚本对指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据：本步骤中，调用预先配置好的业务统计脚本（也就是上述步骤S03中编写的SQL格式的业务统计脚本）对指定日期的业务报表数据进行汇总及统计，并将汇总后得到的业务汇总数据保存到数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据。当用户查询指定日期的业务汇总数据时，可以有多种查询方式，本实施例中采用的查询方式是：用户通过Web业务管理系统中的各个报表页面来浏览指定日期的业务汇总数据。步骤S05将指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中：本步骤中，将指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中，以供用户查询指定日期的原始数据明细，具体的，原始明细数据主要是指用本文档来自技高网...

【技术保护点】
一种数据库大数据的统计方法，其特征在于，包括如下步骤：A）查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中，执行步骤B）；B）调用所述业务统计脚本对所述指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到所述数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据；C）将所述指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；D）将所述指定日期的执行结果保存到所述数据库中的日志记录中。

【技术特征摘要】
1.一种数据库大数据的统计方法，其特征在于，包括如下步骤：A）查询数据库中的日志表中是否存在指定日期的日志记录，如是，退出；否则，根据业务需求编写SQL格式的业务统计脚本，并将其保存到数据库或代码的配置文件中，执行步骤B）；B）调用所述业务统计脚本对所述指定日期的业务报表数据进行汇总及统计，并将得到的业务汇总数据保存到所述数据库中的汇总数据表中，以供用户直接查询指定日期的业务汇总数据；C）将所述指定日期的原始明细数据按照拆分规则拆分到相应的数据拆分子表中；D）将所述指定日期的执行结果保存到所述数据库中的日志记录中。2.根据权利要求1所述的数据库大数据的统计方法，其特征在于，所述业务需求为从原始明细数据中汇总统计出各种指标数据，所述指标数据包括激活用户数、计费金额和次日留存。3.根据权利要求1所述的数据库大数据的统计方法，其特征在于，所述拆分规则为按照月份或日期来进行拆分。4.根据权利要求1至3任意一项所述的数据库大数据的统计方法，其特征在于，所述原始明细数据包括用户激活、来访、订购记录和用户浏览器信息。5.根据权利要求1至3任意一项所述的数据库大数据的统计方法，其特征在于，所述用户通过Web业务管理系统中的各个报表页面来浏览所述指定日期的业务汇总数据。6.一种实现如权利要求1所述的数据库大数据的统计方法的装置，其特征在于，包括：日志记录查询...

【专利技术属性】
技术研发人员：张博，胡剑，李十子，毕文波，谭颖骞，熊琦松，
申请(专利权)人：深圳博十强志科技有限公司，
类型：发明
国别省市：广东,44