海量数据下实时数据报表统计方法技术

本发明专利技术公开了数据统计领域中的一种海量数据下实时数据报表统计方法，在应用数据入库的同时，按照数据统计特征，将统计数据实时写入到内存数据库；内存数据库根据数据统计特征，从当前统计周期开始，将上一个统计周期的统计数据存储到数据库中；用户查看统计报表信息时，数据汇集处理器根据统计特征的不同，进行统计分析并从数据库或内存数据库中提取数据，并返回统计结果。本发明专利技术达到既能统计实时数据、又能拥有比较高性能结果的目的，进而也提高了用户体验。

【技术实现步骤摘要】
海量数据下实时数据报表统计方法
本专利技术涉及数据统计领域，具体的说，是涉及一种海量数据下实时数据报表统计方法。
技术介绍
传统的报表统计通常采用两种方法：一种是定时去将应用表的数据进行统计，然后保存的数据库的统计表，例如当天统计前一天的数据并存储到数据库，给系统界面查询，其相对于要求比较实时的场景，实时性差、效果不理想。为了实时性考虑，另一种是根据用户输入的统计条件，对原始数据进行实时统计，直接统计数据表的数据，这种方法对于数据量很大的情况，分组统计就会显得比较慢，影响系统性能，也影响了用户体验；因此，现在需要一种能够统计大量数据，并且实时性要求很高的报表统计方法。
技术实现思路
为了克服现有的技术的不足，本专利技术提供一种海量数据下实时数据报表统计方法。本专利技术技术方案如下所述：海量数据下实时数据报表统计方法，其特征在于：在应用数据入库的同时，按照数据统计特征，将统计数据实时写入到内存数据库；内存数据库根据所述数据统计特征，从当前统计周期开始，将上一个统计周期的统计数据存储到数据库中；用户查看统计报表信息时，所述数据汇集处理器根据统计特征的不同，进行统计分析并从所述数据库或所述内存数据库中提取数据，并返回统计结果。根据上述方案的本专利技术，其特征在于，在查看统计报表信息时，用户登录系统登录系统界面，根据系统提供的查询条件，选择查询条件进行查询统计。根据上述方案的本专利技术，其特征在于，所述数据统计特征为报表统计数据的类型。根据上述方案的本专利技术，其特征在于，所述内存数据库包括memcached缓存器和redis缓存器。根据上述方案的本专利技术，其特征在于，所述数据汇集处理器的处理流程为：所述数据汇集处理器收到统计指令，根据用户输入的统计条件，分别到数据库或内存数据库获取统计数据。进一步的，用户查看的数据信息均为历史数据时，所述数据汇集处理器从所述数据库获取所述数据信息，并通过所述系统界面与用户进行交互；用户查看的数据信息均为实时数据时，所述数据汇集处理器从所述内存数据库获取所述数据信息，并通过所述系统界面与用户进行交互；用户查看的数据信息同时包括历史数据和实时数据时，所述数据汇集处理器同时从所述数据库和所述内存数据库获取数据信息。进一步的，用户输入的统计条件为数据的统计周期。更进一步的，所述历史数据的统计周期以天计，所述实时数据的统计周期以小时计。根据上述方案的本专利技术，其有益效果在于：本专利技术中内存数据库是基于内存的，可以减少系统的I/O操作，每次应用数据进行入库的时候，就会根据系统的统计特征进行统计保存在内存数据库上，当用户查看统计信息的时候，数据也是直接到内存数据库获取的，减少了一个分组统计的过程，速度得到了提升，性能也提升，进而也提高了用户体验。本专利技术还能分别对历史数据、实时数据进行分类保存、提取，达到既能统计实时数据、又能拥有比较高性能结果的目的。附图说明图1为本专利技术的流程图。具体实施方式下面结合附图以及实施方式对本专利技术进行进一步的描述：如图1所示，一种海量数据下实时数据报表统计方法，在应用数据入库的同时，按照数据统计特征，将统计数据实时写入到内存数据库；内存数据库根据数据统计特征，从当前统计周期开始，将上一个统计周期的统计数据存储到数据库中。优选的，内存数据库包括memcached缓存器和redis缓存器，其中Memcached是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载，其只保存当天的统计数据。在查看统计报表信息时，用户登录系统登录系统界面(WEB)，根据系统提供的查询条件，选择查询条件进行查询统计。数据汇集处理器根据统计特征的不同，进行统计分析并从数据库或内存数据库中提取数据，并返回统计结果。其中数据统计特征为报表统计数据的类型。例如统计用户上网行为，包括统计用户聊天、用户炒股、用户发邮件等，这些就是数据统计特征数据汇集处理器的处理流程为：数据汇集处理器收到统计指令，根据用户输入的统计条件，分别到数据库或内存数据库获取统计数据。用户输入的统计条件为数据存储期限，即数据的统计周期，其中历史数据的统计周期以天计，实时数据的统计周期以小时计。具体的：用户查看的数据信息均为历史数据(统计特征是按天统计)时，数据汇集处理器从数据库获取数据信息，并通过系统界面与用户进行交互；用户查看的数据信息均为实时数据(统计特征是按小时统计)时，数据汇集处理器只用到内存数据库(memcached或者redis)获取数据信息，并将每个小时的数据合并处理，后通过系统界面与用户进行交互；用户查看的数据信息同时包括历史数据和实时数据时，数据汇集处理器同时从数据库和内存数据库获取数据信息。本专利技术中内存数据库(memcached或者redis)是基于内存的，可以减少系统的I/O操作；每次应用数据进行入库的时候，就会根据系统的统计特征进行统计保存在memcached上，当用户查看统计信息的时候，数据也是直接到内存数据库获取的，减少了一个分组统计的过程，速度得到了提升，性能也提升，进而也提高了用户体验。应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本专利技术所附权利要求的保护范围。上面结合附图对本专利技术专利进行了示例性的描述，显然本专利技术专利的实现并不受上述方式的限制，只要采用了本专利技术专利的方法构思和技术方案进行的各种改进，或未经改进将本专利技术专利的构思和技术方案直接应用于其它场合的，均在本专利技术的保护范围内。本文档来自技高网...

【技术保护点】
1.海量数据下实时数据报表统计方法，其特征在于：在应用数据入库的同时，按照数据统计特征，将统计数据实时写入到内存数据库；内存数据库根据所述数据统计特征，从当前统计周期开始，将上一个统计周期的统计数据存储到数据库中；用户查看统计报表信息时，所述数据汇集处理器根据统计特征的不同，进行统计分析并从所述数据库或所述内存数据库中提取数据，并返回统计结果。

【技术特征摘要】
1.海量数据下实时数据报表统计方法，其特征在于：在应用数据入库的同时，按照数据统计特征，将统计数据实时写入到内存数据库；内存数据库根据所述数据统计特征，从当前统计周期开始，将上一个统计周期的统计数据存储到数据库中；用户查看统计报表信息时，所述数据汇集处理器根据统计特征的不同，进行统计分析并从所述数据库或所述内存数据库中提取数据，并返回统计结果。2.根据权利要求1所述的海量数据下实时数据报表统计方法，其特征在于，在查看统计报表信息时，用户登录系统登录系统界面，根据系统提供的查询条件，选择查询条件进行查询统计。3.根据权利要求1所述的海量数据下实时数据报表统计方法，其特征在于，所述数据汇集处理器的处理流程为：所述数据汇集处理器收到统计指令，根据用户输入的统计条件，分别到数据...

【专利技术属性】
技术研发人员：黎晓华，周金洪，严乐平，徐魏，
申请(专利权)人：深圳市中科新业信息科技发展有限公司，
类型：发明
国别省市：广东,44