一种数据统计方法及系统技术方案

本发明专利技术涉及一种数据统计方法及系统，所述方法包括：步骤1，获取业务数据；步骤2，对所述业务数据进行处理，获得用于存储到永久性存储介质中的持久数据，将所述持久数据存储到Kafka集群中；步骤3，根据Spark技术和数据库中预设的统计对象读取所述Kafka集群中的所述持久数据，所述数据库中还预设有统计规则和统计维度，根据所述统计规则和所述统计维度对所述持久数据进行实时流式统计，获得统计结果；步骤4，根据预设的展示方式输出所述统计结果。本发明专利技术的技术方案能够大幅提高统计方法及系统的通用性和实时性。

A Data Statistics Method and System

The invention relates to a data statistics method and system, which includes: step 1, obtaining business data; step 2, processing the business data, obtaining persistent data for storage in a permanent storage medium, and storing the persistent data in a Kafka cluster; step 3, reading the Kafka cluster according to Spark technology and the preset statistical objects in the database. According to the persistent data mentioned above, the database is also provided with statistical rules and statistical dimensions. According to the statistical rules and the statistical dimensions, the persistent data can be real-time streamed statistics and the statistical results can be obtained. Step 4, the statistic results can be output according to the preset display mode. The technical scheme of the invention can greatly improve the generality and real-time performance of the statistical method and system.

【技术实现步骤摘要】
一种数据统计方法及系统
本专利技术涉及大数据
，尤其涉及一种数据统计方法及系统。
技术介绍
随着大数据时代的来临，数据以不可思议的速度迅猛增长，为了对大量数据进行有效管理，需要对数据进行统计。统计是对某一现象相关数据的搜集、整理、计算、分析、解释、表述等活动，利用统计，不仅可以对事物本身进行定量定性分析，发现事物的内在规律，还可以对不同事物进行有联系的综合性分析，发现事物之间的内在联系。目前，常用的统计方法通常针对不同的用户定制对应的统计逻辑，设置对应的统计规则，根据该统计规则对业务数据进行统计。一方面，统计方法是根据不同用户的具体需求设计开发出来的，不能复用；另一方面，统计工作往往在业务数据产生后才开展，例如业务数据产生后，系统每隔标定时间统计一次业务数据，实时性差。
技术实现思路
为了提高大数据统计方法及系统的通用性和实时性，本专利技术提供一种数据统计方法及系统。本专利技术解决上述技术问题的技术方案如下：第一方面，本专利技术提供了一种数据统计方法，所述方法包括：步骤1，获取业务数据。步骤2，对所述业务数据进行处理，获得用于存储到永久性存储介质中的持久数据，将所述持久数据存储到K本文档来自技高网...

【技术保护点】
1.一种数据统计方法，其特征在于，所述方法包括：步骤1，获取业务数据；步骤2，对所述业务数据进行处理，获得用于存储到永久性存储介质中的持久数据，将所述持久数据存储到Kafka集群中；步骤3，根据Spark技术和数据库中预设的统计对象读取所述Kafka集群中的所述持久数据，所述数据库中还预设有统计规则和统计维度，根据所述统计规则和所述统计维度对所述持久数据进行实时流式统计，获得统计结果；步骤4，根据预设的展示方式输出所述统计结果。

【技术特征摘要】
1.一种数据统计方法，其特征在于，所述方法包括：步骤1，获取业务数据；步骤2，对所述业务数据进行处理，获得用于存储到永久性存储介质中的持久数据，将所述持久数据存储到Kafka集群中；步骤3，根据Spark技术和数据库中预设的统计对象读取所述Kafka集群中的所述持久数据，所述数据库中还预设有统计规则和统计维度，根据所述统计规则和所述统计维度对所述持久数据进行实时流式统计，获得统计结果；步骤4，根据预设的展示方式输出所述统计结果。2.根据权利要求1所述的数据统计方法，其特征在于，所述数据库包括多个不同的所述统计对象、多个不同的所述统计规则和多个不同的所述统计维度，所述步骤1之前还包括如下步骤：根据需求预先选择所述统计对象、所述统计规则和所述统计维度，所述统计对象为需要统计的目标，所述统计规则为具体的统计运算方法，所述统计维度为统计的方向和粒度。3.根据权利要求2所述的数据统计方法，其特征在于，所述步骤2的具体实现为：持久化所述业务数据，并对所述业务数据设置对应的主题和标识码，获得所述持久数据，将所述持久数据存储到所述Kafka集群中，其中，所述主题与所述统计对象对应，所述标识码与所述统计维度和所述统计规则对应。4.根据权利要求3所述的数据统计方法，其特征在于，所述步骤3具体包括如下步骤：步骤3.1，根据预设的所述统计对象确定所述主题，利用Spark技术读取与所述主题对应的所述持久数据，获得与所述持久数据对应的所述标识码；步骤3.2，根据所述标识码确定所述统计规则和所述统计维度；步骤3.3，根据所述统计规则和所述统计维度对所述持久数据进行运算，获得所述统计结果。5.根据权利要求1至4任一项所述的数据统计方法，其特征在于，所述步骤4的具体实现为：持久化所述统计结果，将所述统计结果存储到所述数据库中，并将所述统计结果以所述预设的展示方式进...

【专利技术属性】
技术研发人员：丁一宁，
申请(专利权)人：南京国通智能科技有限公司，
类型：发明
国别省市：江苏,32