基于离散分组的数据统计方法、系统、设备及存储介质技术方案

本发明专利技术提供了基于离散分组的数据统计方法、系统、设备及存储介质，该方法包括：获得具有多个属性值的实时数据，基于实时数据中至少任意两项属性值的组合作为分组标签进行数据离散化，得到多个数据组；将数据组根据数据处理设备的数量进行循环分组到对应的数据处理设备；获得统计请求方发送的数据统计条件，向每个数据处理设备发送数据统计条件；将数据处理设备反馈的数据信息进行组合后作为数据统计结果输出。本发明专利技术能够提升程序的鲁棒性，避免流量峰值时的数据倾斜，并具有完备的状态管理，可以保证数据的精确一致。

【技术实现步骤摘要】
基于离散分组的数据统计方法、系统、设备及存储介质
本专利技术涉及数据统计领域，具体地说，涉及基于离散分组的数据统计方法、系统、设备及存储介质。
技术介绍
大数据情景下的实时数据统计是建设实时数仓体系的一个重要组成部分，无论是应用的业务系统展示还是应用的分析系统进行实时标签分析，实时汇总统计都是一个重要的技术场景，所以必须要保证大数据实时汇总统计程序的鲁棒性和灵活性。而对于集群系统，一般缓存是分布式的，即不同节点负责一定范围的缓存数据。通常把缓存数据分散度不够，导致大量的缓存数据集中到了一台或者几台服务节点上，称为数据倾斜。一般来说数据倾斜是由于负载均衡实施的效果不好引起的。因此，本专利技术提供了一种基于离散分组的数据统计方法、系统、设备及存储介质。
技术实现思路
针对现有技术中的问题，本专利技术的目的在于提供基于离散分组的数据统计方法、系统、设备及存储介质，克服了现有技术的困难，能够提升程序的鲁棒性，避免流量峰值时的数据倾斜，并具有完备的状态管理，可以保证数据的精确一致。本专利技术的实施例提供一种基于离散分组的数据统本文档来自技高网...

【技术保护点】
1.一种基于离散分组的数据统计方法，其特征在于，包括以下步骤：/nS110、获得具有多个属性值的实时数据，基于实时数据中至少任意两项属性值的组合作为分组标签进行数据离散化，得到多个数据组；/nS120、将所述数据组根据数据处理设备的数量进行循环分组到对应的所述数据处理设备；/nS130、获得统计请求方发送的数据统计条件，向每个所述数据处理设备发送数据统计条件；/nS140、将所述数据处理设备反馈的数据信息进行组合后作为数据统计结果输出。/n

【技术特征摘要】
1.一种基于离散分组的数据统计方法，其特征在于，包括以下步骤：
S110、获得具有多个属性值的实时数据，基于实时数据中至少任意两项属性值的组合作为分组标签进行数据离散化，得到多个数据组；
S120、将所述数据组根据数据处理设备的数量进行循环分组到对应的所述数据处理设备；
S130、获得统计请求方发送的数据统计条件，向每个所述数据处理设备发送数据统计条件；
S140、将所述数据处理设备反馈的数据信息进行组合后作为数据统计结果输出。


2.根据权利要求1所述的基于离散分组的数据统计方法，其特征在于，所述步骤S110中将具有相同分组标签的实时数据分到同一数据组。


3.根据权利要求1所述的基于离散分组的数据统计方法，其特征在于，所述步骤S120中，将所述数据组均匀分配到所述数据处理设备中。


4.根据权利要求1所述的基于离散分组的数据统计方法，其特征在于，所述数据处理设备是服务器、数据存储单元、云储存单元中的任意一项。


5.根据权利要求1所述的基于离散分组的数据统计方法，其特征在于，所述步骤S140中，所述数据统计条件为所述实时数据中一个属性值或者多个属性值的组合。


6.根据权利要求1所述的基于离散分组的数据统计方法，其特征在于，所述步骤S140中，包括：
每个所述数据处理设备根据所述数据统计条件进行搜索，获得作为数据...

【专利技术属性】
技术研发人员：王旭，郑浩华，张延成，吉聪睿，
申请(专利权)人：携程计算机技术上海有限公司，
类型：发明
国别省市：上海;31