一种数据的处理方法、数据服务器、介质及系统技术方案

本申请提供一种数据的处理方法、数据服务器、介质及系统，该方法包括从消息系统中接收实时流数据，该实时流数据包括：用户标识和该用户标识对应的实时流信息；从本地已存储的标签数据中，获取与该用户标识对应的离线标签数据和/或实时标签数据；对该用户标识进行哈希运算，获取该用户标识对应的哈希值，以从计算服务器集群中获取与该哈希值对应的计算服务器；将该用户标识对应的实时流数据，以及离线标签数据和/或实时标签数据分配到该计算服务器中以进行关联处理，并在本地将该用户标识对应的离线标签数据和/或实时标签数据进行删除处理。解决了现有技术中大量流数据积压导致的实时流数据与标签数据的关联效率低的问题。实时流数据与标签数据的关联效率低的问题。实时流数据与标签数据的关联效率低的问题。

【技术实现步骤摘要】
一种数据的处理方法、数据服务器、介质及系统


[0001]本申请涉及数据处理
，尤其涉及一种数据的处理方法、数据服务器、介质及系统。

技术介绍

[0002]为了开展电子围栏、用户网络业务偏好分析等业务，需要将用户的实时流数据与包含用户属性信息的标签数据相关联，以进行相关业务的用户筛选。现有技术中，计算服务器集群从消息系统中获取实时流数据，从标签数据库集群中查询与实时流数据对应的用户的标签数据，以进行实时流数据与标签数据的关联。
[0003]然而，实时流数据以每秒几百万条的速度从消息系统传输到计算服务器集群中，计算服务器集群每接收到一条实时流数据，就需要向标签数据库集群发起查询请求，如此庞大的查询需求，往往需要标签数据库集群具有上百台数据库的硬件支撑，即便如此，海量的实时流数据仍无法得到及时的关联处理，大量流数据积压，导致实时流数据与标签数据的关联效率极低。

技术实现思路

[0004]本申请提供一种数据的处理方法、数据服务器、介质及系统，用于解决现有技术中大量流数据积压导致的实时流数据与标签数据的关联效率低的问题。...

【技术保护点】

【技术特征摘要】
1.一种数据的处理方法，其特征在于，包括：从消息系统中接收实时流数据，所述实时流数据包括：用户标识和所述用户标识对应的实时流信息；从本地已存储的标签数据中，获取与所述用户标识对应的离线标签数据和/或实时标签数据；对所述用户标识进行哈希运算，获取所述用户标识对应的哈希值，以从计算服务器集群中获取与所述哈希值对应的计算服务器；将所述用户标识对应的实时流数据，以及离线标签数据和/或实时标签数据分配到所述计算服务器中以进行关联处理，并在本地将所述用户标识对应的离线标签数据和/或实时标签数据进行删除处理。2.根据权利要求1所述的数据的处理方法，其特征在于，所述对所述用户标识进行哈希运算，获取所述用户标识对应的哈希值，包括：对所述用户标识进行二进制处理，以获取处理后的用户标识；采用分组或者分区方式，对所述处理后的用户标识进行哈希运算，以获取对应的哈希值。3.根据权利要求2所述的数据的处理方法，其特征在于，所述采用分组或者分区方式，对所述处理后的用户标识进行哈希运算，以获取对应的哈希值，包括：根据处理后的用户标识m，采用公式：n1＝murmurHash(hash(m))％256获取对应的哈希值n1；或者，根据处理后的用户标识m，采用公式：n2＝(murmurHash(hash(m))％256)*k/256获取对应的哈希值n2；其中，k为计算服务器集群中的计算服务器数量，且k为正整数。4.根据权利要求1至3中任一所述的数据的处理方法，其特征在于，还包括：从所述消息系统中获取实时标签数据，并存储在本地。5.根据权利要求4所述的数据的处理方法，其特征在于，还包括：每隔预设周期，从标签数据库中获取离线标签数据，并存储在本地。6.一种数据服务器，其特征在于，包括：获取模块，用于从消息系统中接收实时流数据，所述实时流数据包括：用户标识和所述用户标识对应的实时流信息；所述获取模块，还用于从本地已存储的标签数据中，获取与所述用户标识对应的离线标签数据和/或实时标签数据；处...

【专利技术属性】
技术研发人员：王云朋，穆纯进，
申请(专利权)人：联通数字科技有限公司，
类型：发明
国别省市：