数据处理方法、装置、介质及电子设备制造方法及图纸

本公开实施例提供了一种数据处理方法、装置、介质及电子设备，涉及大数据技术领域。该方法包括：响应于业务数据请求，确定业务数据请求对应的业务数据的数据标识；基于数据标识以及集群路由规则，确定业务数据对应的目标集群，集群路由规则包括业务数据与集群组中的集群的对应关系；将业务数据路由到目标集群。根据本公开实施例的技术方案，能够根据业务需求灵活地将业务数据保存到指定集群。灵活地将业务数据保存到指定集群。灵活地将业务数据保存到指定集群。

【技术实现步骤摘要】
数据处理方法、装置、介质及电子设备


[0001]本公开涉及大数据
，具体而言，涉及一种数据处理方法、数据处理装置、计算机可读介质及电子设备。

技术介绍

[0002]随着互联网技术的发展，应用系统的数据规模也越来越大。应用系统一般采用数据库缓存技术例如redis数据库来缓存业务数据，通过数据库缓存技术，能够减少对底层数据库(比如mysql)的访问，降低底层数据库的压力，提高应用性能。
[0003]以redis数据库为例，由于集群模式具有良好的负载均衡和高可用能力，在相关技术方案中，采用集群模式部署redis数据库，集群模式中有多个redis数据库节点。虽然理论上集群的节点数最多可以有16384个，但是因为集群的运维限制，节点数并不是越多越好，而且单个节点的内存也有上限，根据运维的经验值，一个集群中节点数不超过150个，单节点内存维持在4GB以下比较好。因此，在这种技术方案中，由于单个集群的容量有限，节点数也不能无限扩展，所以在应用数据量较大，例如数据量大于600G时，就需要将数据保存至多个集群即集群组。
[0004]由于集群本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：响应于业务数据请求，确定所述业务数据请求对应的业务数据的数据标识；基于所述数据标识以及集群路由规则，确定所述业务数据对应的目标集群，所述集群路由规则包括业务数据与集群组中的集群的对应关系；将所述业务数据路由到所述目标集群。2.根据权利要求1所述的方法，其特征在于，所述基于所述数据标识以及集群路由规则，确定所述业务数据对应的目标集群，包括：对所述集群组进行遍历，获取遍历到的所述集群组中的当前集群的集群路由规则；将所述数据标识与所述当前集群的集群路由规则进行匹配；基于匹配结果确定所述业务数据对应的目标集群。3.根据权利要求1所述的方法，其特征在于，所述集群路由规则包括路由关键字，所述路由关键字用于表示所述集群中保存的业务数据的数据范围，将所述数据标识与所述集群的集群路由规则进行匹配，包括：获取所述集群路由规则中的所述路由关键字；通过预定匹配方式对所述集群路由规则中的所述路由关键字与所述数据标识进行匹配。4.根据权利要求3所述的方法，其特征在于，所述预定匹配方式包括：前缀匹配、后缀匹配、包含匹配以及相等匹配中的一种或多种。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：通过哈希运算确定所述数据标识的校验码；基于所述校验码将所述数据标识映射到区间为[0，n)的正整数，其中，所述n为所述集群组的集群数量，所述方法还包括：若遍历结束后，未匹配到所述集群组中...

【专利技术属性】
技术研发人员：王楠，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：