The invention discloses a data processing method, a routing layer device and a system thereof, which are used for improving the utilization efficiency of data storage resources. The embodiment of the invention provides a data processing method, which is based on the routing layer device receives the data sent by the client request, the data operation request includes data corresponding to the key to key treatment; the routing layer device corresponding to the selected key from the data nodes in the cluster according to the consistency of the hash algorithm first data node that includes the data nodes in the cluster: at least two data node, the first node data including the data node at least two data nodes in the routing layer; the data of equipment operation request is forwarded to the first node from the data, the first data node according to the data request the data to be processed for business process.
【技术实现步骤摘要】
本专利技术涉及计算机
,尤其涉及一种数据处理方法和路由层设备以及系统。
技术介绍
在分布式数据缓存服务中,为具备容灾能力,现有技术中可以利用数据缓存主备双倍机器来保证,数据路由访问为类哈希方式。其表现缺陷为在正常情况下冗余备份造成机器浪费严重。举例说明,基于Keepalived的Redis分布式缓存集群是一个无共享的(shared-nothing)、分布式节点架构的存储方案,其目的是提供容错性和高性能。Redis集群方案中有一种实现方式是采用Keepalived技术保证集群具备容灾和高可用能力。Keepalived是一个用C语言编写的路由选择软件,配合互联网协议虚拟服务器(Internet Protocol Virtual Server,IPVS)负载均衡使用,通过虚拟路由冗余协议(Virtual Router Redundancy Protocol,VRRP)协议提供高可用性能,从而实现一主多备,主挂后备自动选举,漂移虚拟IP,切换速度秒级等功能,切换时可通过运行指定脚本更改业务服务状态。在目前基于主备存储来保证高可靠,具备容灾能力的集群方案中,至少存在如下技术缺陷:前端访问数据对应路由有固定的静态绑定关系,并且冗余备份造成机器浪费严重,在正常情况下备机处于“无用”状态,整体资源成倍浪费。
技术实现思路
本专利技术实施例提供了一种数据处理方法和路由层设备以及系统,用于提高数据存储资源的利用效率。为解决上述技术问题,本专利技术实施例提供以下技术方案:第一方面,本专利技术实施例提供一种基于数据处理方法,包括:路由层设备接收客户端发送的数据操作请求,所述数 ...
【技术保护点】
一种数据处理方法,其特征在于,包括:路由层设备接收客户端发送的数据操作请求,所述数据操作请求包括:待处理数据对应的键key;所述路由层设备根据一致性哈希算法从数据节点集群中选取所述键对应的第一数据节点,所述数据节点集群中包括:至少两个数据节点,所述第一数据节点包括所述至少两个数据节点中的数据节点;所述路由层设备将所述数据操作请求转发给所述第一数据节点,由所述第一数据节点根据所述数据操作请求对所述待处理数据进行业务处理。
【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:路由层设备接收客户端发送的数据操作请求,所述数据操作请求包括:待处理数据对应的键key;所述路由层设备根据一致性哈希算法从数据节点集群中选取所述键对应的第一数据节点,所述数据节点集群中包括:至少两个数据节点,所述第一数据节点包括所述至少两个数据节点中的数据节点;所述路由层设备将所述数据操作请求转发给所述第一数据节点,由所述第一数据节点根据所述数据操作请求对所述待处理数据进行业务处理。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:所述路由层设备周期性的发送心跳检测包到所述数据节点集群中的所有数据节点;所述路由层设备判断在预置的时间阈值内是否接收到所述数据节点集群中的数据节点发送的心跳响应包;所述路由层设备将没有向所述路由层设备发送心跳响应包的数据节点的节点状态设置为不可用服务。3.根据权利要求2所述的方法,其特征在于,所述路由层设备将没有向所述路由层设备发送心跳响应包的数据节点的节点状态设置为不可用服务之后,所述方法还包括:所述路由层设备向节点状态为不可用服务的第二数据节点继续发送心跳检测包;所述路由层设备在预置的时间阈值内接收到所述第二数据节点发送的心跳响应包时,恢复所述第二数据节点的节点状态为可用状态。4.根据权利要求1所述的方法,其特征在于,所述路由层设备根据一致性哈希算法从数据节点集群中选取所述键对应的第一数据节点,包括:所述路由层设备读取所述数据节点集群中每个数据节点的节点状态,所述节点状态包括:不可用服务,或者可用服务;所述路由层设备从节点状态为可用服务的所有数据节点中根据一致性哈希算法选取所述键对应的第一数据节点。5.根据权利要求1至4中任一项所述的方法,其特征在于,所述路由层设备根据一致性哈希算法从数据节点集群中选取所述键对应的第一数据节点,包括:所述路由层设备加载初始的至少两个数据节点构成一致性哈希节点环;所述路由层设备根据一致性哈希算法计算所述键对应所述一致性哈希节点环上的位置,从该位置出发沿着所述一致性哈希节点环查找,直到遇见的数据节点即为所述键对应的第一数据节点。6.根据权利要求5所述的方法,其特征在于,所述方法还包括:当所述数据节点集群中新增加数据节点时,所述路由层设备将新的数据节点加入到所述一致性哈希节点环中;当所述数据节点集群中存在服务状态为不可服务的数据节点时,所述路由层设备将所述服务状态为不可服务的数据节点从所述一致性哈希节点环中剔除。7.一种路由层设备,其特征在于,包括:接收模块,用于接收客户端发送的数据操作请求,所述数据操作请求包括:待处理数据对应的键key;数据节...
【专利技术属性】
技术研发人员:樊安之,陈鼎钟,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。