一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:34474469 阅读:21 留言:0更新日期:2022-08-10 08:49
本申请提供了一种数据处理方法、装置、电子设备及存储介质,属于数据处理技术领域。本申请通过,实时获取第一redis集群对应的第一存储容量,其中,所述第一存储容量随着写入所述第一redis集群的数据的增加而增加;当所述第一存储容量大于或等于第一容量阈值时,获取第一redis集群对应的第一待写入数据,停止向所述第一redis集群写入所述第一待写入数据,以及,将所述第一待写入数据写入第二redis集群。从而实现以一套备用redis集群的资源,给redis集群提供自动扩容能力,从而提高对redis存储容量进行扩容的效率。并且,扩容过程中,无需对redis集群进行关机操作,从而可以保证服务的稳定性,提高用户体验。提高用户体验。提高用户体验。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
,尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]Redis(Remote Dictionary Server),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key

Value数据库。由于redis存储容量不足时,容易导致redis服务不可用。因此,使用redis服务时常常面临需要对redis存储容量进行扩容的问题。
[0003]目前,对redis存储容量进行扩容的主要方式为手动扩容,具体为,当发现redis集群存储容量不足时,将redis集群关机,将每个节点的资源升级后,再将redis集群启动起来。
[0004]然而,利用手动扩容的方式对redis存储容量进行扩容效率低下,并且,由于每次扩容时需要对redis集群进行关机的操作,关机期间无法正常提供服务,影响用户体验。

技术实现思路

[0005]本申请实施例的目的在于提供一种数据处理方法、装置、电子设备及存储介质,以解决利用手动扩缩容的方式对redis存储容量进行扩缩容效率低下的问题。具体技术方案如下:
[0006]第一方面,提供了一种数据处理方法,所述方法包括:
[0007]实时获取第一redis集群对应的第一存储容量,其中,所述第一存储容量随着写入所述第一redis集群的数据的增加而增加;
[0008]当所述第一存储容量大于或等于第一容量阈值时,获取第一redis集群对应的第一待写入数据,停止向所述第一redis集群写入所述第一待写入数据,以及,将所述第一待写入数据写入第二redis集群。
[0009]在一个可能的实施方式中,所述方法还包括:
[0010]当所述第一存储容量大于或等于第一容量阈值时,获取所述第一redis集群中数据过期时长小于预设时长阈值的目标数据,所述数据过期时长为数据存储时长与有效存储时长的差值;
[0011]将所述目标数据写入所述第二redis集群,以及,在所述第一redis集群中删除所述目标数据。
[0012]在一个可能的实施方式中,所述方法还包括:
[0013]在将所述待写入数据写入第二redis集群的过程中,获取所述第一redis集群对应的第二存储容量,其中,所述第二存储容量随着所述第一redis集群中的数据的减少而减少;
[0014]当所述第二存储容量小于或等于第二容量阈值时,停止向所述第二redis集群写
入数据,以及,获取第二待写入数据,将所述第二待写入数据写入所述第一redis集群,其中,所述第二容量阈值小于所述第一容量阈值。
[0015]在一个可能的实施方式中,所述方法还包括:
[0016]接收第一应用程序发送的第一访问请求;
[0017]确定所述第一访问请求是否为慢命令,所述慢命令为预设时间段内访问所述第一redis集群时,响应时间超过预设时间阈值的访问请求;
[0018]在所述第一访问请求为非慢命令时,将所述第一访问请求发送至所述第一redis集群;
[0019]在所述第一访问请求为慢命令时,忽略所述第一访问请求。
[0020]在一个可能的实施方式中,所述方法还包括:
[0021]在所述第一访问请求为慢命令时,确定当前同时访问所述第一redis集群的第二访问请求的数量;
[0022]在所述数量小于预设数量阈值时,将所述第一访问请求发送至所述第一redis集群;
[0023]在所述数量大于或等于预设数量阈值时,忽略所述第一访问请求。
[0024]第二方面,提供了一种数据处理装置,所述装置包括:
[0025]第一获取模块,用于实时获取第一redis集群对应的第一存储容量,其中,所述第一存储容量随着写入所述第一redis集群的数据的增加而增加;
[0026]第一写入模块,用于当所述第一存储容量大于或等于第一容量阈值时,获取第一redis集群对应的第一待写入数据,停止向所述第一redis集群写入所述第一待写入数据,以及,将所述第一待写入数据写入第二redis集群。
[0027]在一个可能的实施方式中,所述装置还包括:
[0028]第二获取模块,用于当所述第一存储容量大于或等于第一容量阈值时,获取所述第一redis集群中数据过期时长小于预设时长阈值的目标数据,所述数据过期时长为数据存储时长与有效存储时长的差值;
[0029]第二写入模块,用于将所述目标数据写入所述第二redis集群,以及,在所述第一redis集群中删除所述目标数据。
[0030]在一个可能的实施方式中,所述装置还包括:
[0031]第三获取模块,用于在将所述待写入数据写入第二redis集群的过程中,获取所述第一redis集群对应的第二存储容量,其中,所述第二存储容量随着所述第一redis集群中的数据的减少而减少;
[0032]第三写入模块,用于当所述第二存储容量小于或等于第二容量阈值时,停止向所述第二redis集群写入数据,以及,获取第二待写入数据,将所述第二待写入数据写入所述第一redis集群,其中,所述第二容量阈值小于所述第一容量阈值。
[0033]在一个可能的实施方式中,所述方法还包括:
[0034]接收模块,用于接收第一应用程序发送的第一访问请求;
[0035]第一确定模块,用于确定所述第一访问请求是否为慢命令,所述慢命令为预设时间段内访问所述第一redis集群时,响应时间超过预设时间阈值的访问请求;
[0036]第一发送模块,用于在所述第一访问请求为非慢命令时,将所述第一访问请求发
送至所述第一redis集群;
[0037]第一忽略模块,用于在所述第一访问请求为慢命令时,忽略所述第一访问请求。
[0038]在一个可能的实施方式中,所述方法还包括:
[0039]第二确定模块,用于在所述第一访问请求为慢命令时,确定当前同时访问所述第一redis集群的第二访问请求的数量;
[0040]第二发送模块,用于在所述数量小于预设数量阈值时,将所述第一访问请求发送至所述第一redis集群;
[0041]第二忽略模块,用于在所述数量大于或等于预设数量阈值时,忽略所述第一访问请求。
[0042]第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
[0043]存储器,用于存放计算机程序;
[0044]处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的方法步骤。
[0045]第四方面,提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
[0046]第五方面,提供了一种包含指令的计算本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:实时获取第一redis集群对应的第一存储容量,其中,所述第一存储容量随着写入所述第一redis集群的数据的增加而增加;当所述第一存储容量大于或等于第一容量阈值时,获取第一redis集群对应的第一待写入数据,停止向所述第一redis集群写入所述第一待写入数据,以及,将所述第一待写入数据写入第二redis集群。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:当所述第一存储容量大于或等于第一容量阈值时,获取所述第一redis集群中数据过期时长小于预设时长阈值的目标数据,所述数据过期时长为数据存储时长与有效存储时长的差值;将所述目标数据写入所述第二redis集群,以及,在所述第一redis集群中删除所述目标数据。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:在将所述待写入数据写入第二redis集群的过程中,获取所述第一redis集群对应的第二存储容量,其中,所述第二存储容量随着所述第一redis集群中的数据的减少而减少;当所述第二存储容量小于或等于第二容量阈值时,停止向所述第二redis集群写入数据,以及,获取第二待写入数据,将所述第二待写入数据写入所述第一redis集群,其中,所述第二容量阈值小于所述第一容量阈值。4.根据权利要求1所述的方法,其特征在于,所述方法还包括:接收第一应用程序发送的第一访问请求;确定所述第一访问请求是否为慢命令,所述慢命令为预设时间段内访问所述第一redis集群时,响应时间超过预设时间阈值的访问请求;在所述第一访问请求为非慢命令时,将所述第一访问请求发送至所述第一redis集群;在所述第一访问请求为慢命令时,忽略所述第一访问请求。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:在所述第一访问请求为慢命令时,确定当前同时访问所述第一redis集群的第二访问请求的数量;在所述数量小于预设数量阈值时,将所述第一访问请求发送至所述第一redis集群;在所述数量大于或等于预设数量阈...

【专利技术属性】
技术研发人员:林建明刘长声杜亚威
申请(专利权)人:深圳萨摩耶数字科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1