【技术实现步骤摘要】
一种数据分布式缓存自动加载与转换方法
[0001]本专利技术属于数据分布式缓存
,具体涉及一种数据分布式缓存自动加载与转换方法。
技术介绍
[0002]分布式缓存能够处理大量的动态数据,因此比较适合应用在Web 2.0时代中的社交网站等需要由用户生成内容的场景。从本地缓存扩展到分布式缓存后,关注重点从CPU、内存、缓存之间的数据传输速度差异也扩展到了业务系统、数据库、分布式缓存之间的数据传输速度差异,然而市面上各种的数据分布式缓存仍存在各种各样的问题。
[0003]如授权公告号为CN113779043A所公开的一种数据分布式缓存自动加载与转换方法,其虽然实现了通过采用一致性哈希均匀分布的缓存方式,实现基于现一致性哈希分布式数据的环状存储结构,同时采用存入数据的特征提取,使其数据实现向特征的转换,但是并未解决现有分布缓存存在的不能够有效的进行对应缓存,不能够有效的实现多种形式的存储,以及不能够有效的提高数据的安全性,且不能够精准的实现转换处理等的问题,为此我们提出一种数据分布式缓存自动加载与转换方法。
技术实现思路
[0004]本专利技术的目的在于提供一种数据分布式缓存自动加载与转换方法,以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的,本专利技术提供如下技术方案:一种数据分布式缓存自动加载与转换方法,包括有以下方法步骤:
[0006]S1、实现对数据信息进行自动加载存储:采用多节点的Redis分布缓存机构,且每个节点负责一部分数据的存储,所述Redis采用基于 ...
【技术保护点】
【技术特征摘要】
1.一种数据分布式缓存自动加载与转换方法,其特征在于,包括有以下方法步骤:S1、实现对数据信息进行自动加载存储:采用多节点的Redis分布缓存机构,且每个节点负责一部分数据的存储,所述Redis采用基于内存的key
‑
value数据库;S2、建立存储对像,进行数据信息的缓存:Redis分布缓存将Hash视作一个整体作为数据库的value进行存储,把Hash结构的整体看作对象,则Hash结构里的key
‑
value相当于该对象的属性名和属性值;S3、对数据信息进行获取:Redis分布缓存中完成value的相关数据操作,实现对数据的获取,所述Redis采用单线程数据传输,不存在并发数据读写的线程安全问题;S4、在对数据信息进行获取的过程中,对数据信息进行转换:数据信息获取之前,根据获取要求对数据信息进行转换模式处理,在完成数据转换之后,对数据进行传输处理。2.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法,其特征在于:所述S1中的Redis分布缓存的key
‑
value数据库支持的数据结构包括支持简单的k/v类型,还支持List、Set、Hash类型的存储。3.根据权利要求2所述的一种数据分布式缓存自动加载与转换方法,其特征在于:所述Redis分布缓存还支持持久化,所述Redis分布缓存的持久化由RDB和AOF实现。4.根据权利要求3所述的一种数据分布式缓存自动加载与转换方法,其特征在于:所述Redis分布缓存定时将内存中的数据备份到磁盘中,形成一个快照;所述AOF即记录下所述Redis分布缓存中所有的更新操作。5.根据权利要求4所述的一种数据分布式缓存自动加载与转换方法,其特征在于:所述Redis分布缓存中,提供了三种实现AOF的策略,包括:不同步的AOF_FSYNC_NO,不自动触发写操作的同步;每秒同步的AOF_FSYNC_EVERYSEC,每隔一秒都会将写操作同步到磁盘;每次写都同步的AOF_FSYNC_ALWAYS,每次发生写操作会立即同步到磁盘;Redis所述Redis分布缓存采用的是每秒同步的AOF_FSYNC_EVERYSEC策略。6.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法,其特征在于:所述S3对数据的获取过程为了提高所述Redis分布缓存的可靠性,在每个节点进行主备设计,通过设定两个参数来有效地保证数据的一致性,且这两个参数如下所示:min
‑
replicas
‑
to
‑
write和min
‑
...
【专利技术属性】
技术研发人员:陈忠国,李忱,周鑫,江何,门殿春,孟繁荣,姚志强,
申请(专利权)人:北京东方通科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。