一种数据分布式缓存自动加载与转换方法技术

技术编号:31322820 阅读:40 留言:0更新日期:2021-12-13 00:10
本发明专利技术公开了一种数据分布式缓存自动加载与转换方法,具体涉及数据库技术领域,通过采用一致性哈希均匀分布的缓存方式,实现基于现一致性哈希分布式数据的环状存储结构,同时采用存入数据的特征提取,使其数据实现向特征的转换,并针对于特征创立相应集合数据库,采用独立的搜索引擎对内容索引,使其分布式大数据实现统一集合索引,提高检索速度同时,依照数据节点的超链对应,形成数据的精准读取,同步的配合三层缓存的方式,针对于时效性的缓存数据而言,对于清除的缓存数据单独存储,实现高频率文件的集合,降低再次通过分布式存储数据调用,一定程度上减缓了分布式存储的数据压力,同时针对于缓存效果进一步增强。同时针对于缓存效果进一步增强。同时针对于缓存效果进一步增强。

【技术实现步骤摘要】
Engine的安装,其下层安装有元搜索引擎。
[0011]作为本专利技术的进一步方案:步骤五中提出的所述三层缓存数据依照读取频率分层,所述三层缓存呈金字塔式分布,高频读取缓存位于顶端,低频读取缓存位于底端,且高频读取缓存数据量维持较少数目。
[0012]作为本专利技术的进一步方案:所述缓存节点中设置有Master和Slave节点,通过Master与Slave节点实现节点互相切换。
[0013]作为本专利技术的进一步方案:所述中层集合数据库采用基于database的MySQL数据库,所述步骤二中特征提取采用递归特征消除法方式。
[0014]本专利技术的有益效果在于:本专利技术通过采用一致性哈希均匀分布的缓存方式,实现基于现一致性哈希分布式数据的环状存储结构,同时采用存入数据的特征提取,使其数据实现向特征的转换,并针对于特征创立相应集合数据库,采用独立的搜索引擎对内容索引,使其分布式大数据实现统一集合索引,提高检索速度同时,依照数据节点的超链对应,形成数据的精准读取,同步的配合三层缓存的方式,针对于时效性的缓存数据而言,对于清除的缓存数据单独存储,并依照读取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据分布式缓存自动加载与转换方法,其特征在于,包括以下方法:步骤一:建立分布式数据缓存,通过MurmurHash计算方式实现hash计算,通过java的TreeMap来模拟环状结构,实现数据一致性哈希缓存节点均匀分布;步骤二:原始数据存入所述分布式数据缓存下层的数据库中,并对数据进行特征提取处理;步骤三:所述步骤二中提取的特征数据建立与对应原始数据的索引超链,并提取原始数据位于模拟环状结构的对应数据节点部署;步骤四:依据所述分布式数据缓存建立中层集合数据库,并基于中层集合数据库装载特征搜索引擎;步骤五:在所述集合数据库中建立三层缓存,并对预清理缓存进行提前量读取,实现缓存数据垃圾桶整合策略。2.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法,其特征在于:所述特征搜...

【专利技术属性】
技术研发人员:陈忠国李忱周鑫江何门殿春孟繁荣姚志强
申请(专利权)人:北京东方通科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1