【技术实现步骤摘要】
Engine的安装,其下层安装有元搜索引擎。
[0011]作为本专利技术的进一步方案:步骤五中提出的所述三层缓存数据依照读取频率分层,所述三层缓存呈金字塔式分布,高频读取缓存位于顶端,低频读取缓存位于底端,且高频读取缓存数据量维持较少数目。
[0012]作为本专利技术的进一步方案:所述缓存节点中设置有Master和Slave节点,通过Master与Slave节点实现节点互相切换。
[0013]作为本专利技术的进一步方案:所述中层集合数据库采用基于database的MySQL数据库,所述步骤二中特征提取采用递归特征消除法方式。
[0014]本专利技术的有益效果在于:本专利技术通过采用一致性哈希均匀分布的缓存方式,实现基于现一致性哈希分布式数据的环状存储结构,同时采用存入数据的特征提取,使其数据实现向特征的转换,并针对于特征创立相应集合数据库,采用独立的搜索引擎对内容索引,使其分布式大数据实现统一集合索引,提高检索速度同时,依照数据节点的超链对应,形成数据的精准读取,同步的配合三层缓存的方式,针对于时效性的缓存数据而言,对于清除的缓存数据 ...
【技术保护点】
【技术特征摘要】
1.一种数据分布式缓存自动加载与转换方法,其特征在于,包括以下方法:步骤一:建立分布式数据缓存,通过MurmurHash计算方式实现hash计算,通过java的TreeMap来模拟环状结构,实现数据一致性哈希缓存节点均匀分布;步骤二:原始数据存入所述分布式数据缓存下层的数据库中,并对数据进行特征提取处理;步骤三:所述步骤二中提取的特征数据建立与对应原始数据的索引超链,并提取原始数据位于模拟环状结构的对应数据节点部署;步骤四:依据所述分布式数据缓存建立中层集合数据库,并基于中层集合数据库装载特征搜索引擎;步骤五:在所述集合数据库中建立三层缓存,并对预清理缓存进行提前量读取,实现缓存数据垃圾桶整合策略。2.根据权利要求1所述的一种数据分布式缓存自动加载与转换方法,其特征在于:所述特征搜...
【专利技术属性】
技术研发人员:陈忠国,李忱,周鑫,江何,门殿春,孟繁荣,姚志强,
申请(专利权)人:北京东方通科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。