当前位置: 首页 > 专利查询>厦门大学专利>正文

基于分离式内存的写优化哈希索引构建方法及系统技术方案

技术编号:43945246 阅读:23 留言:0更新日期:2025-01-07 21:34
本发明专利技术公开了一种基于分离式内存的写优化哈希索引构建方法及系统,包括:基于分离式内存设计,在内存节点中建立包括目录、段和桶的哈希索引结构,以及建立包括叶子项与非叶子项的目录树结构,并在计算节点缓存相应目录;为桶中每个槽维护相应的预测器,在分裂时通过读取预测器中的相应位指示分裂时槽应放置的位置;在哈希索引引入分裂时,在内存节点中开启一个单线程的内存爬虫定期搜索未更新的预测器;通过被动确认与批处理将多个RDMA操作合并至一个RDAM请求中,将多个往返时间压缩至一个。本发明专利技术将多层级的目录与可扩展哈希结合,以细粒度的方式对哈希索引进行扩展与同步,同时通过预测器部件与优化分裂降低了分裂开销,最终提升写性能。

【技术实现步骤摘要】

本专利技术涉及键值存储与哈希索引,具体涉及一种基于分离式内存的写优化哈希索引构建方法及系统


技术介绍

1、哈希索引,又称散列索引,由于其常数级别的查找时间复杂度而被广泛应用于成为了数据密集型应用的基石,如内存数据库,键值存储系统等,以提供快速的响应。对于任意给定的关键字,哈希索引根据关键字经过散列函数的映射来决定存放键值对的位置。当需要进行搜索请求时,哈希索引将关键字代入散列函数后得到包含该关键字的记录在表中的地址,通过该地址访问获得关键字对应的值。

2、传统的数据中心由多个单片服务器组成,每个服务器都配备有cpu和内存。这种体系结构将计算和存储资源紧密结合,使得数据中心承受资源利用不足,低可扩展性以及总成本高昂的问题。分离式内存将计算和存储资源解耦到一个计算池和一个独立管理和扩展的内存池中。计算池包括许多cpu刀片和少量内存空间,用于缓存部分应用数据,而内存池具有许多内存刀片和轻微的计算能力。计算池可以通过rdma网卡直接与内存池通信,以实现高访问带宽和低延迟。现有哈希索引研究成果主要可分为两类:(1)基于层级的哈希索引(level,cle本文档来自技高网...

【技术保护点】

1.一种基于分离式内存的写优化哈希索引构建方法,其特征在于,包括:

2.根据权利要求1所述的基于分离式内存的写优化哈希索引构建方法,其特征在于,所述S101,具体包括:

3.根据权利要求2所述的基于分离式内存的写优化哈希索引构建方法,其特征在于,所述S102,具体包括:

4.根据权利要求3所述的基于分离式内存的写优化哈希索引构建方法,其特征在于,所述S103,具体包括:

5.根据权利要求4所述的基于分离式内存的写优化哈希索引构建方法,其特征在于,所述S104,具体包括:

6.一种基于分离式内存的写优化哈希索引构建系统,其特征在于...

【技术特征摘要】

1.一种基于分离式内存的写优化哈希索引构建方法,其特征在于,包括:

2.根据权利要求1所述的基于分离式内存的写优化哈希索引构建方法,其特征在于,所述s101,具体包括:

3.根据权利要求2所述的基于分离式内存的写优化哈希索引构建方法,其特征在于,所述s102,具体包括:

...

【专利技术属性】
技术研发人员:沈志荣余子祥张一鸣舒继武
申请(专利权)人:厦门大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1