索引处理方法、装置、电子设备及可读存储介质制造方法及图纸

技术编号:41715420 阅读:19 留言:0更新日期:2024-06-19 12:43
本发明专利技术提供一种索引处理方法、装置、电子设备及可读存储介质,属于大数据存储技术。该方法包括:获取动态随机存取存储器中动态资源池的工作负载情况;在工作负载情况指示动态资源池内存占用满足第一预设条件的情况下,对动态资源池中的索引实例数目进行调整;和/或,在工作负载情况指示工作负载模式满足第二预设条件的情况下,对索引实例的索引结构进行调整,工作负载模式表征键值对读取操作与键值对插入操作的比例;根据所调整的索引实例和接收到的键值对操作请求,在非易失存储介质中进行键值对操作请求对应的操作,所述非易失存储介质用于存储键值对数据。能够更加精准地适应存储系统的负载情况,提高存储系统的性能和效率。

【技术实现步骤摘要】

本专利技术实施例涉及大数据存储,尤其涉及一种索引处理方法、装置、电子设备及可读存储介质


技术介绍

1、键值存储固态硬盘(key-value solid state drive,kv ssd)是一种键值存储与非易失性内存标准(nonvolatile memory express,nvme) ssd相结合的特殊存储设备,其利用ssd的高速读写能力和低延迟特性,极大地提升了键值存储的数据访问性能和响应速度。

2、kv ssd通常采用专门的硬件和软件设计,以优化数据的存储、检索和管理过程。基于硬件固件实现的kv ssd,其输入输出(input/output,i/o)路径可按层次进行解析,解析过程如图1所示:

3、用户应用层:用户应用程序通过key-value应用程序编程接口(applicationprogramming interface,api)请求操作。这是最高层的接口,用于向kv ssd发送操作请求。

4、设备驱动层:key-value api与设备驱动程序通信,设备驱动程序负责与底层硬件设备进行交互,并将请求提交到设备本文档来自技高网...

【技术保护点】

1.一种索引处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述在所述工作负载情况指示所述动态资源池内存占用满足第一预设条件的情况下,对所述动态资源池中的索引实例数目进行调整,包括以下任一项:

3.根据权利要求1所述的方法,其特征在于,所述索引结构包括链路层数大于1的多级哈希表、布隆过滤器和纵向跳表,所述多级哈希表中桶存储的键值对数据的位置信息、布隆过滤器的位图索引和纵向跳表的索引指针可完成与所述非易失存储介质中存储的键值对数据的映射,所述位图索引是根据键值对数据中键的哈希值建立的,用于判断键是否存在于所述键值对数据中。

...

【技术特征摘要】

1.一种索引处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述在所述工作负载情况指示所述动态资源池内存占用满足第一预设条件的情况下,对所述动态资源池中的索引实例数目进行调整,包括以下任一项:

3.根据权利要求1所述的方法,其特征在于,所述索引结构包括链路层数大于1的多级哈希表、布隆过滤器和纵向跳表,所述多级哈希表中桶存储的键值对数据的位置信息、布隆过滤器的位图索引和纵向跳表的索引指针可完成与所述非易失存储介质中存储的键值对数据的映射,所述位图索引是根据键值对数据中键的哈希值建立的,用于判断键是否存在于所述键值对数据中。

4.根据权利要求3所述的方法,其特征在于,所述在所述工作负载情况指示工作负载模式满足第二预设条件的情况下,对所述索引实例的索引结构进行调整,包括以下任一项:

5.根据权利要求1所述的方法,其特征在于,所述根据所调整的索引实例和接收到的键值对操作请求...

【专利技术属性】
技术研发人员:刘轩王东旭
申请(专利权)人:中移苏州软件技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1