一种数据访问方法、系统及设备技术方案

技术编号:41937015 阅读:28 留言:0更新日期:2024-07-05 14:30
一种数据访问方法、系统及设备,本申请中,在数据写入时,计算节点将目标数据写入存储节点的持久化内存中,将目标数据的数据索引写入存储节点的DPU的内存中,目标数据的数据索引用于指示目标数据在持久化内存中的存储地址。在存算分离架构中,数据写入主要由计算节点执行,计算节点既能够将数据写入到存储节点的持久化内存中,还能够将数据索引写入到存储节点的DPU内存中,存储节点的处理器(如中央处理器)不需要参与,能够有效降低对存储节点的处理器的算力消耗。

【技术实现步骤摘要】

本申请涉及通信,尤其涉及一种数据访问方法、系统及设备


技术介绍

1、数据中心常采用存算分离,将存储功能以及计算功能分布在独立的节点上,实现计算与存储的解耦合。存算分离的架构下,计算节点具有大量的中央处理单元(centralprocessing unit,cpu)等计算资源,仅有少量存储资源。计算节点具备较强的计算能力。存储节点则具有大量的硬盘等存储资源,存储节点几乎不具备计算能力,但具有强大的存储功能。

2、目前,针对存算分离的架构,提出针对“内存”的存算分离的架构,也即计算节点中不再部署内存或仅部署少量内存,将内存集中在存储节点中。集中在存储节点中内存可以采用持久化内存(persistent memory,pm)减少数据因掉电丢失的情况。

3、在这种针对“内存”的存算分离的架构中,以数据写入为例,计算节点负责将数据写入到存储节点的持久化内存中,存储节点的中央处理器在检测到计算节点写入的数据后,将该数据的数据索引保存到持久化内存中。存储节点的中央处理器只要在检测到计算节点写入的数据后就会进行一次数据索引的更新操作,若计算节点频繁的本文档来自技高网...

【技术保护点】

1.一种数据访问方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述DPU的内存中存储有第一哈希表,所述第一哈希表中包括多个数据的数据索引,所述多个数据包括所述目标数据,所述方法还包括:

3.如权利要求2所述的方法,其特征在于,所述方法还包括:

4.如权利要求2所述的方法,其特征在于,所述DPU将所述第一哈希表中的部分或全部数据索引写入所述持久化内存中的第二哈希表中,包括:

5.如权利要求2-4任一项所述的方法,其特征在于,所述计算节点上部署了多个数据访问代理程序,所述计算节点将所述目标数据的数据索引写入到所述DPU的内存...

【技术特征摘要】

1.一种数据访问方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述dpu的内存中存储有第一哈希表,所述第一哈希表中包括多个数据的数据索引,所述多个数据包括所述目标数据,所述方法还包括:

3.如权利要求2所述的方法,其特征在于,所述方法还包括:

4.如权利要求2所述的方法,其特征在于,所述dpu将所述第一哈希表中的部分或全部数据索引写入所述持久化内存中的第二哈希表中,包括:

5.如权利要求2-4任一项所述的方法,其特征在于,所述计算节点上部署了多个数据访问代理程序,所述计算节点将所述目标数据的数据索引写入到所述dpu的内存中,包括:

6.如权利要求5所述的方法,其特征在于,所述第一数据访问代理程序接收写请求,包括:

7.一种存储系统,其特征在于,所述存储系统包括计算节点以及存储节点,计算节点以及存储节点为相互独立的设备,所述存储节点包括数据处理单元dpu以及持...

【专利技术属性】
技术研发人员:张艺文罗先强万继光王俊岳
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1