【技术实现步骤摘要】
面向DRAM
‑
NVM混合内存的持久学习型索引系统
[0001]本专利技术涉及机器学习领域、非易失性内存领域、内存索引领域、数据结构设计领域和算法设计领域，具体地，涉及一种面向DRAM
‑
NVM混合内存的持久学习型索引系统。
技术介绍
[0002]当代数据处理系统一边面临着日益增长的高性能业务要求，一边受压于不断膨胀的数据集任务规模，使得仅靠DRAM构建内存索引的传统做法很难取得性能与成本配置上的平衡。非易失性内存技术的发展和学习型索引概念的提出为这一问题提出了新的解决方案。非易失性内存NVM是一种大容量、低时延、高带宽、非易失、按字节寻址的新型内存。向索引系统引入NVM的做法不仅在很大程度上缓解了DRAM的压力，同时赋予了索引数据持久化的能力。学习型索引通过机器学习算法学习数据分布、建立模型、预测目标数据的位置。学习型索引只需要储存模型参数，相比较传统索引省去了大量索引结构所需要占据的内存空间。
[0003]非易失性内存和学习型索引分别从硬件配置和索引自身结构的角度出发为内存索引...
【技术保护点】
【技术特征摘要】
1.一种面向DRAM
‑
NVM混合内存的持久学习型索引系统，其特征在于，包括：模型部分：将数据划分为子数据集，对每一子数据集用线性回归模型进行表达，采集每一线性回归模型所覆盖的最大键，构建二层递归式模型索引架构RMI，对局部最大键进行索引，检索得到目标键所属的模型地址；数据部分：包括两类数据结构，分别为Node节点类和Buffer缓冲块类；结构型调整部分：根据数据结构类型，分为缓冲块扩张、缓冲块转换、节点转换和节点分裂，用于保证索引在整个工作负载进行的过程中始终保持正确性和高效性。2.根据权利要求1所述的面向DRAM
‑
NVM混合内存的持久学习型索引系统，其特征在于，所述模型部分包括：采用贪婪算法细分键空间，将只有服从相近线性分布的数据划分到同一个子数据集；采用DRAM为模型部分分配空间。3.根据权利要求1所述的面向DRAM
‑
NVM混合内存的持久学习型索引系统，其特征在于，数据部分包括：使用NVM为数据部分分配空间；将被频繁访问到的节点的拷贝对象储存在DRAM中，将这部分节点称作快捷节点，使用DRAM为快捷节点分配空间。4.根据权利要求1所述的面向DRAM
‑
NVM混合内存的持久学习型索引系统，其特征在于，Node节点类数据结构包括：当前层级为d0层级或d1层级的机器学习模型：d0层级的模型由模型部分训练和索引得到，是索引数据部分的入口，负责输出目标键的所在位置；d1层级的模型在工作负载中动态生成，负责输出索引初始构建完成后新插入的键的位置；元数据：用于指示当前Node的状态和当前Node所处层级；键和对应数据所存放的数组；有效位数组：用于指示键数组中的元素是否有效，实现原地更新和删除操作；指向下层buffer缓冲块类数据结构或d1层级的模型的数组：用于对新插入的键进行数据操作。5.根据权利要求4所述的面向DRAM
‑
NVM混合内存的持久学习型索引系统，其特征在于，根据Node节点类所包含模型所在层级的不同，将Node节点类进一步细分为d0_Node和d1_Node，每个d0_Node对象下挂有多个Buffer对象，用于吸收插入到该节点覆盖范围内的新的不重复的数据；当Buffer对象增长到预设大小后转换为新的Node对象并代替Buffer对象下挂在d0_Node下，根据其相对d0_Node对象的层级关系，把由Buffer对象转换而来的Node对象称作d1_Node。6.根据权利要求1所述的面向DRAM
‑
NVM混合内存的持久学习型索引系统，其特征在于，Buffer缓冲块类数据结构是在工作负载过程中动态生成的数据结构，用于存放索引初始构建阶段完成后新插入的数据。7.根据权利要求1所述的面向DRAM
‑
NVM混合内存的持久学习型索引系统，其特征在于，缓冲块扩张：在buffer达到其容量上限时，为其分配更多内存空间以容纳更多新插入的数据，将能容纳更多数据的buffer称作alpha
‑
buffer；缓冲块转换：在alpha
‑
buffer达到其容量上限时，把alpha
‑
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。