一种基于键值分离技术的多NDP系统读写加速方法技术方案

本发明专利技术公开了一种基于键值分离技术的多NDP系统(Near‑dataprocessing‑NDP,近数据计算)读写加速方法，数据写入时，将写入多NDP系统批处理区的数据键值对进行拆分，确定目标设备，然后进行键处理和值处理，对键进行键存储，键对应的值被追加至目标设备的值日志文件中；数据查询时，对查询的键进行哈希运算，获取到对应的值的目标设备位置信息，然后查询主从多级热缓存，根据获得的值位置索引进行对应值的查询检索。本发明专利技术通过在多NDP系统中引入键值分离技术，执行Compaction时，降低了Compaction的执行时间，减少了Compaction对用户写入操作的影响，大幅提升了写入性能。

【技术实现步骤摘要】

本专利技术涉及多ndp系统数据读写处理，尤其涉及一种基于键值分离技术的多ndp系统读写加速方法。

技术介绍

1、根据预测，全球数据总量预计将从2020年的44zb(1zb＝10^21字节)增长到2025年的175zb。其中，应用于特定数据驱动型应用领域(如社交媒体)的非结构化数据将占全球数据总量的比例超过80％。因此，高效存储和处理这些非结构化数据已成为当前大数据智能处理的前沿热点技术，受到产业界的广泛关注。

2、非结构化数据的复杂性和多样性，使得传统关系型数据库难以存储和管理，而基于lsm-tree数据组织的键值存储因其简单和灵活的特性被广泛用于高效管理非结构化数据，例如leveldb、rocksdb、redis和cassandra等。在lsm-tree中，数据首先被写入以日志为组织结构的内存组件，然后以批量方式周期性地转储到以分层排序字符串为结构的磁盘组件，将随机写转换为顺序写以提高写性能。当内存组件达到预定阈值时，数据将被排序并转储到新的sstable中。随着时间的推移，磁盘上会积累多个键范围重叠的sstable，导致存储空间浪费和读性能本文档来自技高网...

【技术保护点】

1.一种基于键值分离技术的多NDP系统读写加速方法，其特征在于，包括主机端和设备端共同组成的多NDP系统，当：

2.根据权利要求1所述的基于键值分离技术的多NDP系统读写加速方法，其特征在于，所述数据写入时：

3.根据权利要求2所述的基于键值分离技术的多NDP系统读写加速方法，其特征在于，所述流水线式Flush策略包括：

4.根据权利要求1所述的基于键值分离技术的多NDP系统读写加速方法，其特征在于，所述数据查询时，采用主从多级热缓存策略，包括：

5.根据权利要求4所述的基于键值分离技术的多NDP系统读写加速方法，其特征在于，所述主从多级热...

【技术特征摘要】

1.一种基于键值分离技术的多ndp系统读写加速方法，其特征在于，包括主机端和设备端共同组成的多ndp系统，当：

2.根据权利要求1所述的基于键值分离技术的多ndp系统读写加速方法，其特征在于，所述数据写入时：

3.根据权利要求2所述的基于键值分离技术的多ndp系统读写加速方法，其特征在于，所述流水线式flush策略包括：

4.根据权利要求1所述的基于键值分离技术的多ndp系统读写加速方法，其特征在于，所述数据查询时，采用主从多级热缓存策略，包括：

5.根据权利要求4所述的基于...

【专利技术属性】
技术研发人员：孙辉，黄佳明，
申请(专利权)人：安徽大学，
类型：发明
国别省市：