基于多NDP协同主机端执行并行任务的KV存储系统优化方法技术方案

本发明专利技术提出的一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法，首先在存储系统中设置多个NDP设备，组成多NDP的可计算存储阵列，每一个NDP设备设置一个对应的键值阈值，并根据键值阈值对NDP设备进行排序，获取各NDP设备的键值区间；主机端将获取的存储数据分发到各NDP设备进行存储；当触发压缩任务时，首先获取参与压缩的文件，结合参与压缩的文件的键值范围和键值阈值，将参与压缩的文件分配到对应的NDP设备进行压缩和存储。本发明专利技术通过压缩任务的动态分割和分配，达到主机端CPU与NDP设备阵列多CPU协同的效果，且实现了NDP设备与键值存储系统的横向扩展能力，通过NDP设备阵列扩展了存储资源和计算资源。

【技术实现步骤摘要】
基于多NDP协同主机端执行并行任务的KV存储系统优化方法
本专利技术涉及数据压缩
，尤其涉及一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法。
技术介绍
计算机技术和互联网的飞速发展促使半结构化和非结构化数据的出现，并且在数据总量中所占比例越来越高，呈指数级增长。而传统关系型数据库在日益增长的非结构化数据规模环境下，无法满足海量数据的高效率存储、高并发和高可扩展性需求。相比而言，键值(key-value)存储不需要预定义数据结构，已被广泛应用于非结构化数据存储和管理，用于提供低延迟的读写速度和支撑海量的数据流量。目前键值存储系统广泛使用日志结构合并树(LSM-tree)来实现数据的存储和管理，将随机写转化为顺序写，从而获得优秀的写性能。为了对数据进行有效的管理，基于日志结构合并树的键值存储系统运行过程中会产生压缩(compaction)操作，用于更新文件文件表(SSTable)并将其迁移到下一个层级。但压缩操作会占用大量主机端与存储设备端I/O带宽，导致性能下降，更新文件文件表也会造成写入数据量放大的问题。为了解决压缩本文档来自技高网...

【技术保护点】
1.一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法，其特征在于，首先在存储系统中设置多个NDP设备，每一个NDP设备设置一个对应的键值阈值，并根据键值阈值对NDP设备进行排序，获取各NDP设备的键值区间；主机端将获取的存储数据分发到各NDP设备进行存储；当触发压缩任务时，首先获取参与压缩的文件，结合参与压缩的文件的键值范围和键值阈值，将参与压缩的文件分配到对应的NDP设备进行压缩任务的并行执行和存储。/n

【技术特征摘要】
1.一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法，其特征在于，首先在存储系统中设置多个NDP设备，每一个NDP设备设置一个对应的键值阈值，并根据键值阈值对NDP设备进行排序，获取各NDP设备的键值区间；主机端将获取的存储数据分发到各NDP设备进行存储；当触发压缩任务时，首先获取参与压缩的文件，结合参与压缩的文件的键值范围和键值阈值，将参与压缩的文件分配到对应的NDP设备进行压缩任务的并行执行和存储。


2.如权利要求1所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法，其特征在于，当主机端获得压缩任务信息，对压缩任务进行分割和分配的方法具体包括以下步骤：
S1、首先获取压缩任务层数Ln，从压缩任务层数Ln筛选待压缩文件；然后在Ln+1层选取所有与待压缩文件键值范围重叠的文件与待压缩文件一起参与压缩，并获取参与压缩的文件的最小键值Kp和最大键值Kq；
S2、判断键值范围Kp～Kq内是否存在键值阈值；
S3、是，则将存在于键值范围Kp～Kq内的键值阈值作为分割界限点，根据分割界限点将参与压缩的文件分割为位于不同阈值区间的任务文件并发送给对应的NDP设备进行压缩处理；
S4、否，则将参与压缩的文件分割为两部分任务文件，分别由主机端和键值范围Kp～Kq对应的NDP设备进行压缩处理。


3.如权利要求2所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法，其特征在于，步骤S4中，将参与压缩的文件平均分割为两个任务。


4.如权利要求2所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法，其特征在于，步骤S4具体为：设置分割键值并以分割键值为界限将参与压缩的文件分割为两个任务；分割键值为参与压缩的第m个文件的键值范围上限值，m＝num/2，其中，num为参与压缩文件的数量。


5.如权利要求2所述的基于多ND...

【专利技术属性】
技术研发人员：孙辉，王强，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽;34