一种应用于键值存储系统中的数据合并方法和装置制造方法及图纸

本申请实施例提供一种应用于键值存储系统中的数据合并方法和装置，涉及信息技术领域，能够解决KV存储系统中SST文件中存在大量删除操作记录时导致的读取操作性能低的问题。其方法为：判断键值存储系统的第n层级的SST文件中的删除操作记录的数目是否大于第一预设阈值；其中，n为非负整数；当删除操作记录的数目大于该第一预设阈值时，将该第n层级中的第一SST文件与第二SST文件合并；其中，该第二SST文件位于该键值存储系统的第n+1层级，该键值存储系统接收该第一SST文件中的操作记录的时间晚于该键值存储系统接收该第二SST文件中的操作记录的时间。本申请实施例应用于KV存储系统存在大量数据删除的场景。

【技术实现步骤摘要】
一种应用于键值存储系统中的数据合并方法和装置
本申请涉及信息
，尤其涉及一种应用于键值存储系统中的数据合并方法和装置。
技术介绍
目前，在基于日志结构化合并树(logstructuredmergetree，LSMTree)的键值(keyvalue，KV)存储系统进行写操作时，采用追加写的形式。例如，当上层应用写入一条记录时，KV存储系统首先将该记录写入到写前日志(writeaheadlog，WAL)，而后再将该记录写入到内存中的Memtable。当Memtable占用的内存达到一定上限后，KV存储系统可以将Memtable冻结为不可变Memtable，即ImmutableMemtable，将不可变MemTable的数据排序后转储到硬盘，形成静态有序表(staticsortedtable，SST)文件。其中，KV存储系统的硬盘中可以包括多个层级，每一层级可以包含一个或多个SST文件。ImmutableMemtable从内存中写到硬盘时，首先会存储到第0层级。对于删除数据的操作，KV存储系统可以分别在WAL和Memtable中追加写数据被删除的标识记录。KV存储系统进行读取操作时，本文档来自技高网...

【技术保护点】
1.一种应用于键值存储系统中的数据合并方法，其特征在于，包括：判断所述键值存储系统的第n层级的静态排序表SST文件中的删除操作记录的数目是否大于第一预设阈值；其中，n为非负整数；当所述删除操作记录的数目大于所述第一预设阈值时，将所述第n层级中的第一SST文件与第二SST文件合并；其中，所述第二SST文件位于所述键值存储系统的第n+1层级，所述键值存储系统接收所述第一SST文件中的操作记录的时间晚于所述键值存储系统接收所述第二SST文件中的操作记录的时间。

【技术特征摘要】
1.一种应用于键值存储系统中的数据合并方法，其特征在于，包括：判断所述键值存储系统的第n层级的静态排序表SST文件中的删除操作记录的数目是否大于第一预设阈值；其中，n为非负整数；当所述删除操作记录的数目大于所述第一预设阈值时，将所述第n层级中的第一SST文件与第二SST文件合并；其中，所述第二SST文件位于所述键值存储系统的第n+1层级，所述键值存储系统接收所述第一SST文件中的操作记录的时间晚于所述键值存储系统接收所述第二SST文件中的操作记录的时间。2.根据权利要求1所述的应用于键值存储系统中的数据合并方法，其特征在于，所述判断所述键值存储系统的第n层级的静态排序表SST文件中的删除操作记录的数目是否大于第一预设阈值，包括：判断所述第n层级中所有SST文件中的删除操作记录的数目是否大于所述第一预设阈值。3.根据权利要求1所述的应用于键值存储系统中的数据合并方法，其特征在于，所述判断所述键值存储系统的第n层级的静态排序表SST文件中的删除操作记录的数目是否大于第一预设阈值，包括：判断所述第一SST文件中的删除操作记录的数目是否大于所述第一预设阈值。4.根据权利要求1或2所述的应用于键值存储系统中的数据合并方法，其特征在于，所述第一SST文件中的操作记录的主键值与所述第二SST文件中的操作记录的主键值重叠的数量最多或最少。5.根据权利要求2所述的应用于键值存储系统中的数据合并方法，其特征在于，所述第一SST文件是所述第n层级中的所有SST文件中所包括的删除操作记录最多的SST文件。6.一种数据处理装置，其特征在于，包括判断单元和合并单元：所述判断单元，用于判断所述键值存储系统的第n层级的静态排序表SST文件中的删除操作记录的数目是否大...

【专利技术属性】
技术研发人员：瓦伦丁·库茨奈特索夫，李逸，倪敏芳，鹿智婷，欧佳欣，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44