基于日志结构合并树合并数据的方法、系统、设备及介质技术方案

本发明专利技术公开了一种基于日志结构合并树合并数据的方法、系统、设备和存储介质，方法包括：将磁盘分成预设大小的数据块，将数据保存在数据块并将数据的信息保存在索引块；每隔预定时间合并当前预定数量的索引块以形成新的索引块，并根据新的索引块的信息判断对应的数据块的有效数据是否小于阈值；响应于存在多个数据块的有效数据小于阈值，将多个数据块的有效数据进行合并，并释放不存在有效数据的数据块；响应于只存在一个数据块的有效数据小于阈值，将该数据块的有效数据合并到除该数据块外有效数据最低的数据块中。本发明专利技术通过将数据索引与数据分离，数据保存到预先分配的数据块，按照索引进行数据的合并和回收，减少磁盘的读写数据量。

【技术实现步骤摘要】
基于日志结构合并树合并数据的方法、系统、设备及介质
本专利技术涉及数据处理领域，更具体地，特别是指一种基于日志结构合并树合并数据的方法、系统、计算机设备及可读介质。
技术介绍
LSM-Tree(Log-StructuredMerge-Tree，日志结构合并树)最早在一篇论文《TheLog-StructuredMerge-Tree(LSM-Tree)》中被提出，本身并不是一个产品或者系统，而是一种解决问题的算法和思想。基于该思想实现了多个存储产品，例如HBase、LevelDB等NoSQL存储系统。其核心思想是将随机写转换为顺序写来提高写性能，然后定期进行数据合并(Compaction)来提高读性能。基于该论文，一种常见的实现方式是将数据分层，分别为L0-Ln，然后定期将L层的数据合并到L+1层，这种方式在合并过程会产生大量的磁盘读取和写入，并最终影响到上层应用的性能。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种基于日志结构合并树合并数据的方法、系统、计算机设备及计算机可读存储介质，通过将数据索引与数据分离，数本文档来自技高网...

【技术保护点】
1.一种基于日志结构合并树合并数据的方法，其特征在于，包括以下步骤：/n将磁盘分成预设大小的数据块，将数据保存在所述数据块并将所述数据的信息保存在索引块；/n每隔预定时间合并当前预定数量的索引块以形成新的索引块，并根据所述新的索引块的信息判断对应的数据块的有效数据是否小于阈值；/n响应于存在多个数据块的有效数据小于所述阈值，将所述多个数据块的有效数据进行合并，并释放不存在有效数据的数据块；以及/n响应于只存在一个数据块的有效数据小于所述阈值，将所述数据块的有效数据合并到除所述数据块外有效数据最低的数据块中。/n

【技术特征摘要】
1.一种基于日志结构合并树合并数据的方法，其特征在于，包括以下步骤：
将磁盘分成预设大小的数据块，将数据保存在所述数据块并将所述数据的信息保存在索引块；
每隔预定时间合并当前预定数量的索引块以形成新的索引块，并根据所述新的索引块的信息判断对应的数据块的有效数据是否小于阈值；
响应于存在多个数据块的有效数据小于所述阈值，将所述多个数据块的有效数据进行合并，并释放不存在有效数据的数据块；以及
响应于只存在一个数据块的有效数据小于所述阈值，将所述数据块的有效数据合并到除所述数据块外有效数据最低的数据块中。


2.根据权利要求1所述的方法，其特征在于，所述每隔预定时间合并当前预定数量的索引块以形成新的索引块包括：
将所述预定数量的索引块中不同的子索引全部保留，相同的子索引只保留最新的一个。


3.根据权利要求1所述的方法，其特征在于，还包括：
响应于数据块被释放，对所述数据块进行回收标记以允许保存新的数据。


4.根据权利要求1所述的方法，其特征在于，还包括：
响应于不存在数据块的有效数据小于所述阈值，暂停接收新数据直到下个周期。


5.一种基于日志结构合并树合并数据的方法，其特征在于，包括：
切分模块，配置用于将磁盘分成预设大小的数据块，将数据保存在所述数据块并将所述数据的信息保存在索引块；
判断模块，配置用于每隔预定时间合并当前预定数量...

【专利技术属性】
技术研发人员：于鲁宪，侯斌，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32