数据处理方法及装置制造方法及图纸

提供一种数据处理方法及装置。该数据处理方法包括：获取预设时长内从日志结构合并LSM树中读取的热键；确定所述读取的热键的总大小；基于确定的所述读取的热键的总大小调整所述LSM树的多个层中的每个层的大小。述LSM树的多个层中的每个层的大小。述LSM树的多个层中的每个层的大小。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本公开涉及数据处理。更具体地，本公开涉及一种数据处理方法和用于执行数据处理方法的装置。

技术介绍

[0002]目前，存储和访问数百拍字节(PB)的数据是一个非常大的挑战，开源的RocksDB是用来存储和访问数百拍字节(PB)的数据的一种数据库。RocksDB是Facebook的开放的存储数据库，其是用C++编写的嵌入式的键值(Key
‑
Value，简称为KV)型数据库，且RocksDB使用日志结构合并树(Log Structured Merge，简称为LSM)存储引擎存储数据，数据在存储设备上以排序序列表(Sorted Sequence Table，简称为SST)文件的形式存在。
[0003]但是，相关技术中的RocksDB，在压缩(Compaction)过程中键被混合并保存在下层，读取的数据没有根据热度保持在不同的级别，这将导致高读取放大率和糟糕的读取性能，特别是在读取量大的工作负载下。

技术实现思路

[0004]示例根据本公开的示例实施例，提供一种数据处理方法，包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取预设时长内从日志结构合并LSM树中读取的热键；确定所述读取的热键的总大小；基于确定的所述读取的热键的总大小调整所述LSM树的多个层中的每个层的大小。2.根据权利要求1所述的方法，其中，所述获取预设时长内从日志结构合并LSM树中读取的热键的步骤包括：确定读取热度阈值；获取基于所述读取热度阈值确定的热键。3.根据权利要求2所述的方法，其中，所述基于所述读取的热键的总大小调整所述LSM树的多个层中的每个层的大小的步骤包括：确定所述预设时长内所述多个层中的当前层的上层的总大小；基于所述读取的热键的总大小和所述当前层的上层的总大小调整所述多个层中的每个层的大小。4.根据权利要求3所述的方法，其中，所述基于所述读取的热键的总大小和所述当前层的上层的总大小调整所述多个层中的每个层的大小的步骤包括：将所述读取的热键的总大小和所述当前层的上层的总大小进行比较，得到比较结果；基于所述比较结果确定是否调整所述多个层中的每个层的大小；当确定调整所述多个层中的每个层的大小时，根据第一规则来调整所述多个层中的每个层的大小。5.根据权利要求4所述的方法，其中，所述基于所述比较结果确定是否调整所述多个层中的每个层的大小的步骤包括：当所述读取的热键的总大小位于所述当前层的上层的总大小的第一倍数范围时，确定调整所述多个层中的每个层的大小；当所述读取的热键的总大小位于所述当前层的上层的总大小的第二倍数范围时，确定不调整所述多个层中的每个层的大小；当所述读取的热键的总大小位于所述当前层的上层的总大小的第三倍数范围和第四倍数范围时，根据第二规则对读取热度阈值进行更新，并且跳转至获取所述预设时长内从所述LSM树中读取的键中基于所述读取热度阈值确定的全部热键的步骤。6.根据权利要求4所述的方法，其中，所述根据第一规则来调整所述多个层中的每个层的大小的步骤包括：将所述多个层中的从上到下的第一数量个层的大小分别减小第一数值的第一预设比例；将所述多个层中的从下到上的第二数量个层...

【专利技术属性】
技术研发人员：贺杏，闫浩，陈昭，张怡雯，杨延龙，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：