【技术实现步骤摘要】
一种数据处理方法及装置
[0001]本专利技术涉及数据存储
，尤其涉及一种数据处理方法及装置。
技术介绍
[0002]日志结构合并树(Log
‑
Structured Merge
‑
Tree，LSM树)是一种基于硬盘的数据存储结构，其主要工作原理为：将数据分层存储，当进行更新数据的写入时，先将更新数据以日志的方式写入LSM树的最上层中，并在满足合并(Compaction)条件时，使用归并排序的方式对LSM树存储的数据合并。由于LSM树无需每一次有更新数据需要写入时就进行随机写入，因此LSM树能够降低磁盘的寻道次数，进而改善持久化存储的性能，非常其适用于随机写入的情况。
[0003]对LSM树存储的文件进行合并，又称为LSM树形态调整。通过对LSM树存储的数据进行合并，可以减少无效数据，进而减少LSM树存储的数据量，提高存储效率。然而，由于对LSM树存储的数据进行合并的过程中需要消耗大量的计算资源，因此LSM树形态调整可能会影响数据存储系统的性能。
技术实现思路
[0004]有鉴于此，本专利技术提供了一种数据处理方法及装置，用于避免LSM树形态调整影响数据存储系统的性能。
[0005]为了实现上述目的，本专利技术实施例提供技术方案如下：
[0006]第一方面，本专利技术的实施例提供了一种数据处理方法，应用于数据存储系统，所述方法包括：
[0007]选取待执行的合并任务，所述合并任务用于对LSM树存储的至少两个数据块进行合并；>[0008]判断所述数据存储系统的计算资源占用率是否小于阈值占用率；
[0009]若所述计算资源占用率大于或等于所述阈值占用率，则将所述合并任务发送至功能即服务功能即服务平台，并接收所述功能即服务平台发送的合并数据块；其中，所述合并数据块为合并所述至少两个数据块生成的数据块；
[0010]将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。
[0011]作为本专利技术实施例一种可选的实施方式，所述将所述合并任务发送至功能即服务平台，并接收所述功能即服务平台返回的合并数据块，包括：
[0012]向所述功能即服务平台发送用于执行所述合并任务的请求信息，并接收所述功能即服务平台中用于执行所述合并任务的功能即服务容器标识；
[0013]将所述合并任务的任务信息发送至所述功能即服务容器，所述任务信息携带有所述至少两个数据块中各数据块的标识；
[0014]接收所述功能即服务容器发送的用于请求读取所述至少两个数据块的数据读取
请求，并向所述功能即服务容器发送所述至少两个数据块；
[0015]接收所述功能即服务容器发送的所述合并数据块。
[0016]作为本专利技术实施例一种可选的实施方式，所述方法还包括：
[0017]若所述计算资源占用率小于所述阈值占用率，则基于所述数据存储系统的计算资源执行所述合并任务。
[0018]作为本专利技术实施例一种可选的实施方式，所述基于所述数据存储系统的计算资源执行所述合并任务，包括：
[0019]从所述LSM树中读取所述至少两个数据块；
[0020]基于所述数据存储系统的计算资源对所述至少两个数据块进行合并，生成合并数据块。
[0021]作为本专利技术实施例一种可选的实施方式，在选取待执行的合并任务之前，所述方法还包括：
[0022]从所述LSM树存储的文件中确定至少一个待合并文件组，所述待合并文件组包括至少两个需要进行合并的文件；
[0023]确定各所述待合并文件组内的至少一个文件中需要参与合并的目标文件片段；
[0024]根据各个待合并文件组对应的目标文件片段，生成各个待合并文件组对应的合并任务；
[0025]所述选取待执行的合并任务，包括：
[0026]在各个待合并文件组对应的合并任务中选取待执行的合并任务。
[0027]第二方面，本专利技术实施例提供一种数据处理方法，应用于功能即服务平台，所述方法包括：
[0028]接收数据存储系统发送的用于执行合并任务的请求信息，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；
[0029]执行所述合并任务，生成合并数据块，所述合并数据块为合并所述至少两个数据块生成的数据块；
[0030]向所述数据存储系统发送所述合并数据块。
[0031]作为本专利技术实施例一种可选的实施方式，所述执行所述合并任务，生成合并数据块，包括：
[0032]创建用于执行所述合并任务的功能即服务容器；
[0033]向所述数据存储系统发送所述功能即服务容器的标识；
[0034]通过所述功能即服务容器接收所述数据存储系统发送的所述合并任务对应的任务信息，所述任务信息携带有所述合并任务所要合并的至少两个数据块的标识；
[0035]通过所述功能即服务容器向所述数据存储系统发送用于请求获取所述至少两个数据块的数据读取请求，并接收所述数据存储系统发送的所述至少两个数据块；
[0036]通过所述功能即服务容器对所述至少两个数据块进行合并，生成所述合并数据快。
[0037]作为本专利技术实施例一种可选的实施方式，在通过所述功能即服务容器将所述合并数据快发送至所述数据存储系统之后，注销所述功能即服务容器。
[0038]第三方面，本专利技术实施例提供一种数据存储系统，包括：
[0039]选取单元，用于选取待执行的合并任务，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；
[0040]处理单元，用于判断所述数据存储系统的计算资源占用率是否小于阈值占用率；
[0041]合并单元，在所述计算资源占用率大于或等于所述阈值占用率的情况下，将所述合并任务发送至功能即服务平台，并接收所述功能即服务平台返回的合并数据块；其中，所述合并数据块为合并所述至少两个数据块生成的数据块；
[0042]读写单元，用于将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。
[0043]作为本专利技术实施例一种可选的实施方式，所述合并单元，具体用于向所述功能即服务平台发送用于执行所述合并任务的请求信息，并接收所述功能即服务平台中用于执行所述合并任务的功能即服务容器标识；将所述合并任务的任务信息发送至所述功能即服务容器，所述任务信息携带有所述至少两个数据块中各数据块的标识；接收所述功能即服务容器发送的用于请求读取所述至少两个数据块的数据读取请求，并向所述功能即服务容器发送所述至少两个数据块；接收所述功能即服务容器发送的所述合并数据块。
[0044]作为本专利技术实施例一种可选的实施方式，所述合并单元，还用于在所述计算资源占用率小于所述阈值占用率的情况下，基于所述数据存储系统的计算资源执行所述合并任务。
[0045]作为本专利技术实施例一种可选的实施方式，所述合并单元，具体用于从所述LSM树中读取所述至少两个数据块；基于所述本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据存储系统，所述方法包括：选取待执行的合并任务，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；判断所述数据存储系统的计算资源占用率是否小于阈值占用率；若所述计算资源占用率大于或等于所述阈值占用率，则将所述合并任务发送至功能即服务平台，并接收所述功能即服务平台返回的合并数据块；其中，所述合并数据块为合并所述至少两个数据块生成的数据块；将所述合并数据块写入所述LSM树，并将所述至少两个数据块从所述LSM树中删除。2.根据权利要求1所述的方法，其特征在于，所述将所述合并任务发送至功能即服务平台，并接收所述功能即服务平台返回的合并数据块，包括：向所述功能即服务平台发送用于执行所述合并任务的请求信息，并接收所述功能即服务平台中用于执行所述合并任务的功能即服务容器标识；将所述合并任务的任务信息发送至所述功能即服务容器，所述任务信息携带有所述至少两个数据块中各数据块的标识；接收所述功能即服务容器发送的用于请求读取所述至少两个数据块的数据读取请求，并向所述功能即服务容器发送所述至少两个数据块；接收所述功能即服务容器发送的所述合并数据块。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述计算资源占用率小于所述阈值占用率，则基于所述数据存储系统的计算资源执行所述合并任务。4.根据权利要求3所述的方法，其特征在于，所述基于所述数据存储系统的计算资源执行所述合并任务，包括：从所述LSM树中读取所述至少两个数据块；基于所述数据存储系统的计算资源对所述至少两个数据块进行合并，生成合并数据块。5.根据权利要求1所述的方法，其特征在于，在选取待执行的合并任务之前，所述方法还包括：从所述LSM树存储的文件中确定至少一个待合并文件组，所述待合并文件组包括至少两个需要进行合并的文件；确定各所述待合并文件组内的至少一个文件中需要参与合并的目标文件片段；根据各个待合并文件组对应的目标文件片段，生成各个待合并文件组对应的合并任务；所述选取待执行的合并任务，包括：在各个待合并文件组对应的合并任务中选取待执行的合并任务。6.一种数据处理方法，其特征在于，应用于功能即服务平台，所述方法包括：接收数据存储系统发送的用于执行合并任务的请求信息，所述合并任务用于对日志结构合并LSM树存储的至少两个数据块进行合并；执行所述合并任务，生成合并数据块，所述合并数据块为合并所述至少两个数据块生成的数据块；
向所述数据存储系统发送所述合并数据块。7....
【专利技术属性】
技术研发人员：郭宽宽，林源劲，赵明，陈常龙，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。