一种数据处理方法以及相关设备技术

本申请实施例提供了一种数据处理方法及相关设备，可以综合利用固态设备、瓦记录磁盘以及日志结构合并树的优点，对存储的数据进行优化处理。该方法包括：获取目标数据；确定所述目标数据对应的目标有序键值对表；根据所述目标有序键值对表确定第二有序键值对表；根据所述目标有序键值对表确定第一有序键值对表；将所述第二有序键值对表合并至所述第一有序键值对表中；当合并后的所述第一有序键值对表满足预设条件时，将合并后的所述第一有序键值对表与第三有序键值对表作为数组集合写入所述瓦记录磁盘中的大小动态变化的目标动态区。

【技术实现步骤摘要】
一种数据处理方法以及相关设备
本申请涉及存储领域，尤其涉及一种数据处理方法以及相关设备。
技术介绍
随着信息时代的高速发展，各个领域的数据都呈现爆发式的增长。根据IDC的研究报告指出，从2010年到2020年，全球的数据量将增加50倍，而未来全球数据总量年增长率将维持50％左右。其中，我国数据量将达到8.6ZB，占21％左右。除此，时延敏感的交互型互联网应用(如微博、推特、脸书)逐步增多，这类应用在要求高响应速度的同时，还鼓励用户发布和共享文件及图片。因此存储系统在容量和性能上都受到了前所未有的挑战。硬件方面，目前积极探索的多种提升容量技术中，瓦记录磁盘(SMR)通过部分磁道重叠的方式提升磁盘面密度，是成本最低、对现有磁盘工艺改变最小的磁记录技术，因而瓦记录磁盘最先得到量产与应用；目前积极探索的各种提升性能技术中，基于闪存的固态硬盘(SSD)是最成熟、应用最广泛的高性能新型存储器件，固态盘有先擦后写和擦写次数有限等读写特征，但却在并行性、可靠性、能耗、性能、尺寸方面有明显优势。软件方面，大数据背景下，传统的文件系统或块存储已无法满足大多数应用对存储性能的需求，而基于日志结构合并树的键值存储因其优良的服务质量而成为当前数据中心大规模应用的主要存储方式。虽然固态硬盘、瓦记录磁盘和日志结构合并树结构都有着如此明显地优点，但同时它们也都有自己地缺陷，例如：固态盘地擦写次数有限，先擦后写；瓦记录磁盘地写放大问题；以及日志结构合并树极大的合并开销。
技术实现思路
本申请实施例提供了一种数据处理方法以及相关设备，可以综合利用固态硬盘、瓦记录磁盘和日志结构合并树的优点，优化磁盘数据的存储。本申请实施例的第一方面提供了一种数据处理方法，应用至混合式键值存储系统，所述混合式键值存储系统包括固态设备、瓦记录磁盘以及日志结构合并树，包括：获取目标数据，所述目标数据为待存储至所述混合式键值存储系统的数据；确定所述目标数据对应的目标有序键值对表，所述目标有序键值对表为所述日志结构合并树的1层至n层中的有序键值对表，所述日志结构合并树的1至n层部署在所述固态设备，n为大于1的正整数；根据所述目标有序键值对表确定第二有序键值对表，所述第二有序键值对表为所述日志结构合并树的1层至n层中与所述第一有序键值对表合并的键值对表；根据所述目标有序键值对表确定第一有序键值对表，所述第一有序键值对表的键值范围与所述目标键值对表中的键值范围至少重叠一个；将所述第二有序键值对表合并至所述第一有序键值对表中，其中合并后的所述第一有序键值对表的元数据在所述第二有序键值对表内；当合并后的所述第一有序键值对表满足预设条件时，将合并后的所述第一有序键值对表与第三有序键值对表作为数组集合写入所述瓦记录磁盘中的大小动态变化的目标动态区，所述第三有序键值对表为所述日志结构合并树的n+1层至m层中与所述第二有序键值对表对应的键值对表，所述目标动态区与所述数组集合相对应，所述目标动态区为所述瓦记录磁盘中两个空白磁道段中间的区域，所述日志结构合并树的n+1层至m层部署在所述瓦记录磁盘，m为大于n的正整数。可选地，所述根据所述目标有序键值对表确定第二有序键值对表包括：计算所述日志结构合并树的1层至n层的每个层中所述目标有序键值对表的均衡度，所述每个层中至少包括一个有序键值对表；将所述日志结构合并树的1层至n层中均衡度最低的层确定为合并层；将所述合并层中的所述目标有序键值对表确定为所述第二有序键值对表。可选地，将所述第二有序键值对表合并至所述第一有序键值对表包括：将所述第二有序键值对表读入内存；将所述第二有序键值对表的元数据合并至所述第一有序键值对表的元数据中；根据合并后的所述第一有序键值对表的元数据的键值范围将所述第二有序键值对表中的键值对数据划分为目标数据块；将合并后的所述第一有序键值对表的元数据和所述目标数据块以追加的方式写入所述第一有序键值对表。可选地，所述将所述第一有序键值对表与第三有序键值对表作为数组集合写入所述瓦记录磁盘中的大小动态变化的目标动态区包括：判断所述目标动态区中是否存在与所述数组集合的数据量相匹配的第一动态区；若是，则将所述数组集合以插入写的方式写入所述第一动态区；若否，则将所述数组集合以追加写的方式写入所述瓦记录磁盘中。可选地，所述方法还包括：回收所述瓦记录磁盘中的磁盘碎片；本专利技术实施例第二方面提供了一种数据处理装置，应用至混合式键值存储系统，所述混合式键值存储系统包括固态设备、瓦记录磁盘以及日志结构合并树，包括：获取单元，用于获取目标数据，所述目标数据为待存储至所述混合式键值存储系统的数据；第一确定单元，用于确定所述目标数据对应的目标有序键值对表，所述目标有序键值对表为所述日志结构合并树的1层至n层中的有序键值对表，所述日志结构合并树的1至n层部署在所述固态设备，n为大于1的正整数；第二确定单元，用于根据所述目标有序键值对表确定第二有序键值对表，所述第二有序键值对表为所述日志结构合并树的1层至n层中与所述第一有序键值对表合并的键值对表；第三确定单元，用于根据所述目标有序键值对表确定第一有序键值对表，所述第一有序键值对表的键值范围与所述目标键值对表中的键值范围至少重叠一个；合并单元，用于将所述第二有序键值对表合并至所述第一有序键值对表中，其中合并后的所述第一有序键值对表的元数据在所述第二有序键值对表内；写入单元，用于当合并后的所述第一有序键值对表满足预设条件时，将合并后的所述第一有序键值对表与第三有序键值对表作为数组集合写入所述瓦记录磁盘中的大小动态变化的目标动态区，所述第三有序键值对表为所述日志结构合并树的n+1层至m层中与所述第二有序键值对表对应的键值对表，所述目标动态区与所述数组集合相对应，所述目标动态区为所述瓦记录磁盘中两个空白磁道段中间的区域，所述日志结构合并树的n+1层至m层部署在所述瓦记录磁盘，m为大于n的正整数。可选地，所述第三确定单元具体用于：计算所述日志结构合并树的1层至n层的每个层中所述目标有序键值对表的均衡度，所述每个层中至少包括一个有序键值对表；将所述日志结构合并树的1层至n层中均衡度最低的层确定为合并层；将所述合并层中的所述目标有序键值对表确定为所述第二有序键值对表。可选地，所述合并单元具体用于：将所述第二有序键值对表读入内存；将所述第二有序键值对表的元数据合并至所述第一有序键值对表的元数据中；根据合并后的所述第一有序键值对表的元数据的键值范围将所述第二有序键值对表中的键值对数据划分为目标数据块；将合并后的所述第一有序键值对表的元数据和所述目标数据块以追加的方式写入所述第一有序键值对表。可选地，所述写入单元具体用于：判断所述目标动态区中是否存在与所述数组集合的数据量相匹配的第一动态区；若是，则将所述数组集合以插入写的方式写入所述第一动态区；若否，则将所述数组集合以追加写的方式写入所述瓦记录磁盘中。可选地，所述装置还包括碎片整理单元，所述碎片整理单元，用于回收所述瓦记录磁盘中的磁盘碎片；本申请第三方面提供了一种电子设备，包括存储器、处理器，其特征在于，所述处理器用于执行存储器中存储的计算机管理类程序时实现如上述任意一项所述的数据处理方法的步骤。本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机管理类程序本文档来自技高网...

【技术保护点】
1.一种数据处理方法，应用至混合式键值存储系统，所述混合式键值存储系统包括固态设备、瓦记录磁盘以及日志结构合并树，其特征在于，包括：获取目标数据，所述目标数据为待存储至所述混合式键值存储系统的数据；确定所述目标数据对应的目标有序键值对表，所述目标有序键值对表为所述日志结构合并树的1层至n层中的有序键值对表，所述日志结构合并树的1至n层部署在所述固态设备，n为大于1的正整数；根据所述目标有序键值对表确定第二有序键值对表，所述第二有序键值对表为所述日志结构合并树的1层至n层中与所述第一有序键值对表合并的键值对表；根据所述目标有序键值对表确定第一有序键值对表，所述第一有序键值对表的键值范围与所述目标键值对表中的键值范围至少重叠一个；将所述第二有序键值对表合并至所述第一有序键值对表中，其中合并后的所述第一有序键值对表的元数据在所述第二有序键值对表内；当合并后的所述第一有序键值对表满足预设条件时，将合并后的所述第一有序键值对表与第三有序键值对表作为数组集合写入所述瓦记录磁盘中的大小动态变化的目标动态区，所述第三有序键值对表为所述日志结构合并树的n+1层至m层中与所述第二有序键值对表对应的键值对表，所述目标动态区与所述数组集合相对应，所述目标动态区为所述瓦记录磁盘中两个空白磁道段中间的区域，所述日志结构合并树的n+1层至m层部署在所述瓦记录磁盘，m为大于n的正整数。...

【技术特征摘要】
1.一种数据处理方法，应用至混合式键值存储系统，所述混合式键值存储系统包括固态设备、瓦记录磁盘以及日志结构合并树，其特征在于，包括：获取目标数据，所述目标数据为待存储至所述混合式键值存储系统的数据；确定所述目标数据对应的目标有序键值对表，所述目标有序键值对表为所述日志结构合并树的1层至n层中的有序键值对表，所述日志结构合并树的1至n层部署在所述固态设备，n为大于1的正整数；根据所述目标有序键值对表确定第二有序键值对表，所述第二有序键值对表为所述日志结构合并树的1层至n层中与所述第一有序键值对表合并的键值对表；根据所述目标有序键值对表确定第一有序键值对表，所述第一有序键值对表的键值范围与所述目标键值对表中的键值范围至少重叠一个；将所述第二有序键值对表合并至所述第一有序键值对表中，其中合并后的所述第一有序键值对表的元数据在所述第二有序键值对表内；当合并后的所述第一有序键值对表满足预设条件时，将合并后的所述第一有序键值对表与第三有序键值对表作为数组集合写入所述瓦记录磁盘中的大小动态变化的目标动态区，所述第三有序键值对表为所述日志结构合并树的n+1层至m层中与所述第二有序键值对表对应的键值对表，所述目标动态区与所述数组集合相对应，所述目标动态区为所述瓦记录磁盘中两个空白磁道段中间的区域，所述日志结构合并树的n+1层至m层部署在所述瓦记录磁盘，m为大于n的正整数。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标有序键值对表确定第二有序键值对表包括：计算所述日志结构合并树的1层至n层的每个层中所述目标有序键值对表的均衡度，所述每个层中至少包括一个有序键值对表；将所述日志结构合并树的1层至n层中均衡度最低的层确定为合并层；将所述合并层中的所述目标有序键值对表确定为所述第二有序键值对表。3.根据权利要求1所述的方法，其特征在于，将所述第二有序键值对表合并至所述第一有序键值对表包括：将所述第二有序键值对表读入内存；将所述第二有序键值对表的元数据合并至所述第一有序键值对表的元数据中；根据合并后的所述第一有序键值对表的元数据的键值范围将所述第二有序键值对表中的键值对数据划分为目标数据块；将合并后的所述第一有序键值对表的元数据和所述目标数据块以追加的方式写入所述第一有序键值对表。4.根据权利要求1所述的方法，其特征在于，所述将所述第一有序键值对表与第三有序键值对表作为数组集合写入所述瓦记录磁盘中的大小动态变化的目标动态区包括：判断所述目标动态区中是否存在与所述数组集合的数据量相匹配的第一动态区；若是，则将所述数组集合以插入写的方式写入所述第一动态区；若否，则将所述数组集合以追加写的方式写入所述瓦记录磁盘中。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方...

【专利技术属性】
技术研发人员：詹玲，俞侃，王中华，姚婷，万继光，
申请(专利权)人：文华学院，
类型：发明
国别省市：湖北,42