日志归并树键值存储系统及相关方法和相关设备技术方案

本申请的实施例提供了一种日志归并树键值存储系统及相关方法和相关设备，涉及存储技术领域。所述系统基于混合存储架构，所述混合存储架构包括主机以及与所述主机连接的持久化存储介质和非易失存储介质，其中，所述持久化存储介质存储多个有序字符串表层，每个有序字符串表层包括多个有序字符串表组，每个有序字符串表组包括多个有序字符串表；所述日志归并树键值存储系统采用分组压缩机制，并包括与有序字符串表组对应的两级过滤器，所述两级过滤器包括与所述有序字符串表组对应的组过滤器和与所述有序字符串表对应的表过滤器。本实施例优化存储系统的读放大问题和写放大问题，提升存储系统读性能和写性能。提升存储系统读性能和写性能。提升存储系统读性能和写性能。

【技术实现步骤摘要】
日志归并树键值存储系统及相关方法和相关设备


[0001]本申请的实施例涉及存储
，尤其涉及一种基于混合存储架构的日志归并树键值存储系统及相关方法和相关设备。

技术介绍

[0002]在信息处理量激增的时代背景下，通过键值存储系统可以应对数据密集型应用的需求。通常，磁盘读写是键值存储系统的性能瓶颈，同时键值存储系统还存在较严重的读放大和写放大的问题。

技术实现思路

[0003]本申请实施例公开了一种基于混合存储架构的日志归并树键值存储系统优化方法及相关设备，能够优化存储系统的读放大问题，提升存储系统读性能。
[0004]本申请第一方面公开了一种日志归并树键值存储系统，基于混合存储架构，应用于电子设备中，混合存储架构包括主机、持久化存储介质和非易失存储介质，主机与非易失存储介质和持久化存储介质连接，其中，持久化存储介质存储多个有序字符串表层，每个有序字符串表层包括多个有序字符串表组，每个有序字符串表组包括多个有序字符串表；日志归并树键值存储系统采用分组压缩机制，并包括与有序字符串表组对应的两级过滤器，两级过滤器包括与有序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志归并树键值存储系统，基于混合存储架构，应用于电子设备中，其特征在于：所述混合存储架构包括主机、持久化存储介质和非易失存储介质，所述主机与所述非易失存储介质和所述持久化存储介质连接，其中，所述持久化存储介质存储多个有序字符串表层，每个有序字符串表层包括多个有序字符串表组，每个有序字符串表组包括多个有序字符串表；所述日志归并树键值存储系统采用分组压缩机制，并包括与有序字符串表组对应的两级过滤器，所述两级过滤器包括与所述有序字符串表组对应的组过滤器和与所述有序字符串表对应的表过滤器。2.如权利要求1所述的日志归并树键值存储系统，其特征在于，所述两级过滤器存储于所述非易失存储介质。3.如权利要求1所述的日志归并树键值存储系统，其特征在于，所述组过滤器包括布隆过滤器或布谷过滤器，所述表过滤器包括布隆过滤器、商过滤器或布谷过滤器。4.如权利要求1所述的日志归并树键值存储系统，其特征在于，所述混合存储架构还包括易失存储介质或内存。5.一种数据查找方法，基于如权利要求1至4中任一项所述的日志归并树键值存储系统，所述数据查找方法包括：获取待查找数据的目标键；根据所述两级过滤器从所述持久化存储介质中查找所述目标键。6.如权利要求5所述的数据查找方法，其特征在于，所述根据所述两级过滤器从所述持久化存储介质中查找所述目标键包括：从所述电子设备的内存中查找所述目标键；若没有从所述电子设备的内存中查找到所述目标键，根据所述两级过滤器从所述持久化存储介质中查找所述目标键。7.如权利要求5所述的数据查找方法，其特征在于，在所述获取待查找数据的目标键之后，所述数据查找方法还包括：从所述电子设备的内存中查找所述目标键；若没有从所述电子设备的内存中查找到所述目标键，根据所述两级过滤器从所述持久化存储介质中查找所述目标键。8.如权利要求5所述的数据查找方法，其特征在于，所述根据所述两级过滤器从所述持久化存储介质中查找所述目标键包括：按照层顺序，对于所述多个有序字符串表层中的任意一个当前有序字符串表层，根据所述当前有序字符串表层中的多个有序字符串表组的组键范围，判断所述当前有序字符串表层中是否存在存储所述目标键的目标有序字符串表组；若所述当前有序字符串表层中存在存储所述目标键的目标有序字符串表组，根据所述两级过滤器从所述目标有序字符串表组中查找所述目标键。9.如权利要求8所述的数据查找方法，其特征在于，若所述当前有序字符串表层中不存在存储所述目标键的目标有序字符串表组，从所述当前有序字符串表层的下一个有序字符串表层中查找所述目标键。
10.如权利要求8所述的数据查找方法，其特征在于，所述根据所述两级过滤器从所述目标有序字符串表组中查找所述目标键包括：根据所述两级过滤器中的所述组过滤器判断所述目标有序字符串表组是否具备包括所述目标键的可能性；若根据所述两级过滤器中的所述组过滤器确定所述目标有序字符串表组具备包括所述目标键的可能性，根据所述当前有序字符串表组中的多个有序字符串表的表键范围，判断所述目标有序字符串表组中是否存在存储所述目标键的目标有序字符串表；若根据所述当前有序字符串表组中的多个有序字符串表的表键范围确定所述目标有序字符串表组中存在存储所述目标键的目标有序字符串表，根据所述两级过滤器中的所述表过滤器判断所述目标有序字符串表是否具备包括所述目标键的可能性；若根据所述两级过滤器中的所述表过滤器确定所述目标有序字符串表具备包括所述目标键的可能性，根据所述目标键在所述目标有序字符串表中查找所述待查找数据。11.如权利要求10所述的数据查找方法，其特征在于，若根据所述两级过滤器中的所述组过滤器确定所述目标有序字符串表组不具备包括所述目标键的可能性，或根据所述两级过滤器中的所述表过滤器确定所述目标有序字符串表不具备包括所述目标键的可能性，从所述当前有序字符串表层的下一个有序字符串表层中查找所述目标键。12.如权利要求5所述的数据查找方法，其特征在于，所述根据所述两级过滤器从所述持久化存储介质中查找所述目标键包括：按照层顺序，利用所述两级过滤器从所述持久化存储介质中的所述多个有序字符串表层中查找所述目标键。13.如权利要求12所述的数据查找方法，其特征在于，对于所述多个有序字符串表层中的任意一个当前有序字符串表层，根据所述两级过滤器从所述当前有序字符串表层中查找所述目标键包括：根据所述两级过滤器判断所述当前有序字符串表层中是否存在所述目标键；若根据所述两级过滤器确定所述当前有序字符串表层中存在所述目标键，根据所述目标键查找所述待查找数据；若根据所述两级过滤器确定所述当前有序字符串表层中不存在所述目标键，从所述当前有序字符串表层的下一个有序字符串表层中查找所述目标键。14.如权利要求13所述的数据查找方法，其特征在于，所述根据所述两级过滤器判断所述当前有序字符串表层中是否存在所述目标键包括：根据所述两级过滤器中的所述组过滤器判断所述当前有序字符串表层中是否存在目标有序字符串表组，所述目标有序字符串表组具备包括所述目标键的可能性；若所述当前有序字符串表层中不存在所述目标有序字符串表组，确定所述当前有序字符串表层中不存在所述目标键；若所述当前有序字符串表层中存在所述目标有序字符串表组，根据所述两级过滤器中的所述表过滤器判断所述目标有序字符串表组中是否存在目标有序字符串表，所述目标有序字符串表具备包括所述目标键的可能性；若所述目标有序字符串表组中不存在所述目标有序字符串表，确定所述当前有序字符串表层中不存在所述目标键；若所述目标有序字符串表组中存在所述目标有序字符串表，判断在所述目标有序字符
串表中是否存在所述目标键；若在所述目标有序字符串表中存在所述目标键，确定所述当前有序字符串表层中存在所述目标键。15.如权利要求14所述的数据查找方法，其特征在于，所述根据所述两级过滤器中的所述组过滤器判断所述当前有序字符串表层中是否存在目标有序字符串表组，所述目标有序字符串表组具备包括所述目标键的可能性包括：获取所述当前有序字符串表层中的多个有序字符串表组的组键范围；从所述当前有序字符串表层中的多个有序字符串表组中确定组键范围包括所述目标键的一个或多个有序字符串表组，得到确定的有序字符串表组；通过所述确定的有序字符串表组的组过滤器判断所述确定的有序字符串表组是否具备包括所述目标键的可能性；若所述确定的有序字符串表组具备包括所述目标键的可能性，确定所述当前有序字符串表层中存在具备包括所述目标键的可能性的有序字符串表组，将所述确定的有序字符串表组作为所述目标有序字符串表组；若所述确定的有序字符串表组不具备包括所述目标键的可能性，确定所述当前有序字符串表层中不存在具备包括所述目标键的可能性的目标有序字符串表组。16.如权利要求14所述的数据查找方法，其特征在于，所述根据所述两级过滤器中的所述组过滤器判断所述当前有序字符串表层中是否存在目标有序字符串表组，所述目标有序字符串表组具备包括所述目标键的可能性包括：逐个获取所述当前有序字符串表层中的有序字符串表组，通过所述有序字符串表组的组过滤器判断所述有序字符串表组是否具备包括所述目标键的可能性；若所述当前有序字符串表层中的任意一个有序字符串表组具备包括所述目标键的可能性，确定所述当...

【专利技术属性】
技术研发人员：胡皓胜，单海康，闵鑫豪，万继光，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：