一种数据压缩的方法和相关设备技术

本申请提供了一种数据压缩的方法和相关装置。其中，该方法包括：存储节点获取多个数据块，其中，所述多个数据块关联存储在所述存储节点中；对所述多个数据块进行压缩，以得到压缩数据。本申请实施例通过在存储节点执行压缩任务，实现压缩功能，可以提升数据库的性能。

A method of data compression and related equipment

【技术实现步骤摘要】
一种数据压缩的方法和相关设备
本申请涉及信息
，尤其涉及一种数据压缩的方法和相关设备。
技术介绍
主流数据库，例如BigTable，HBase，RocksDB等在组织数据布局时多选择日志结构合并树(LogStructureMergeTree，LSMTree)的方式，LSMTree将随机写转换为顺序写，虽然有利于写性能优化，但会给后台带来大量的压缩操作(Compaction)，需要后台将多层布局排序的数据逐步进行统一排序，以便后续高效读取数据。后台在进行Compaction时，需要将两组数据先读出，进行排序，然后再排序后的数据作为新的一组数据写入。在存储计算分离的架构下，Compaction不仅会造成存储节点和数据库节点间的网络带宽消耗，而且还会造成存储节点间的网络带宽消耗，在分布式存储跨有效区域(AvailabilityZone，AZ)部署时，这种情况显得非常明显，存储节点之间存在大量的跨AZ流量。此外，Compaction由数据库节点负责，这会占用数据库节点的中央处理器(CentralProcessingUnit，CPU本文档来自技高网...

【技术保护点】
1.一种数据压缩系统，其特征在于，包括数据库节点和存储节点，其中：/n所述数据库节点用于，向所述存储节点发送多个数据块和压缩指令；/n所述存储节点用于，获取所述多个数据块，所述多个数据块包含多个分类序列表SSTable文件所对应的数据，其中，每个数据块与一个SSTable文件对应；将所述多个数据块存储在多个持久性存储日志PLog中，所述多个PLog属于持久性存储日志组PLog Group，其中，所述PLog Group存储在所述存储节点的存储分区中；根据所述压缩指令，对所述多个数据块进行压缩，以得到压缩数据。/n

【技术特征摘要】
1.一种数据压缩系统，其特征在于，包括数据库节点和存储节点，其中：
所述数据库节点用于，向所述存储节点发送多个数据块和压缩指令；
所述存储节点用于，获取所述多个数据块，所述多个数据块包含多个分类序列表SSTable文件所对应的数据，其中，每个数据块与一个SSTable文件对应；将所述多个数据块存储在多个持久性存储日志PLog中，所述多个PLog属于持久性存储日志组PLogGroup，其中，所述PLogGroup存储在所述存储节点的存储分区中；根据所述压缩指令，对所述多个数据块进行压缩，以得到压缩数据。


2.如权利要求1所述的系统，其特征在于，所述存储节点还用于：
获取副本节点发送的副本特征值，其中，所述副本特征值为对所述副本节点的副本压缩数据进行特征提取得到的，所述副本压缩数据是所述副本节点根据多个副本数据块进行压缩得到的，所述多个副本数据块是所述多个数据块的副本；
获取目标特征值，其中，所述目标特征值为所述存储节点对所述压缩数据进行特征提取得到的；
将所述目标特征值和所述副本特征值进行匹配；
在匹配成功的情况下，将所述压缩数据存储在所述存储节点中。


3.如权利要求1所述的系统，其特征在于，所述存储节点还用于：
获取目标特征值，并将所述目标特征值发送给副本节点，以使所述副本节点将所述目标特征值和副本特征值进行匹配；
在匹配成功的情况下，将所述压缩数据存储在所述存储节点中；
其中，所述目标特征值为所述存储节点对所述压缩数据进行特征提取得到的；所述副本特征值为对所述副本节点的副本压缩数据进行特征提取得到的，所述副本压缩数据是所述副本节点根据多个副本数据块进行压缩得到的，所述多个副本数据块是所述多个数据块的副本。


4.如权利要求2或3所述的系统，其特征在于，在匹配不成功的情况下，所述存储节点还用于：对所述多个数据块重新进行压缩。


5.如权利要求2或3所述的系统，其特征在于，所述副本节点包括多个副本存储节点，在匹配不成功的情况下，所述存储节点还用于：
根据所述多个副本存储节点的副本特征值和所述目标特征值，按照预设规则确定所述副本特征值或所述目标特征值对应的待修复的数据；
将所述多个数据块发送给所述待修复的数据所对应的副本存储节点，以进行数据修复；或者
接收所述副本节点发送的多个数据块，以进行数据修复。


6.一种数据压缩的方法，其特征在于，包括：
存储节点获取多个数据块，所述多个数据块包含多个分类序列表SSTable文件所对应的数据，其中，每个数据块与一个SSTable文件对应；
将所述多个数据块存储在多个持久性存储日志PLog中，所述多个PLog属于持久性存储日志组PLogGroup，其中，所述PLogGroup存储在所述存储节点的存储分区中；
对所述多个数据块进行压缩，以得到压缩数据。


7.如权利要求6所述的方法，其特征在于，所述方法还包括：
获取副本节点发送的副本特征值，其中，所述副本特征值为对所述副本节点的副本压缩数据进行特征提取得到的，所述副本压缩数据是所述副本节点根据多个副本数据块进行压缩得到的，所述多个副本数据块是所述多个数据块的副本；
获取目标特征值，其中，所述目标特征值为所述存储节点对所述压缩数据进行特征提取得到的；
将所述目标特征值和所述副本特征值进行匹配；
在匹配成功的情况下，将所述压缩数据存储在所述存储节点中。


8.如权利要求6所述的方法，其特征在于，所述方法还包括：
获取目标特征值，并将所述目标特征值发送给副本节点，以使所述副本节点将所述目标特征值和副本特征值进行匹配；
在匹配成功的情况下，将所述压缩数据存储在所述存储节点中；
其中，所述目标特征值为所述存储节点对所述压缩数据进行特征提取得到的...

【专利技术属性】
技术研发人员：张程伟，钟延辉，刘强，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44