数据压缩处理方法及系统技术方案

技术编号:43745077 阅读:22 留言:0更新日期:2024-12-20 13:04
本发明专利技术提供一种数据压缩处理方法及系统,该方法包括:获取当前数据压缩处理任务对应的备份数据流,并对备份数据流进行数据分段处理,得到多个数据段;将多个数据段写入数据备份系统,若根据数据备份系统中容器的容器引用率,确定数据段内数据块在数据备份系统中的容器内为顺序分布时,对第一数据块进行数据去重处理,其中,第一数据块为数据段内的数据块在数据备份系统中的容器内呈顺序分布的数据块;对数据备份系统中的容器内除第一数据块以外的其它数据块进行局部联合消冗处理,以完成当前数据压缩处理任务,其中,局部联合消冗处理包括多容器数据去重处理和差量压缩处理。本发明专利技术在进行数据压缩处理时,提高了数据备份系统的性能和可靠性。

【技术实现步骤摘要】

本专利技术涉及计算机系统,尤其涉及一种数据压缩处理方法及系统


技术介绍

1、为了应对当前备份存储中日益严重的数据冗余问题,数据去重和差量压缩技术应运而生。数据去重技术通过识别并消除数据集中重复的数据块,显著减少了需要物理存储的数据量。而差量压缩则专注于已有备份数据的变化部分,仅存储与上一次备份相比的新增或修改的数据块,从而实现了更加高效的存储利用。

2、尽管差量压缩技术在提高备份存储效率方面展现出了巨大潜力,但也对数据备份系统带来了一系列挑战。首先,相似数据的查找和匹配过程会消耗大量的计算资源,尤其是在处理大规模数据集时,这一开销可能变得相当可观,进而影响备份和恢复操作的性能。其次,对于实时性要求较高的备份系统来说,复杂的数据去重和差量压缩处理可能会增加数据恢复的时间延迟,特别是在紧急情况下,这种延迟可能直接导致数据不可用,加剧数据损失和经济损失的风险。

3、因此,现在亟需一种数据压缩处理方法及系统来解决上述问题。


技术实现思路

1、针对现有技术存在的问题,本专利技术提供一种数据压缩本文档来自技高网...

【技术保护点】

1.一种数据压缩处理方法,其特征在于,包括:

2.根据权利要求1所述的数据压缩处理方法,其特征在于,在所述对所述数据备份系统中的容器内除所述第一数据块以外的其它数据块进行局部联合消冗处理,以完成所述当前数据压缩处理任务之后,所述方法还包括:

3.根据权利要求2所述的数据压缩处理方法,其特征在于,所述方法还包括:

4.根据权利要求2所述的数据压缩处理方法,其特征在于,在所述若读取到的数据块为差量压缩处理后的数据块,获取对应的引用数据块,并根据所述引用数据块,对所述差量压缩处理后的数据块进行差量解码处理,得到数据恢复后的数据块之后,所述方法还包括:

...

【技术特征摘要】

1.一种数据压缩处理方法,其特征在于,包括:

2.根据权利要求1所述的数据压缩处理方法,其特征在于,在所述对所述数据备份系统中的容器内除所述第一数据块以外的其它数据块进行局部联合消冗处理,以完成所述当前数据压缩处理任务之后,所述方法还包括:

3.根据权利要求2所述的数据压缩处理方法,其特征在于,所述方法还包括:

4.根据权利要求2所述的数据压缩处理方法,其特征在于,在所述若读取到的数据块为差量压缩处理后的数据块,获取对应的引用数据块,并根据所述引用数据块,对所述差量压缩处理后的数据块进行差量解码处理,得到数据恢复后的数据块之后,所述方法还包括:

5.根据权利要求1所述的数据压缩处理方法,其特征在于,所述若根据所述数据备份系统中容器的容器引用率,确定所述数据段内数据块在所述数据备份系统中的容器内为顺序分布时,对第一数据块进行数据去重处理,包括:

...

【专利技术属性】
技术研发人员:韩志
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1