一种基于CDC算法的文件备份变长切片优化方法及装置制造方法及图纸

技术编号:41786864 阅读:28 留言:0更新日期:2024-06-24 20:14
本发明专利技术涉及一种基于CDC算法的文件备份变长切片优化方法及装置,属于大数据领域,该方法包括:采用目标算法,通过滑动窗口,在文件中寻找数据块边界,目标算法为Rabin指纹算法;在寻找到数据块边界的情况下,获取数据切片;计算数据切片指纹,并将指纹与指纹库数据进行对比;在指纹与指纹库数据中历史文件链表的指纹匹配的情况下,获取数据切片的历史相邻数据切片长度进行跳跃切片。本发明专利技术所述的方法和装置,可以保证高数据重删率的同时减少计算资源的占用,提供给用户高性能和高速度的备份体验。

【技术实现步骤摘要】

本专利技术属于大数据领域,尤其涉及一种基于cdc算法的文件备份变长切片优化方法及装置。


技术介绍

1、随着计算、存储、网络等互联网领域的高速迭代,企业以及个人在日常工作以及生活均会产生海量的数据,因此数据保护显得尤为重要,各类备份产品也应运而生。那么,如何在数据安全得到保障的同时,高效地利用计算资源和存储资源去提高备份速度且降低存储成本,以满足日益复杂的数据备份需求,成为信息时代各的备份厂商需要重点考虑的问题。在众多存储技术中,文件存储以其对计算机和网络的低性能依赖和可快速共享等优势占有一席之地。天翼云的cbr云备份服务以文件备份为基础,相比传统备份系统更加简单易用,可为用户提供分钟级rto的数据恢复体验,同时,提供增量备份能力,利用数据定长切片重删技术,解决了数据备份速度慢、存储空间浪费等问题。在数据覆盖写入的场景下,定长切片的速度和重删率都很可观,但是,定长切片对数据的插入和删除非常敏感,某个大文件若是只在头部插入了备份数据,那么所有切片数据都会变化并重新备份,重删率极低。

2、基于数据内容特征的变长分片策略可以有效避免这种问题,cdc(c本文档来自技高网...

【技术保护点】

1.一种基于CDC算法的文件备份变长切片优化方法,其特征在于,包括:

2.根据权利要求1所述的一种基于CDC算法的文件备份变长切片优化方法,其特征在于,所述Rabin指纹算法采用公式:

3.根据权利要求1所述的一种基于CDC算法的文件备份变长切片优化方法,其特征在于,所述S1具体包括:

4.根据权利要求3所述的一种基于CDC算法的文件备份变长切片优化方法,其特征在于,所述S2具体包括:

5.根据权利要求4所述的一种基于CDC算法的文件备份变长切片优化方法,其特征在于,所述S3之后还包括:

6.根据权利要求5所述的一种基于CDC算...

【技术特征摘要】

1.一种基于cdc算法的文件备份变长切片优化方法,其特征在于,包括:

2.根据权利要求1所述的一种基于cdc算法的文件备份变长切片优化方法,其特征在于,所述rabin指纹算法采用公式:

3.根据权利要求1所述的一种基于cdc算法的文件备份变长切片优化方法,其特征在于,所述s1具体包括:

4.根据权利要求3所述的一种基于cdc算法的文件备份变长切片优化方法,其特征在于,所述s2具体包括:

5.根据权利要求4所述的一种基于cdc算法的文件备份变长切片优化方法,其特征在于,所述s3之后还包括:

6.根据权利要求5所述的一种基于cdc算法的文件备...

【专利技术属性】
技术研发人员:黄辉曹磊吴锜周霞
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1