【技术实现步骤摘要】
本专利技术涉及数据备份
,尤其涉及一种数据处理方法、数据格式和设备。
技术介绍
为了防止数据的丢失,人们通常会将系统或信息进行备份,从而把备用的数据保存到备份磁盘中。但是,对数据进行备份时不可避免的会出现重复的数据存放到备份磁盘的现象,例如多次完整备份,或增加备份等。为了减少备份磁盘中存储重复数据造成的空间浪费,业界磁盘厂商提出了一种重复数据删除技术,利用重复数据删除技术可以删除掉备份磁盘中的重复数据。重复数据删除技术具体为将备份到重删存储介质中的文件划分为不同大小的多个数据块,然后采用特征提取算法分别计算每个数据块的索引。将计算得到的索引进行匹配,如果有索引相同,说明这索引对应的数据块是重复的。从而可以仅保留重复数据块中的一个数据块,而删除其他的数据块,并保留全部重复的索引。最后在重删存储介质中该文件被保留成为索引的集合以及不重复的数据块的集合,其中每一个索引可以指向一个唯一不同的数据块。从而删除由于多个全备或增备数据所带来的冗余数据,节省磁盘空间。但是,由于磁盘本身的成本较高,重删存储介质中的数据通常会导出到成本更低的磁带库中,当控制器将重删存储介质中 ...
【技术保护点】
一种数据处理方法,应用于重删存储介质的控制器,所述重删存储介质中存储有多个数据块以及数据块的索引,每个数据块对应至少一个索引;其特征在于,该方法包括:所述控制器将重删存储介质中的数据块以及所述数据块的存储信息发送给第一目标磁带,其中所述数据块的存储信息包含所述数据块的存储地址范围;生成所述数据块的索引与所述第一目标磁带的映射关系;将所述重删存储介质中的索引以及所述索引的存储信息发送给第二目标磁带,其中所述索引的存储信息包含所述索引的存储地址范围。
【技术特征摘要】
1.一种数据处理方法,应用于重删存储介质的控制器,所述重删存储介质中存储有多个数据块以及数据块的索引,每个数据块对应至少一个索引;其特征在于,该方法包括 所述控制器将重删存储介质中的数据块以及所述数据块的存储信息发送给第一目标磁带,其中所述数据块的存储信息包含所述数据块的存储地址范围; 生成所述数据块的索引与所述第一目标磁带的映射关系; 将所述重删存储介质中的索引以及所述索引的存储信息发送给第二目标磁带,其中所述索引的存储信息包含所述索引的存储地址范围。2.根据权利要求1所述的数据处理方法,其特征在于,所述生成所述数据块的索引与所述第一目标磁带的映射关系,包括 生成所述数据块的索引与所述第一目标磁带的映射关系,并保存在所述重删存储介质中。3.根据权利要求1所述的数据处理方法,其特征在于,所述生成所述数据块的索引与所述第一目标磁带的映射关系,包括 生成所述数据块的索引与所述第一目标磁带的映射关系,并发送给所述第二目标磁带。4.根据权利要求1所述的数据处理方法,其特征在于,在将数据块以及所述数据块的存储信息发送给第一目标磁带之前,还包括 获取磁带库中各磁带的容量信息; 确定待发送的数据块的大小和索引的大小; 根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带,根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带,其中,所述第一目标磁带包括一个或多个磁带,所述第一目标磁带的容量总和大于或等于所述数据块的大小,所述第二目标磁带包括一个或多个磁带,所述第二目标磁带的容量总和大于或等于所述索引的大小。5.根据权利要求4所述的数据处理方法,其特征在于,所述方法还包括 接收读取所述第二目标磁带的指示,并根据所述指示读取所述第二目标磁带; 获取所述第二目标磁带中存储的索引的存储地址范围,并从所述索引的存储地址范围中读取索引; 根据所述索引与所述第一目标磁带的映射关系,确定所述索引对应的数据块存储的第一目标磁带; 获取所述第一目标磁带中存储的数据块的存储地址范围,并从所述数据块的存储地址范围中读取数据块。6.根据权利要求5所述的数据处理方法,其特征在于, 在根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带,根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带之后,所述方法还包括 保存所述第一目标磁带的信息和所述第二目标磁带的信息; 在接收读取所述第二目标磁带的指示,并根据所述指示读取所述第二目标磁带之前,所述方法还包括根据所述第一目标磁带的信息和所述第二目标磁带的信息,确定所述第一目标磁带和所述第二目标磁带可用。7.一种数据格式,所述数据格式为将重删存储介质中的数据导出到磁带库后,在所述磁带库中保存的格式,其特征在于, 存储在第二目标磁带中的索引部分、存储在第一目标磁带中的数据块部分,以及存储在第二目标磁带或所述重删存储介质中的映射关系部分; 其中,所述索引部分包括索引的存储地址范围和索引; 所述数据块部分包...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。