一种数据处理的方法以及相关装置制造方法及图纸

技术编号:19903211 阅读:424 留言:0更新日期:2018-12-26 02:51
本申请实施例公开了一种数据处理的方法,包括:第一存储设备读取目标数据;第一存储设备检测目标数据是否存在对应的第一标识以及对应的第二标识,其中,第二标识用于标记目标数据经过压缩处理;若目标数据存在对应的第一标识以及对应的第二标识,则第一存储设备向第二存储设备发送第一目标数据包。本申请实施例还公开了一种数据处理装置。本申请实施例减轻了主存储设备和备份存储设备数据处理的负担。

【技术实现步骤摘要】
一种数据处理的方法以及相关装置
本申请涉及数据存储领域,尤其涉及一种数据处理的方法以及相关装置。
技术介绍
远程复制技术是一种基于存储设备的远程数据备份技术,通常分为同步远程复制和异步远程复制。同步远程复制主要原理是数据需要同时写到主存储设备和备份存储设备上,异步远程复制的主要原理则是将数据先写到主存储设备上,后续将数据从主存储设备复制到备份存储设备上。大数据时代中,海量的数据存储占用大量的存储空间。重删处理技术以及压缩处理技术是当前可减少数据存储空间的核心技术,尤其在存储空间成本较高的全闪存存储阵列(allflasharray,AFA),重删处理技术以及压缩处理技术已经成为AFA中必备的特性。重删处理技术通常为:将新写入的数据计算一个哈希值,然后与已存储的哈希值对比,如果发现有相同哈希值,则记录相同哈希值对应数据的位置,当前数据不写入存储设备中。然而,在现有的远程复制技术中,主存储设备与备份存储设备之间进行目标数据的复制时,并不感知目标数据是否进行重删处理和压缩处理,导致在数据复制的时候,即使目标数据已进行了重删处理和压缩处理,主存储设备还是会对目标数据进行解压缩后发送至备份存储设本文档来自技高网...

【技术保护点】
1.一种数据处理的方法,其特征在于,包括:第一存储设备读取目标数据;所述第一存储设备检测所述目标数据是否存在对应的第一标识以及对应的第二标识,其中,所述第二标识用于标记所述目标数据经过压缩处理;若所述目标数据存在对应的所述第一标识以及对应的所述第二标识,则所述第一存储设备向第二存储设备发送第一目标数据包,以使得所述第二存储设备根据所述第一目标数据包对所述目标数据进行处理;其中,所述第一目标数据包中至少携带所述目标数据、所述第一标识以及所述第二标识,所述第一标识用于指示所述第二存储设备根据所述第一标识对所述目标数据进行重删处理,所述第二标识用于指示所述第二存储设备对所述目标数据进行写入处理。

【技术特征摘要】
1.一种数据处理的方法,其特征在于,包括:第一存储设备读取目标数据;所述第一存储设备检测所述目标数据是否存在对应的第一标识以及对应的第二标识,其中,所述第二标识用于标记所述目标数据经过压缩处理;若所述目标数据存在对应的所述第一标识以及对应的所述第二标识,则所述第一存储设备向第二存储设备发送第一目标数据包,以使得所述第二存储设备根据所述第一目标数据包对所述目标数据进行处理;其中,所述第一目标数据包中至少携带所述目标数据、所述第一标识以及所述第二标识,所述第一标识用于指示所述第二存储设备根据所述第一标识对所述目标数据进行重删处理,所述第二标识用于指示所述第二存储设备对所述目标数据进行写入处理。2.根据权利要求1所述的方法,其特征在于,所述第一存储设备检测所述目标数据是否存在对应的第一标识以及对应的第二标识之后,所述方法还包括:若所述目标数据不存在对应的所述第一标识以及对应的所述第二标识,则所述第一存储设备向所述第二存储设备发送第二目标数据包,以使得所述第二存储设备根据所述第二目标数据包对所述目标数据进行处理;其中,所述第二数据包中至少携带所述目标数据以及第三标识,所述第三标识用于指示所述第二存储设备对所述目标数据进行压缩处理。3.根据权利要求2所述的方法,其特征在于,所述第一存储设备读取所述目标数据之后,所述方法还包括:若所述目标数据存储于所述第一存储设备的缓存区域,则所述第一存储设备向所述第二存储设备发送所述第二目标数据包,以使得所述第二存储设备根据所述第二目标数据包对所述目标数据进行处理;其中,所述第二数据包中至少携带所述目标数据以及所述第三标识。4.根据权利要求1所述的方法,其特征在于,所述第一存储设备检测所述目标数据是否存在对应的第一标识以及对应的第二标识之后,所述方法还包括:若所述目标数据存在对应的所述第一标识且不存在对应的所述第二标识,则所述第一存储设备向所述第二存储设备发送第三目标数据包,以使得所述第二存储设备根据所述第三目标数据包对所述目标数据进行处理;其中,所述第三目标数据包中至少携带所述目标数据、所述第一标识以及所述第三标识。5.根据权利要求1所述的方法,其特征在于,所述第一存储设备检测所述目标数据是否存在对应的第一标识以及对应的第二标识之后,所述方法还包括:若所述目标数据不存在对应的所述第一标识且存在对应的所述第二标识,则所述第一存储设备向所述第二存储设备发送第四目标数据包,以使得所述第二存...

【专利技术属性】
技术研发人员:何孝金
申请(专利权)人:郑州云海信息技术有限公司
类型:发明
国别省市:河南,41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1