数据一致性处理方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:39430739 阅读:10 留言:0更新日期:2023-11-19 16:15
本申请涉及一种数据一致性处理方法、装置、计算机设备和存储介质。所述方法包括:实时检测是否将本地存储系统的数据传输到远程存储系统中;响应于检测到将本地存储系统的数据传输到远程存储系统中时,对所述远程存储系统的当前数据组制作第一快照;获取所述本地存储系统向所述远程存储系统的上传数据信息,并向所述远程存储系统上传所述上传数据信息;实时检测所述上传数据信息是否上传成功;若否则采用第一快照将远程存储系统的数据组回滚到上传数据信息之前时间点一致的数据组,再次向所述远程存储系统上传所述上传数据信息,直至上传成功并更新所述第一快照。本申请保证了远程存储系统的数据与本地存储系统的数据时刻保持一致。持一致。持一致。

【技术实现步骤摘要】
数据一致性处理方法、装置、计算机设备和存储介质


[0001]本申请涉及数据处理
,特别是涉及一种数据一致性处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]进入21世纪后,存储领域中用户对数据的数据安全性、数据一致性是用户关心的核心问题。随着现代社会迈入大数据时代,每人每天产生的数据量越来越大,巨量的数据需要安全可靠地存储在存储服务器,因此需要存储在单个物理硬盘上的数据量曾指数级增长。当单个物理磁盘在容量和安全性上不足以支撑存储系统业务时,存储领域专业技术人员将多个磁盘以某种特定方式组合成RAID阵列使用,并将RAID阵列划分为多个逻辑卷,逻辑卷对外作为一个可见的逻辑设备来供用户使用,才可满足用户的实际需求,由此诞生了磁盘阵列(RAID阵列)技术。
[0003]在存储系统提高数据可靠性方面,目前业界采用磁盘阵列技术提高数据可靠性,利用磁盘阵列中的冗余磁盘来恢复故障盘的数据。虽然采用磁盘阵列中的冗余阵列可以有效提升数据可靠性,但是有几种例外的特殊情况,即用户写入一些数据,一段时间后将该数据读回来,但是发现读取的数据与写入的数据不同,这个是数据一致性问题。数据一致性问题产生的原因可能是数据已被损坏,亦或是数据的完整性已丢失,数据的完整性已丢失,术语为“数据损坏”或“数据完整性问题”,即出现数据一致性问题。
[0004]综上所述,如何高效解决存储环境的数据一致性问题,已成为本
专业技术人员亟待解决的问题。

技术实现思路

[0005]基于此,有必要针对上述技术问题,提供一种能够解决存储环境的数据一致性问题的数据一致性处理方法、装置、计算机设备和存储介质。
[0006]一方面,提供一种数据一致性处理方法,所述方法包括:
[0007]实时检测是否将本地存储系统的数据传输到远程存储系统中;
[0008]响应于检测到将本地存储系统的数据传输到远程存储系统中时,对所述远程存储系统的当前数据组制作第一快照;
[0009]获取所述本地存储系统向所述远程存储系统的上传数据信息,并向所述远程存储系统上传所述上传数据信息;
[0010]实时检测所述上传数据信息是否上传成功;若否则采用第一快照将远程存储系统的数据组回滚到上传数据信息之前时间点一致的数据组,再次向所述远程存储系统上传所述上传数据信息,直至上传成功;
[0011]响应于检测到所述上传数据信息成功上传至所述远程存储系统后,根据所述远程存储系统的当前数据组更新所述第一快照。
[0012]在其中一个实施例中,所述方法还包括:
[0013]响应于检测到将本地存储系统的数据传输到远程存储系统中时,对所述本地存储系统的当前数据组制作第二快照;
[0014]响应于检测到所述上传数据信息在上传至所述远程存储系统过程中被中断时,采用第一快照将远程存储系统的数据组回滚到上传数据信息之前时间点一致的数据组,并保存所述本地存储系统的第二快照;
[0015]响应于所述本地存储系统与所述远程存储系统通讯恢复时,根据所述第二快照再次向所述远程存储系统上传所述上传数据信息。
[0016]在其中一个实施例中,所述对所述远程存储系统的当前数据组制作第一快照步骤包括:
[0017]检测获取所述远程存储系统中的当前数据组存储在独立磁盘冗余磁盘阵列的硬盘上的逻辑卷号(LUN);
[0018]将所述逻辑卷号对应的逻辑卷所属的独立磁盘冗余磁盘阵列制作第一快照。
[0019]在其中一个实施例中,向所述远程存储系统上传所述上传数据信息步骤包括:
[0020]设置所述本地存储系统通过因特网小型计算机系统接口(iSCSI)、以太网、以太网光纤通道(FCoE)、光纤通道之一的通信方式将所述上传数据信息传输至所述远程存储系统;
[0021]将所述上传数据信息拆分为多组目的端数据,并按序设置上传时序;
[0022]将所述多组目的端数据按照上传时序先后顺序依次传输到所述远程存储系统。
[0023]在其中一个实施例中,所述方法还包括:
[0024]响应于检测到所述本地存储系统发生灾难之后,获取所述本地存储系统中所有受影响的逻辑卷;
[0025]在所述远程存储系统中对所有受影响的逻辑卷创建一份输入输出区;
[0026]将所述本地存储系统的业务流程切换到所述远程存储系统中执行,并在所述输入输出区中记录变更数据;
[0027]响应于检测到所述本地存储系统恢复之后,将所述输入输出区中记录的变更数据重新同步(Resync)到所述本地存储系统中;
[0028]响应于所述远程存储系统的变更数据同步(Resync)到所述本地存储系统中后,将所述本地存储系统的业务流程切回到所述本地存储系统中执行。
[0029]在其中一个实施例中,所述方法还包括:
[0030]响应于检测到所述上传数据信息在上传至所述远程存储系统过程中被中断时,将远程存储系统的数据组制作第三快照并封存;
[0031]将所述本地存储系统的业务流程切换到所述远程存储系统中执行,在所述远程存储系统中对每一个参与容灾的逻辑卷创建一份输入输出区,并在所述输入输出区中记录变更数据;
[0032]响应于检测到所述本地存储系统恢复之后,将所述输入输出区中记录的变更数据重新同步(Resync)到所述本地存储系统中;
[0033]将所述第三快照的数据与所述本地存储系统的数据进行异或对比获取所述本地存储系统向所述远程存储系统上传的异步容灾数据信息;
[0034]响应于检测到将所述本地存储系统的异步容灾数据信息传输到远程存储系统中
时,将所述本地存储系统的业务流程切回到所述本地存储系统中执行。
[0035]在其中一个实施例中,在所述远程存储系统中的所述输入输出区的位图元数据(Bitmap)中记录输入输出数据的地址,并将输入输出数据的地址对应的输入输出数据作为变更数据;根据所述输入输出区的位图元数据(Bitmap)中记录输入输出数据的地址将所述远程存储系统的变更数据重新同步(Resync)到所述本地存储系统中。
[0036]另一方面,提供了一种数据一致性处理装置,所述装置包括:
[0037]上传数据检测模块,用于实时检测是否将本地存储系统的数据传输到远程存储系统中;
[0038]快照制作模块,用于响应于检测到将本地存储系统的数据传输到远程存储系统中时,对所述远程存储系统的当前数据组制作第一快照;
[0039]上传数据模块,用于获取所述本地存储系统向所述远程存储系统的上传数据信息,并向所述远程存储系统上传所述上传数据信息;
[0040]数据恢复管理模块,用于实时检测所述上传数据信息是否上传成功;若否则采用第一快照将远程存储系统的数据组回滚到上传数据信息之前时间点一致的数据组,再次向所述远程存储系统上传所述上传数据信息,直至上传成功;
[0041]数据更新模块,用于响应于检测到所述上传数据信息成功上传至所述远程存储本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据一致性处理方法,其特征在于,包括:实时检测是否将本地存储系统的数据传输到远程存储系统中;响应于检测到将本地存储系统的数据传输到远程存储系统中时,对所述远程存储系统的当前数据组制作第一快照;获取所述本地存储系统向所述远程存储系统的上传数据信息,并向所述远程存储系统上传所述上传数据信息;实时检测所述上传数据信息是否上传成功;若否则采用第一快照将远程存储系统的数据组回滚到上传数据信息之前时间点一致的数据组,再次向所述远程存储系统上传所述上传数据信息,直至上传成功;响应于检测到所述上传数据信息成功上传至所述远程存储系统后,根据所述远程存储系统的当前数据组更新所述第一快照。2.根据权利要求1所述的数据一致性处理方法,其特征在于,所述方法还包括:响应于检测到将本地存储系统的数据传输到远程存储系统中时,对所述本地存储系统的当前数据组制作第二快照;响应于检测到所述上传数据信息在上传至所述远程存储系统过程中被中断时,采用第一快照将远程存储系统的数据组回滚到上传数据信息之前时间点一致的数据组,并保存所述本地存储系统的第二快照;响应于所述本地存储系统与所述远程存储系统通讯恢复时,根据所述第二快照再次向所述远程存储系统上传所述上传数据信息。3.根据权利要求1所述的数据一致性处理方法,其特征在于,所述对所述远程存储系统的当前数据组制作第一快照步骤包括:检测获取所述远程存储系统中的当前数据组存储在独立磁盘冗余磁盘阵列的硬盘上的逻辑卷号;将所述逻辑卷号对应的逻辑卷所属的独立磁盘冗余磁盘阵列制作第一快照。4.根据权利要求1所述的数据一致性处理方法,其特征在于,向所述远程存储系统上传所述上传数据信息步骤包括:设置所述本地存储系统通过因特网小型计算机系统接口、以太网、以太网光纤通道、光纤通道之一的通信方式将所述上传数据信息传输至所述远程存储系统;将所述上传数据信息拆分为多组目的端数据,并按序设置上传时序;将所述多组目的端数据按照上传时序先后顺序依次传输到所述远程存储系统。5.根据权利要求1所述的数据一致性处理方法,其特征在于,所述方法还包括:响应于检测到所述本地存储系统发生灾难之后,获取所述本地存储系统中所有受影响的逻辑卷;在所述远程存储系统中对所有受影响的逻辑卷创建一份输入输出区;将所述本地存储系统的业务流程切换到所述远程存储系统中执行,并在所述输入输出区中记录变更数据;响应于检测到所述本地存储系统恢复之后,将所述输入输出区中记录的变更数据重新同步到所述本地存储系统中;响应于所述远程存储系...

【专利技术属性】
技术研发人员:李飞龙王见刘涛钟戟孙明刚
申请(专利权)人:苏州浪潮智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1