数据同步方法、装置、设备及介质制造方法及图纸

本申请公开了一种数据同步方法、装置、设备及介质，涉及分布式文件存储集群技术领域，包括：基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立本地集群与待同步远端集群之间的连接关系；通过连接关系记录本地集群的本地目录和待同步远端集群的远端目录，以得到本地集群与待同步远端集群之间的复制关系；基于复制关系、本地目录以及本地目录中的数据资源，对待同步远端集群进行目录快照级别的数据同步，以得到与本地集群相对应的同步后远端集群；判断当前是否满足预设容灾后数据同步条件，若满足则利用复制关系获取同步后远端集群中远端目录对应的数据资源，进行目录快照级别的数据同步。在进行数据同步的过程中不影响其他业务进行。影响其他业务进行。影响其他业务进行。

【技术实现步骤摘要】
数据同步方法、装置、设备及介质


[0001]本专利技术涉及分布式文件存储集群
，特别涉及数据同步方法、装置、设备及介质。

技术介绍

[0002]分布式存储集群在如今得到了越来越多的应用，随着数字化程度的推进，数据逐渐成为企事业单位的运营核心，例如银行、金融公司等，用户对承载数据的存储系统的稳定性要求也越来越高。容灾系统是指在相隔较远的异地，建立两套或多套功能相同的IT(Internet Technology，即互联网技术)系统，互相之间可以进行健康状态监视和功能切换，当一处系统因意外停止工作时，如火灾、地震等，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作，容灾技术是系统的高可用性技术的一个组成部分，容灾系统更加强调处理外界环境对系统的影响，特别是灾难性事件对整个IT节点的影响，提供节点级别的系统恢复功能为了保证数据存储的持续性、可恢复性、高可用性，远程容灾解决方案应运而生，而远程复制技术是远程容灾解决方案的关键技术之一，其核心思想就是将对应的数据同步复制多份到各地多处，从而在最大可能上避免自然灾害或者人为破坏导致的数据丢失。但是数据同步需要大量的计算资源，会使得其他业务运行速率降低，甚至会使得其他业务的停止进行。
[0003]综上可见，如何在进行数据同步的过程中不影响其他业务进行是本领域有待解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种数据同步方法、装置、设备及介质，在进行数据同步的过程中不影响其他业务进行。其具体方案如下：
[0005]第一方面，本申请公开了一种数据同步方法，应用于本地集群，包括：
[0006]基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系；
[0007]通过所述连接关系记录所述本地集群的本地目录和所述待同步远端集群的远端目录，以得到所述本地集群与所述待同步远端集群之间的复制关系；
[0008]基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群；
[0009]判断当前是否满足预设容灾后数据同步条件，若满足则利用所述复制关系获取所述同步后远端集群中所述远端目录对应的数据资源，并进行所述目录快照级别的数据同步。
[0010]可选的，所述基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系，包括：
[0011]获取待同步远端集群对应的秘钥，并校验所述密钥，若校验结果满足第一预设条件，则获取对应的监控进程绑定的互联网协议地址以及对应的校验值；
[0012]利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口，并利用所述接口建立所述本地集群与所述待同步远端集群之间的连接关系。
[0013]可选的，所述利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口，并利用所述接口建立所述本地集群与所述待同步远端集群之间的连接关系，包括：
[0014]利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口；
[0015]通过安全外壳协议在所述待同步远端集群调用所述接口和远程连接，以便在所述待同步远端集群中添加所述接口，建立所述本地集群与所述待同步远端集群之间的连接关系。
[0016]可选的，所述基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群，包括：
[0017]基于所述复制关系、所述本地目录删除所述待同步远端集群中的满足预设删除条件的所述远端目录，以得到第一远端目录；
[0018]比较所述本地目录与所述第一远端目录之间的差异，并利用所述差异创建第二远端目录以得到包含第一远端目录和第二远端目录的第三远端目录，然后基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群中的所述第三远端目录进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群。
[0019]可选的，所述基于所述复制关系、所述本地目录删除所述待同步远端集群中的满足预设删除条件的所述远端目录，以得到第一远端目录，包括：
[0020]基于所述复制关系、所述本地目录判断所述待同步远端集群中当前远端目录是否满足预设删除条件，若满足则删除所述当前远端目录，并更新所述当前远端目录以得到当前第一远端目录。
[0021]可选的，所述基于所述复制关系、所述本地目录判断所述待同步远端集群中当前远端目录是否满足预设删除条件，若满足则删除所述当前远端目录，包括：
[0022]基于所述复制关系、所述本地目录判断所述待同步远端集群中当前远端目录在所述本地目录中是否存在，若不存在则删除所述当前远端目录；
[0023]或，基于所述复制关系、所述本地目录，判断当前远端目录中的文件名称是否与对应的所述本地目录的文件名称是否一致，若一致则判断所述当前远端目录的文件类型与对应的所述本地目录的文件类型是否一致，若不一致则删除所述当前远端目录。
[0024]可选的，所述基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群中的所述第三远端目录进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群，包括：
[0025]修改当前第三远端目录的元数据，并判断所述当前第三远端目录是否满足预设数据同步条件，若满足则确定所述当前第三远端目录对应的预设数据同步类型；
[0026]基于所述复制关系、所述本地目录、所述本地目录中的数据资源以及所述预设数据同步类型，对所述当前第三远端目录进行目录快照级别的数据同步，以得到与所述本地
集群相对应的当前同步后远端集群，并修改所述当前同步后远端集群的元数据。
[0027]第二方面，本申请公开了一种数据同步装置，应用于本地集群，包括：
[0028]连接关系建立模块，用于基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系；
[0029]复制关系获取模块，用于通过所述连接关系记录所述本地集群的本地目录和所述待同步远端集群的远端目录，以得到所述本地集群与所述待同步远端集群之间的复制关系；
[0030]第一同步模块，用于基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群；
[0031]第二同步模块，用于判断当前是否满足预设容灾后数据同步条件，若满足则利用所述复制关系获取所述同步后远端集群中所述远端目录对应的数据资源，并进行所述目录快照级别的数据同步。
[0032]第三方面，本申请公开了一种电子设备，包括：
[0033]存储器，用于保存计算机程序；...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于本地集群，包括：基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系；通过所述连接关系记录所述本地集群的本地目录和所述待同步远端集群的远端目录，以得到所述本地集群与所述待同步远端集群之间的复制关系；基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群；判断当前是否满足预设容灾后数据同步条件，若满足则利用所述复制关系获取所述同步后远端集群中所述远端目录对应的数据资源，并进行所述目录快照级别的数据同步。2.根据权利要求1所述的数据同步方法，其特征在于，所述基于待同步远端集群对应的秘钥、互联网协议地址和链接名称，建立所述本地集群与所述待同步远端集群之间的连接关系，包括：获取待同步远端集群对应的秘钥，并校验所述密钥，若校验结果满足第一预设条件，则获取对应的监控进程绑定的互联网协议地址以及对应的校验值；利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口，并利用所述接口建立所述本地集群与所述待同步远端集群之间的连接关系。3.根据权利要求2所述的数据同步方法，其特征在于，所述利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口，并利用所述接口建立所述本地集群与所述待同步远端集群之间的连接关系，包括：利用所述互联网协议地址以及所述校验值添加与链接名称对应的接口；通过安全外壳协议在所述待同步远端集群调用所述接口和远程连接，以便在所述待同步远端集群中添加所述接口，建立所述本地集群与所述待同步远端集群之间的连接关系。4.根据权利要求1所述的数据同步方法，其特征在于，所述基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群，包括：基于所述复制关系、所述本地目录删除所述待同步远端集群中的满足预设删除条件的所述远端目录，以得到第一远端目录；比较所述本地目录与所述第一远端目录之间的差异，并利用所述差异创建第二远端目录以得到包含第一远端目录和第二远端目录的第三远端目录，然后基于所述复制关系、所述本地目录以及所述本地目录中的数据资源，对所述待同步远端集群中的所述第三远端目录进行目录快照级别的数据同步，以得到与所述本地集群相对应的同步后远端集群。5.根据权利要求4所述的数据同步方法，其特征在于，所述基于所述复制关系、所述本地目录删除所述待同步远端集群中的满足预设删除条件的所述远端目录，以得到第一远端目录，包括：基于所述复制关系、所述本地目...

【专利技术属性】
技术研发人员：李景要，解志阳，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：