分布式文件的同步方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及分布式文件的同步方法、装置、计算机设备及存储介质；其中，方法，包括：获取分布式文件系统下发的文件同步请求，并对文件同步请求进行校验；校验通过后，创建同步任务，并将分布式文件系统中对应同步任务的文件数据保存至数据存储中心；当检测到数据存储中心发生数据变更，则触发同步任务，向队列系统发送指令；队列系统将指令发送至中转集群，中转集群根据指令执行文件数据同步。本发明专利技术能够保证同步子任务依赖关系，确保任务正确执行，还降低了集群配置管理复杂度，而且支持任务重做，支持自定义接口触发。支持自定义接口触发。支持自定义接口触发。

【技术实现步骤摘要】
分布式文件的同步方法、装置、计算机设备及存储介质


[0001]本专利技术涉及分布式文件同步
，更具体地说是指分布式文件的同步方法、装置、计算机设备及存储介质。

技术介绍

[0002]现跨机房HDFS(Hadoop分布式文件系统)文件同步是利用Hadoop distcp(分布式数据拷贝工具)，通过定时脚本实现；Hadoop distcp(分布式数据拷贝工具)工具要求集群间网络互通，但是跨机房集群间网络往往不通，因此需要一个中转集群做数据中转，由此导致一个同步任务包含多个子任务，多个子任务的执行有顺序依赖关系，上个子任务成功才会继续执行下一个子任务，定时触发的方式无法保证任务依次准确执行，定时脚本的实现还有集群配置管理复杂、不支持任务重做、不支持自定义接口触发等缺点。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的缺陷，提供分布式文件的同步方法、装置、计算机设备及存储介质。
[0004]为实现上述目的，本专利技术采用以下技术方案：
[0005]分布式文件的同步方法，包括以下步骤：
[0006]获取分布式文件系统下发的文件同步请求，并对文件同步请求进行校验；
[0007]校验通过后，创建同步任务，并将分布式文件系统中对应同步任务的文件数据保存至数据存储中心；
[0008]当检测到数据存储中心发生数据变更，则触发同步任务，向队列系统发送指令；
[0009]队列系统将指令发送至中转集群，中转集群根据指令执行文件数据同步。
[0010]其进一步技术方案为：所述文件同步请求包括同步目录、调度时间、及同步路由信息。
[0011]其进一步技术方案为：所述指令包括同步任务的基本信息，基本信息包含源目录、目的目录、及任务阶段。
[0012]其进一步技术方案为：所述步骤队列系统将指令发送至中转集群，中转集群根据指令执行文件数据同步之后，还包括：中转集群向队列系统反馈执行结果指令。
[0013]分布式文件的同步装置，包括：获取校验单元，创建保存单元，检测触发发送单元，及发送执行单元；
[0014]所述获取校验单元，用于获取分布式文件系统下发的文件同步请求，并对文件同步请求进行校验；
[0015]所述创建保存单元，用于校验通过后，创建同步任务，并将分布式文件系统中对应同步任务的文件数据保存至数据存储中心；
[0016]所述检测触发发送单元，用于当检测到数据存储中心发生数据变更，则触发同步任务，向队列系统发送指令；
[0017]所述发送执行单元，用于队列系统将指令发送至中转集群，中转集群根据指令执行文件数据同步。
[0018]其进一步技术方案为：所述文件同步请求包括同步目录、调度时间、及同步路由信息。
[0019]其进一步技术方案为：所述指令包括同步任务的基本信息，基本信息包含源目录、目的目录、及任务阶段。
[0020]其进一步技术方案为：还包括：反馈单元，用于中转集群向队列系统反馈执行结果指令。
[0021]一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如上述所述的分布式文件的同步方法。
[0022]一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如上述所述的分布式文件的同步方法。
[0023]本专利技术与现有技术相比的有益效果是：能够保证同步子任务依赖关系，确保任务正确执行，还降低了集群配置管理复杂度，而且支持任务重做，支持自定义接口触发。
[0024]下面结合附图和具体实施例对本专利技术实施例作进一步描述。
附图说明
[0025]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为本专利技术实施例提供的分布式文件的同步方法的流程示意图；
[0027]图2为本专利技术实施例提供的分布式文件的同步装置的示意性框图；
[0028]图3为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0029]为了使本专利技术实施例的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施方式对本专利技术实施例作进一步详细说明。
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术实施例一部分实施例，而不是全部的实施例。基于本专利技术实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术实施例保护的范围。
[0031]在本专利技术实施例的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术实施例的限制。
[0032]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括一个或者更多个该特征。在本专利技术实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0033]在本专利技术实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利技术实施例中的具体含义。
[0034]在本专利技术实施例中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0035]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本专利技术实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.分布式文件的同步方法，其特征在于，包括以下步骤：获取分布式文件系统下发的文件同步请求，并对文件同步请求进行校验；校验通过后，创建同步任务，并将分布式文件系统中对应同步任务的文件数据保存至数据存储中心；当检测到数据存储中心发生数据变更，则触发同步任务，向队列系统发送指令；队列系统将指令发送至中转集群，中转集群根据指令执行文件数据同步。2.根据权利要求1所述的分布式文件的同步方法，其特征在于，所述文件同步请求包括同步目录、调度时间、及同步路由信息。3.根据权利要求2所述的分布式文件的同步方法，其特征在于，所述指令包括同步任务的基本信息，基本信息包含源目录、目的目录、及任务阶段。4.根据权利要求3所述的分布式文件的同步方法，其特征在于，所述步骤队列系统将指令发送至中转集群，中转集群根据指令执行文件数据同步之后，还包括：中转集群向队列系统反馈执行结果指令。5.分布式文件的同步装置，其特征在于，包括：获取校验单元，创建保存单元，检测触发发送单元，及发送执行单元；所述获取校验单元，用于获取分布式文件系统下发的文件同步请求，并对文件同步请求进行校验；所述创建保存单元，用于校验通过后，创...

【专利技术属性】
技术研发人员：罗伟东，张玉柱，张庆，崔志萍，
申请(专利权)人：深圳市和讯华谷信息技术有限公司，
类型：发明
国别省市：