【技术实现步骤摘要】
本专利技术涉及计算机网络，特别是涉及一种hadoop集群数据同步方法。
技术介绍
1、建设数据平台的过程中，随着业务的增长，集群规模的扩大，以及软硬件环境的升级，不可避免的会遇到如集群数据迁移，合并等工作。
2、在大数据领域，通常会存在两套或多套hadoop集群(离线)，一套源端集群，一套或多套目标端集群。两套集群的表范围存在差异，通常目标端集群的表范围是源端集群表的子集，对于相同的表目标端集群的数据需要跟源集群保持一致。源端集群的数据，一般来自于业务系统数据库，如mysql等，对应的，需要在源端集群配置业务数据同步调度，同步前应判断待同步数据是否已就绪。
3、目前，在确保目标端集群的数据，跟源端集群的数据保持完全一致的数据同步方法中，大多专注于表数据同步，忽视了表结构同步。
4、因此，提供一种可以同时关注表结构和表数据同步的hadoop集群数据同步方法是本领域技术人员亟待解决的问题。
技术实现思路
1、本专利技术的目的在于提供一种hadoop集群数据同...
【技术保护点】
1.一种hadoop集群数据同步方法，其特征在于，包括如下步骤：
2.如权利要求1所述的hadoop集群数据同步方法，其特征在于，所述目标端集群执行源端集群调度判断，包括如下步骤：
3.如权利要求2所述的hadoop集群数据同步方法，其特征在于，所述第一判断结果包括：判断是否存在所述依赖的源端集群调度的判断结果为否与判断所述依赖的源端集群调度是否成功的判断结果为是。
4.如权利要求1所述的hadoop集群数据同步方法，其特征在于，所述目标端集群执行所述待同步表的结构判断，包括如下步骤：
5.如权利要求4所述的hadoop...
【技术特征摘要】
1.一种hadoop集群数据同步方法，其特征在于，包括如下步骤：
2.如权利要求1所述的hadoop集群数据同步方法，其特征在于，所述目标端集群执行源端集群调度判断，包括如下步骤：
3.如权利要求2所述的hadoop集群数据同步方法，其特征在于，所述第一判断结果包括：判断是否存在所述依赖的源端集群调度的判断结果为否与判断所述依赖的源端集群调度是否成功的判断结果为是。
4.如权利要求1所述的hadoop集群数据同步方法，其特征在于，所述目标端集群执行所述待同步表的结构判断，包括如下步骤：
5.如...
【专利技术属性】
技术研发人员：刘志超，李尼科，潘斌，何培康，谭磊，陈梦晨，
申请(专利权)人：湖南长银五八消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。