【技术实现步骤摘要】
本专利技术涉及大数据应用领域，更具体地说，本专利技术涉及一种跨多个hive集群实现数据和任务容灾方法及系统。
技术介绍
1、目前，大数据有4个特点，分别为：volume(大量)、variety(多样)、velocity(高速)、value(价值)，一般称之为4v；
2、在大数据离线数据/批数据存储计算中，hive承担着非常重要的角色，可以说批处理场景/数仓建设基本离不开hive，hive数仓中往往也存储着海量数据。
3、此外，对it企业来说，传统的单数据中心，已不足以保护企业数据的安全；当单数据中心存储故障后，可能会导致业务长时间中断，甚至数据丢失；只做本地的数据冗余保护或容灾建设，已不能规避区域性灾难对企业数据的破坏，远程容灾保护数据及保障企业业务连续性成为了企业亟待解决的问题；因此，针对跨idc/跨地域/跨数据中心的hive集群数据容灾/同步、存算任务的连续性等需求，显得尤为迫切和重要。
技术实现思路
1、为了克服现有技术的上述缺陷，本专利技术提供一种跨多个hi...
【技术保护点】
1.一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，所述Hadoop集群A集群数据与Hadoop集群B集群数据同步方法包括步骤：
3.根据权利要求2所述的一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，所述hive元数据同步结果校验方法包括：
4.根据权利要求2所述的一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，所述HDFS同步结果数据一致性校验方法为：分别获取Hadoop集群A与Hadoop集群B的文件列表
...【技术特征摘要】
1.一种跨多个hive集群实现数据和任务容灾方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，所述hadoop集群a集群数据与hadoop集群b集群数据同步方法包括步骤：
3.根据权利要求2所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，所述hive元数据同步结果校验方法包括：
4.根据权利要求2所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，所述hdfs同步结果数据一致性校验方法为：分别获取hadoop集群a与hadoop集群b的文件列表及文件内容；
5.根据权利要求2所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，所述hadoop集群a与hadoop集群b故障的监测方法包括步骤：
6.根据权利要求3所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，cluster1故障，cluster2正常时，处理方法为：
7.根据权利要求6所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，cluster1由故障恢复正常，cluster2一直正常时...
【专利技术属性】
技术研发人员：朱修德，朱韦琳，张文领，张晨曦，曹莫言，黄亦斌，陈天多，吴霜霜，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。