【技术实现步骤摘要】
本专利技术涉及大数据应用领域，更具体地说，本专利技术涉及一种跨多个hive集群实现数据和任务容灾方法及系统。
技术介绍
1、目前，大数据有4个特点，分别为：volume(大量)、variety(多样)、velocity(高速)、value(价值)，一般称之为4v；
2、在大数据离线数据/批数据存储计算中，hive承担着非常重要的角色，可以说批处理场景/数仓建设基本离不开hive，hive数仓中往往也存储着海量数据。
3、此外，对it企业来说，传统的单数据中心，已不足以保护企业数据的安全；当单数据中心存储故障后，可能会导致业务长时间中断，甚至数据丢失；只做本地的数据冗余保护或容灾建设，已不能规避区域性灾难对企业数据的破坏，远程容灾保护数据及保障企业业务连续性成为了企业亟待解决的问题；因此，针对跨idc/跨地域/跨数据中心的hive集群数据容灾/同步、存算任务的连续性等需求，显得尤为迫切和重要。
技术实现思路
1、为了克服现有技术的上述缺陷，本专利技术提供一种跨多个hive集群实现数据和任务容灾方法，包括步骤：步骤一、获取hadoop集群a与hadoop集群b的kerberos认证，并跨域互信；步骤二、获取hadoop集群a地集群数据与hadoop集群b地集群数据，相互复制和同步；步骤三、hadoop集群a地集群数据丢失损坏，接收hadoop集群b地集群数据调度，hadoop集群b地集群数据丢失损坏，接收hadoop集群a地集群数据调度；步骤四、hadoop集群
2、优选地，所述hadoop集群a集群数据与hadoop集群b集群数据同步方法包括步骤：
3、s100、跨idc/地城的hive集群的元数据库(mysql)所在服务器磁盘做raid1/raid10；
4、s101、配置hadoop集群a与hadoop集群b的kerberos认证跨域互信，租户等信息同步；
5、s102、获取集群健康状态serverstate；
6、s103、利用canal工具进行两个hive集群元数据库mysql里hive元数据实时同步；
7、s104、hive元数据同步结果校验，若校验异常，则生成异常告警并返回s103，若校验正常前往s105；
8、s105、利用distcp脚本工具进行hdfs数据同步；
9、s106、hdfs同步结果数据一致性校验，若校验异常，则生成异常告警并返回s105，若校验正常前往s107；
10、s107、两个hive集群数据同步完成。
11、优选地，所述hive元数据同步结果校验方法包括：
12、分别hadoop集群a与hadoop集群b的表结构和元数据、数据库对象、表数据统计信息、分区信息和hive配置信息，并比对它们的一致性；
13、若一致则判定正常；
14、若不一致则生成异常告警。
15、优选地，所述hdfs同步结果数据一致性校验方法为：分别获取hadoop集群a与hadoop集群b的文件列表及文件内容；
16、比对hadoop集群a与hadoop集群b的文件列表，获取源hdfs和目标hdfs上的文件列表，包括文件路径、文件大小、修改时间信息，通过比对两个集群上的文件列表，确保文件在源和目标之间的一致性；
17、比对hadoop集群a与hadoop集群b文件内容的哈希值，若hadoop集群a与hadoop集群b文件内容的哈希值相同，则文件内容一致，若hadoop集群a与hadoop集群b文件内容的哈希值不相同，则文件内容不一致。
18、优选地，所述hadoop集群a与hadoop集群b故障的监测方法包括步骤：
19、分别获取hadoop集群a与hadoop集群b的serverstate的值，hadoop集群a标记为cluster1，hadoop集群b标记为cluster2，cluster1作为主数据服务，正常情况下均由其提供服务；
20、serverstate＝0代表cluster1和cluster2均正常服务；
21、serverstate＝1代表只有cluster1故障；
22、serverstate＝2代表只有cluster2故障；
23、serverstate＝3代表cluster1和cluster2均故障。
24、优选地，cluster1故障，cluster2正常时，处理方法为：
25、当cluster2的serverstate的值等于0，数据灾备方向为cluster1->cluster2，hadoop集群a与hadoop集群b的hive元数据实时同步，包括：
26、周期t触发增量是库表数据同步；
27、存算调度任务执行完触发，当增量库表数据大于m时，执行hdfs增量文件同步，其中m为cluster1和cluster2间网络带宽s乘以4小时的值；
28、当cluster2的serverstate的值等于1，数据灾备方向为cluster1->cluster2，hadoop集群a与hadoop集群b的hive元数据实时同步。
29、优选地，cluster1由故障恢复正常，cluster2一直正常时，数据灾备方向为cluster2->cluster1，处理方法分为根据cluster1元数库故障执行以及利用canal执行cluster1和cluster2的hive元数据同步；
30、s200、若cluster1元数库正常直接前往s201，若cluster1元数库故障，获取当前时刻cluster1和cluster2元数据库mysq的binlog里最新一条数据的时间戳，按照时间戳提取cluster2在duster1故障期间的元数据历史变化，在cluster1上执行同步；
31、s201、利用hive的元数据/mysql的binlog，解析出cluster1故障至恢复期间，hive库表数据的增量信息；
32、s202、利用distcp脚本，将增量信息同步至cluster1；
33、s203、数据一致性校验，若不通过返回s202循环，若通过前往s206；
34、s204、利用canal执行cluster1和cluster2的hive元数据同步分为：
35、周期t触发增库表数据同步；
36、存算周度任务执行完触发，当增量库表数据大于m时，执行hdfs增量文件同步；
37、s205、数据一致性校验，若不通过返回s204循环，若通过前往s206执行；
38、s本文档来自技高网...
【技术保护点】
1.一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，所述Hadoop集群A集群数据与Hadoop集群B集群数据同步方法包括步骤：
3.根据权利要求2所述的一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，所述hive元数据同步结果校验方法包括：
4.根据权利要求2所述的一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，所述HDFS同步结果数据一致性校验方法为：分别获取Hadoop集群A与Hadoop集群B的文件列表及文件内容；
5.根据权利要求2所述的一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，所述Hadoop集群A与Hadoop集群B故障的监测方法包括步骤：
6.根据权利要求3所述的一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，cluster1故障，cluster2正常时，处理方法为：
7.根据权利要求6所述的一种跨多个Hive集群实现数据和任务容灾方法，其特征在
8.根据权利要求6所述的一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，cluster1一直正常，cluster2由故障恢复正常时，数据灾备方向为cluster1->cluster2，处理方法分为根据cluster2元数库故障执行以及利用canal执行cluster1和cluster2的hive元数据同步；
9.一种跨多个Hive集群实现数据和任务容灾系统，用于实现权利要求1-8任一项所述的一种跨多个Hive集群实现数据和任务容灾方法，其特征在于，包括集群监控Listener模块和统一代理proxy模块，部署在cluster1和cluster2之外的具备HA、安全的云上；
10.根据权利要求9所述的一种跨多个Hive集群实现数据和任务容灾系统，其特征在于，所述集群监控Listener模块探测到1/3的DataNode节点故障，则进行cluster1与cluster2切换，相应的进行数据容灾和任务调度的切换；
...【技术特征摘要】
1.一种跨多个hive集群实现数据和任务容灾方法，其特征在于，包括步骤：
2.根据权利要求1所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，所述hadoop集群a集群数据与hadoop集群b集群数据同步方法包括步骤：
3.根据权利要求2所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，所述hive元数据同步结果校验方法包括：
4.根据权利要求2所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，所述hdfs同步结果数据一致性校验方法为：分别获取hadoop集群a与hadoop集群b的文件列表及文件内容；
5.根据权利要求2所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，所述hadoop集群a与hadoop集群b故障的监测方法包括步骤：
6.根据权利要求3所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，cluster1故障，cluster2正常时，处理方法为：
7.根据权利要求6所述的一种跨多个hive集群实现数据和任务容灾方法，其特征在于，cluster1由故障恢复正常，cluster2一直正常时...
【专利技术属性】
技术研发人员：朱修德，朱韦琳，张文领，张晨曦，曹莫言，黄亦斌，陈天多，吴霜霜，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。