异地双活灾备数据同步系统及方法技术方案

本发明专利技术提供了一种包括监控管理平台、MPP数仓任务调度平台、DNS中继服务器、MPP客户端服务器、主集群、备集群和对外服务接口；MPP数仓任务调度平台给DNS中继服务器发送任务调度指令；DNS中继服务器接收指令并将脚本调用指令转发至MPP客户端服务器；MPP客户端服务器响应指令并发送数据处理指令给主集群和备集群进行数据处理；监控管理平台实时监控MPP数仓任务调度平台的调度状态，在出现差异任务时进行重调，同时监控MPP客户端服务器服务状态、主备集群状态以及切换对外服务接口。本发明专利技术保证数据完整性、一致性、可用性，实现双活系统服务无感切换，解决灾难场景下数据服务不可用的问题，提升企业业务连续性水平。提升企业业务连续性水平。提升企业业务连续性水平。

【技术实现步骤摘要】
异地双活灾备数据同步系统及方法


[0001]本专利技术涉及计算机
，具体地，涉及一种异地双活灾备数据同步系统及方法。

技术介绍

[0002]MPP(Massively Parallel Processing)，即大规模并行处理，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。
[0003]简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果
[0004]灾难备援，它是指利用科学的技术手段和方法，提前建立系统化的数据应急方式，以应对灾难的发生。其内容包括数据备份和系统备份，业务连续规划、人员架构、通信保障、危机公关，灾难恢复规划、灾难恢复预案、业务恢复预案、紧急事件响应、第三方合作机构和供应链危机管理等等。
[0005]目前主流的单机房集群或同城双机房集群部署对应的数据服务灾备方案具有一定局限性，主要在于备用服务切换时影响业务窗口时间较长，备份数据具有滞后性，应对不可抗力，比如自然灾害，战争等时容错性较低。
[0006]专利文献CN109901948A公开了一种无共享数据库集群异地双活容灾系统，所述系统包括：任务调度器，位于MPP集群Server服务器端，用于对于主、备集群分别执行不同的调度任务；任务执行器，位于MPP集群的NodeAgent节点代理端，为MPP集群节点代理层的执行线程，用于接收任务调度器分配的调度任务并执行；消息总线模块，用于为所述无共享数据库集群异地双活容灾系统提供消息交互功能；DNS代理服务模块，用于主、备MPP集群对外提供服务的接口，并通过更新实现集群主、备之间的自动切换。
[0007]但是，专利文献CN109901948A虽然通过建立双活数据中心，将业务系统数据中心的数据容灾备份到异地，并号称使用“增量复制技术，从而减轻了网络带宽的使用压力”，但实际上其方案还是将日常变更数据从主集群全量复制推送给备集群，必须等主集群处理完相应数据才开始向备集群同步，二者之间的数据版本必然存在较大的时间间隔，且这种方案无疑会增加主集群的网络带宽消耗，同步数据和查询业务同时抢占上行带宽，导致查询效率受威胁，同步数据的效率也大打折扣，在该方案中若想消除带宽抢占的影响则需要将上行带宽扩大数倍，对于远程异地传输的专线网络来说，这其中增加的成本将以每年数十亿计。
[0008]总之，专利CN109901948A的方案极大程度上受制于异地传输的上行带宽限制，无法保证对外服务的效率最优，且主备切换之后的数据版本必然有较大差异。

技术实现思路

[0009]针对现有技术中的缺陷，本专利技术的目的是提供一种异地双活灾备数据同步系统及方法。
[0010]根据本专利技术提供的一种异地双活灾备数据同步系统，包括监控管理平台、MPP数仓任务调度平台、DNS中继服务器、MPP客户端服务器、主集群、备集群和对外服务接口；
[0011]所述MPP数仓任务调度平台给所述DNS中继服务器发送任务调度指令；所述DNS中继服务器接收所述指令并将脚本调用指令转发至所述MPP客户端服务器；MPP客户端服务器响应所述指令并发送数据处理指令给主集群和备集群进行数据处理；
[0012]所述监控管理平台实时监控所述MPP数仓任务调度平台的调度状态，在出现差异任务时进行重调，同时监控MPP客户端服务器服务状态、主备集群状态以及切换对外服务接口。
[0013]优选地，所述监控管理平台用于实时刷新调度任务状态，对比差异作业，对报错作业进行重调，对未报错但统计结果不一致的任务发送给监控运维用户进行及时分析处理；
[0014]比对集群内数据统计结构对差量数据进行同步，以及监控双活集群运行状态，当遇到主集群故障时，实时切换对外服务接口映射到备集群。
[0015]优选地，所述MPP数仓任务调度平台用于配置、调用并监控开发好的数据加载、加工及比对作业。
[0016]优选地，所述DNS中继服务器用于转发MPP数仓任务调度平台的程序运行指令给MPP客户端服务器，并接收MPP客户端服务器返回的信息发送给MPP数仓任务调度平台。
[0017]优选地，所述主集群和备集群均包括MPP集群调度器、MPP数据服务器、MPP执行器和MPP存储服务；
[0018]所述MPP集群调度器对接并解析数据集群外部提交到集群的各种sql语句及存储过程，对解析完语句作出优化及下推判断，生成执行计划，并按照执行计划将集群内的任务分发给各个数据服务器执行，同时接受数据服务器的任务返回信息，汇总并更新数据集群内部的元数据；
[0019]所述MPP数据服务器用于搭建集群，为集群提供硬件设备；
[0020]所述MPP执行器搭载在数据服务器上的分布式计算程序，执行MPP集群调度器推送的任务以及对接MPP存储服务进行读写操作；
[0021]所述MPP存储服务搭载在数据服务器上的分布式存储服务，根据MPP执行器的指令对数据进行增删改直接对MPP执行器提供数据读取。
[0022]优选地，所述对外服务接口由程序集成，将两套集群的对外服务都封装在同一接口中，通过切换不同的配置文件来实现对外服务集群的切换；
[0023]所述切换的动作是在监控管理平台进行配置，检测到原对外服务集群故障则自动触发，并更新集群主备状态。
[0024]根据本专利技术提供的一种异地双活灾备数据同步方法，包括：
[0025]步骤S1：通过MPP数仓任务调度平台对主备集群数据进行数据加工，所述数据加工包括加载及加工处理任务进行同步调用；
[0026]步骤S2：分别对主备集群的数据加工结果进行主备集群数据比对，判断数据是否一致，若否，则通过调度平台发送告警日志，提醒管理员人工核对；若是，则执行步骤S3；
[0027]步骤S3：监控管理平台实时监控集群状态，判断主集群是否状态异常，若是，则根据配置的集群信息，通过对外接口服务将数据服务接口切换到备集群，并更新及监控记录主备状态；若否，则持续监控集群状态。
[0028]优选地，集群建立在不同的地域板块，每个集群均采用同型号同版本软硬件配置建立；
[0029]集群之间和集群与客户端之间包括光纤专线通信。
[0030]优选地，步骤S1中所述同步调度是主备集群独立执行；
[0031]主备集群各用一套调度配置以及代码，主备集群代码下发时进行代码一致校验；
[0032]同步调度方式根据作业时效性确定，只对报错任务及比对结果不一致的任务进行重调和同步数据操作，所述时效性在作业部署前根据业务性质确定。
[0033]优选地，所述数据比对通过MPP数仓任务调度平台执行数据比对任务，实时核对主备数据量，周期性比对数据内容一致性；
...

【技术保护点】

【技术特征摘要】
1.一种异地双活灾备数据同步系统，其特征在于，包括监控管理平台、MPP数仓任务调度平台、DNS中继服务器、MPP客户端服务器、主集群、备集群和对外服务接口；所述MPP数仓任务调度平台给所述DNS中继服务器发送任务调度指令；所述DNS中继服务器接收所述指令并将脚本调用指令转发至所述MPP客户端服务器；MPP客户端服务器响应所述指令并发送数据处理指令给主集群和备集群进行数据处理；所述监控管理平台实时监控所述MPP数仓任务调度平台的调度状态，在出现差异任务时进行重调，同时监控MPP客户端服务器服务状态、主备集群状态以及切换对外服务接口。2.根据权利要求1所述的异地双活灾备数据同步系统，其特征在于，所述监控管理平台用于实时刷新调度任务状态，对比差异作业，对报错作业进行重调，对未报错但统计结果不一致的任务发送给监控运维用户进行及时分析处理；比对集群内数据统计结构对差量数据进行同步，以及监控双活集群运行状态，当遇到主集群故障时，实时切换对外服务接口映射到备集群。3.根据权利要求1所述的异地双活灾备数据同步系统，其特征在于，所述MPP数仓任务调度平台用于配置、调用并监控开发好的数据加载、加工及比对作业。4.根据权利要求1所述的异地双活灾备数据同步系统，其特征在于，所述DNS中继服务器用于转发MPP数仓任务调度平台的程序运行指令给MPP客户端服务器，并接收MPP客户端服务器返回的信息发送给MPP数仓任务调度平台。5.根据权利要求1所述的异地双活灾备数据同步系统，其特征在于，所述主集群和备集群均包括MPP集群调度器、MPP数据服务器、MPP执行器和MPP存储服务；所述MPP集群调度器对接并解析数据集群外部提交到集群的各种sql语句及存储过程，对解析完语句作出优化及下推判断，生成执行计划，并按照执行计划将集群内的任务分发给各个数据服务器执行，同时接受数据服务器的任务返回信息，汇总并更新数据集群内部的元数据；所述MPP数据服务器用于搭建集群，为集群提供硬件设备；所述MPP执行器搭载在数据服务器上的分布式计算...

【专利技术属性】
技术研发人员：周全，冯明亮，徐羽沁，尤毅，沈明佶，赵昊宇，彭广亮，顾安懿，顾杰，李慧颖，李天举，罗琳，吕路明，
申请(专利权)人：兴业数字金融服务上海股份有限公司，
类型：发明
国别省市：