数据处理系统、数据处理方法、装置及相关设备制造方法及图纸

本发明专利技术提供一种数据处理系统，包括计算集群、存储集群，计算集群包括主计算节点以及从计算节点，存储集群包括至少一个存储节点以及数据处理装置；主计算节点，用于接收访问请求，并向该存储集群写入数据；数据处理装置，用于监控并识别写入的数据包括目标重做日志时，控制至少一个存储节点中第一存储节点回放目标重做日志，以将该目标重做日志中记录的目标数据更新至持久化存储的数据中；从计算节点，用于根据更新后的持久化存储的数据，接管主计算节点上的访问请求。如此，从计算节点接管主计算节点上的访问请求时，无需执行回放重做日志的过程，从而有效缩短数据处理系统的RTO。此外，本申请还公开相应的数据处理方法、装置及相关设备。

【技术实现步骤摘要】

本申请涉及数据库，尤其涉及一种数据处理系统、数据处理方法、装置及相关设备。

技术介绍

1、随着信息化技术的发展，数据处理系统，如mysql，postgresql，opengauss等，在金融、通讯、医疗、物流、电子商务等领域广泛应用，用于在各个领域中对业务数据进行持久化存储。

2、目前，数据处理系统通常会部署有主中心(或者称为生产中心)以及至少一个灾备中心。其中，正常情况下，主中心对外提供数据读写的服务，灾备中心负责对主中心存储的数据进行备份。这样，当主中心发生故障时，灾备中心即可利用备份的数据继续对外提供数据读写服务，避免数据发生丢失，以此保证数据存储的可靠性。

3、主中心通常是通过向灾备中心发送binlog文件(一种二进制日志文件)的方式，将主中心的数据复制至灾备中心。具体地，主中心发送的binlog文件中记录了主中心上用于更新数据的数据库语句，从而灾备中心在接收到binlog文件后，通过执行该binlog中的数据库语句来更新灾备中心的数据，以此实现对主中心数据的复制。但是，这种数据复制的方式，会导致数据处理系统的恢复点目标(r本文档来自技高网...

【技术保护点】

1.一种数据处理系统，其特征在于，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及数据处理装置，所述从计算节点作为所述主计算节点的灾备；

2.根据权利要求1所述的数据处理系统，其特征在于，所述至少一个存储节点还包括第二存储节点，所述第一存储节点作为所述第二存储节点的灾备；

3.根据权利要求2所述的数据处理系统，其特征在于，所述第二存储节点与所述第一存储节点部署于同一物理区域；或者，所述第二存储节点与所述第一存储节点部署于不同物理区域。

4....

【技术特征摘要】

1.一种数据处理系统，其特征在于，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及数据处理装置，所述从计算节点作为所述主计算节点的灾备；

2.根据权利要求1所述的数据处理系统，其特征在于，所述至少一个存储节点还包括第二存储节点，所述第一存储节点作为所述第二存储节点的灾备；

3.根据权利要求2所述的数据处理系统，其特征在于，所述第二存储节点与所述第一存储节点部署于同一物理区域；或者，所述第二存储节点与所述第一存储节点部署于不同物理区域。

4.根据权利要求2或3所述的数据处理系统，其特征在于，所述主计算节点上运行有目标应用，所述目标重做日志由所述目标应用在运行过程中产生。

5.根据权利要求4所述的数据处理系统，其特征在于，

6.根据权利要求4或5所述的数据处理系统，其特征在于，

7.根据权利要求6所述的数据处理系统，其特征在于，

8.根据权利要求4所述的数据处理系统，其特征在于，所述目标应用包括关系数据库管理系统rdbms，所述rdbms包括mysql、postgresql、opengauss、oracle中的至少一种。

9.根据权利要求3所述的数据处理系统，其特征在于，所述第一存储节点与所述第二存储节点部署于不同物理区域；

10.根据权利要求2至9任一项所述的数据处理系统，其特征在于，所述数据处理装置，还用于控制所述第二存储节点将所述目标数据对应的二进制日志发送至所述第一存储节点，所述二进制日志用于记录数据库语句；

11.根据权利要求1所述的数据处理系统，其特征在于，所述主计算节点与所述从计算节点均能够访问所述第一存储节点，所述第一存储节点包括读缓存区域；

12.根据权利要求11所述的数据处理系统，其特征在于，所述第一存储节点还用于在回放所述目标重做日志之后，从所述读缓存区域淘汰所述目标数据。

13.根据权利要求1所述的数据处理系统，其特征在于，所述至少一个存储节点包括存储阵列，所述存储阵列用于持久化存储数据。

14.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及数据处理装置，所述从计算节点作为所述主计算节点的灾备，所述方法包括：

15.根据权利要求14所述的方法，其特征在于，所述至少一个存储节点还包括第二存储节点，所述第一存储节点作为所述第二存储节点的灾备，所述方法还包括：

16.根据权利要求15所述的方法，其特征在于，所述主计算节点上运行有目标应用，所述目标重做日志由所述目标应用在运行过程中产生。

17.根据权利要求16所述的方法，其特征在于，所述数据处理装...

【专利技术属性】
技术研发人员：任仁，陈明军，王伟，武装，曹宇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：