【技术实现步骤摘要】
本申请涉及数据库，尤其涉及一种数据处理系统、数据处理方法、装置及相关设备。
技术介绍
1、随着信息化技术的发展，数据处理系统，如mysql，postgresql，opengauss等，在金融、通讯、医疗、物流、电子商务等领域广泛应用，用于在各个领域中对业务数据进行持久化存储。
2、目前，数据处理系统通常会部署有主中心(或者称为生产中心)以及至少一个灾备中心。其中，正常情况下，主中心对外提供数据读写的服务，灾备中心负责对主中心存储的数据进行备份。这样，当主中心发生故障时，灾备中心即可利用备份的数据继续对外提供数据读写服务，避免数据发生丢失，以此保证数据存储的可靠性。
3、主中心通常是通过向灾备中心发送binlog文件(一种二进制日志文件)的方式，将主中心的数据复制至灾备中心。具体地，主中心发送的binlog文件中记录了主中心上用于更新数据的数据库语句，从而灾备中心在接收到binlog文件后，通过执行该binlog中的数据库语句来更新灾备中心的数据，以此实现对主中心数据的复制。但是，这种数据复制的方式，会导致数据处理系统的恢复点目标(recovery point objective，rto)通常较长，影响数据处理系统的故障恢复性能。
技术实现思路
1、提供一种数据处理系统、数据处理方法、数据处理装置、计算设备、计算机可读存储介质以及计算机程序产品，以缩短数据处理系统的rto，提高数据处理系统的故障恢复性能。
2、第一方面，本申请实施例提供一种数据处理
3、如此，在从计算节点升级为主计算节点时(如原主计算节点发生故障或者从计算节点接收到主从切换的升级指令等)，由于位于存储侧的数据处理装置已经控制存储节点通过回放重做日志来更新持久化存储的数据，这使得从计算节点无需执行回放重做日志的过程，而能够直接根据存储节点中持久化存储的数据接管主计算节点上的访问请求，以继续为客户端或者其它设备提供数据读写服务，从而可以有效缩短数据处理系统的rto，提高数据处理系统的故障恢复性能。并且，存储节点根据重做日志(其属于物理日志)对持久化存储的数据进行更新，相比于通过binlog(其属于逻辑日志)更新数据的方式，因为无需重复执行数据库语句，而是直接在物理的数据页上修改数据，这可以有效降低数据更新所需消耗的资源量。
4、在一种可能的实施方式中，至少一个存储节点中除了包括第一存储节点之外，还包括第二存储节点，并且，第一存储节点作为第二存储节点的灾备，如第二存储节点支持主计算节点对于数据的持久化存储，第一存储节点用于对第二存储节点所持久化存储的数据进行备份等；该第二存储节点，用于存储主计算节点写入的数据；该数据处理装置，用于在识别到主计算节点写入的数据中包括目标重做日志时，控制第二存储节点将目标重做日志发送至第一存储节点，以使得第一存储节点回放该目标重做日志，以更新该第一存储节点中持久化存储的数据。如此，在从计算节点接管主计算节点上的访问请求时，无需控制第一存储节点执行回放重做日志的过程，而能够直接根据第一存储节点中持久化存储的数据接管主计算节点上的访问请求，从而可以有效缩短数据处理系统的rto，提高数据处理系统的故障恢复性能。
5、在一种可能的实施方式中，第二存储节点与第一存储节点部署于同一物理区域，如部署于同一数据中心等。如此，可以实现数据在本地存储的可靠性。或者，第二存储节点与第一存储节点部署于不同的物理区域，如第一存储节点部署于az1，而第二存储节点部署于az2等。如此，可以提高数据在异地存储的可靠性。
6、在一种可能的实施方式中，第一存储节点与第二存储节点部署于同一物理区域，数据处理装置，还用于根据第二存储节点在该物理区域内创建第一存储节点，该第一存储节点中的数据通过对第二存储节点中的数据进行快照或者克隆得到。如此，可以通过快照或者克隆的方式，实现作为灾备的存储节点的快速创建。
7、在一种可能的实施方式中，主计算节点上运行有目标应用，如mysql等，该目标重做日志有该目标应用在运行过程中产生。实际应用时，目标应用可以包括服务层以及存储引擎层，其中，在响应访问请求的过程中，服务层可以生成相应的binlog，存储引擎层可以生成相应的重做日志，如上述目标重做日志。
8、可选地，主计算节点可以部署有多个应用，该多个应用包括目标应用。
9、在一种可能的实施方式中，数据处理装置，具体用于根据目标应用的配置文件或目标应用的重做日志的命名格式，识别目标重做日志。比如，目标应用为开源的应用时，可以预先了解目标应用生成的重做日志的命名规则，从而数据处理装置可以根据该命名规则来识别目标重做日志；或者，配置文件中可以记录有用于区分目标应用所生成的目标重做日志的信息，如目标重做日志的名称等，从而数据处理装置可以根据目标应用的配置文件识别出目标重做日志。
10、在一种可能的实施方式中，第一存储节点，用于根据目标应用对应的数据页的格式，回放目标重做日志，以更新第一存储节点上的数据页。比如，第一存储节点可以根据该数据页的格式，恢复第一存储节点中需要修改的数据页，并根据该目标重做日志中所记录的修改操作，对该数据页上的修改进行相应的修改，并将修改后的数据页再进行持久化存储。如此，可以利用目标重做日志实现对存储节点上的数据页的更新。
11、在一种可能的实施方式中，第一存储节点，还用于在回放目标重做日志之前，获取目标应用对应的数据页的格式，以便于根据该数据页的格式，恢复第一存储节点上需要修改的数据页。示例性地，数据页的格式，可以由技术人员预先配置于第一存储节点的代码程序中；或者，数据页的格式，可以被配置于第一存储节点中的配置文件，从而第一存储节点可以从该配置文件本文档来自技高网...
【技术保护点】
1.一种数据处理系统，其特征在于，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及数据处理装置，所述从计算节点作为所述主计算节点的灾备；
2.根据权利要求1所述的数据处理系统，其特征在于，所述至少一个存储节点还包括第二存储节点，所述第一存储节点作为所述第二存储节点的灾备；
3.根据权利要求2所述的数据处理系统，其特征在于，所述第二存储节点与所述第一存储节点部署于同一物理区域；或者，所述第二存储节点与所述第一存储节点部署于不同物理区域。
4.根据权利要求2或3所述的数据处理系统，其特征在于，所述主计算节点上运行有目标应用，所述目标重做日志由所述目标应用在运行过程中产生。
5.根据权利要求4所述的数据处理系统，其特征在于，
6.根据权利要求4或5所述的数据处理系统，其特征在于，
7.根据权利要求6所述的数据处理系统，其特征在于，
8.根据权利要求4所述的数据处理系统，其特征在于，所述目标应
9.根据权利要求3所述的数据处理系统，其特征在于，所述第一存储节点与所述第二存储节点部署于不同物理区域；
10.根据权利要求2至9任一项所述的数据处理系统，其特征在于，所述数据处理装置，还用于控制所述第二存储节点将所述目标数据对应的二进制日志发送至所述第一存储节点，所述二进制日志用于记录数据库语句；
11.根据权利要求1所述的数据处理系统，其特征在于，所述主计算节点与所述从计算节点均能够访问所述第一存储节点，所述第一存储节点包括读缓存区域；
12.根据权利要求11所述的数据处理系统，其特征在于，所述第一存储节点还用于在回放所述目标重做日志之后，从所述读缓存区域淘汰所述目标数据。
13.根据权利要求1所述的数据处理系统，其特征在于，所述至少一个存储节点包括存储阵列，所述存储阵列用于持久化存储数据。
14.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及数据处理装置，所述从计算节点作为所述主计算节点的灾备，所述方法包括：
15.根据权利要求14所述的方法，其特征在于，所述至少一个存储节点还包括第二存储节点，所述第一存储节点作为所述第二存储节点的灾备，所述方法还包括：
16.根据权利要求15所述的方法，其特征在于，所述主计算节点上运行有目标应用，所述目标重做日志由所述目标应用在运行过程中产生。
17.根据权利要求16所述的方法，其特征在于，所述数据处理装置识别到所述写入的数据包括所述目标重做日志，包括：
18.根据权利要求16或17所述的方法，其特征在于，所述数据处理装置控制所述至少一个存储节点中的第一存储节点回放所述目标重做日志，包括：
19.根据权利要求18所述的方法，其特征在于，所述方法还包括：
20.根据权利要求15至19任一项所述的方法，其特征在于，所述方法还包括：
21.根据权利要求14所述的方法，其特征在于，所述主计算节点与所述从计算节点均能够访问所述第一存储节点，所述第一存储节点包括读缓存区域；
22.根据权利要求21所述的方法，其特征在于，所述方法还包括：
23.一种数据处理装置，其特征在于，所述数据处理装置应用于数据处理系统，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及所述数据处理装置，所述从计算节点作为所述主计算节点的灾备，所述数据处理装置包括：
24.根据权利要求23所述的数据处理装置，其特征在于，所述至少一个存储节点还包括第二存储节点，所述第一存储节点作为所述第二存储节点的灾备；
25.根据权利要求24所述的数据处理装置，其特征在于，所述主计算节点上运行有目标应用，所述目标重做日志由所述目标应用在运行过程中产生。
26.根据权利要求25所述的数据处理装置，其特征在于，所述控制模块，用于根据所述目标应用的配置文件或所述目标应用的重做日志的命名格式，识别到所述写入的数据包括所述目标重做日志。
<...【技术特征摘要】
1.一种数据处理系统，其特征在于，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及数据处理装置，所述从计算节点作为所述主计算节点的灾备；
2.根据权利要求1所述的数据处理系统，其特征在于，所述至少一个存储节点还包括第二存储节点，所述第一存储节点作为所述第二存储节点的灾备；
3.根据权利要求2所述的数据处理系统，其特征在于，所述第二存储节点与所述第一存储节点部署于同一物理区域；或者，所述第二存储节点与所述第一存储节点部署于不同物理区域。
4.根据权利要求2或3所述的数据处理系统，其特征在于，所述主计算节点上运行有目标应用，所述目标重做日志由所述目标应用在运行过程中产生。
5.根据权利要求4所述的数据处理系统，其特征在于，
6.根据权利要求4或5所述的数据处理系统，其特征在于，
7.根据权利要求6所述的数据处理系统，其特征在于，
8.根据权利要求4所述的数据处理系统，其特征在于，所述目标应用包括关系数据库管理系统rdbms，所述rdbms包括mysql、postgresql、opengauss、oracle中的至少一种。
9.根据权利要求3所述的数据处理系统，其特征在于，所述第一存储节点与所述第二存储节点部署于不同物理区域；
10.根据权利要求2至9任一项所述的数据处理系统，其特征在于，所述数据处理装置，还用于控制所述第二存储节点将所述目标数据对应的二进制日志发送至所述第一存储节点，所述二进制日志用于记录数据库语句；
11.根据权利要求1所述的数据处理系统，其特征在于，所述主计算节点与所述从计算节点均能够访问所述第一存储节点，所述第一存储节点包括读缓存区域；
12.根据权利要求11所述的数据处理系统，其特征在于，所述第一存储节点还用于在回放所述目标重做日志之后，从所述读缓存区域淘汰所述目标数据。
13.根据权利要求1所述的数据处理系统，其特征在于，所述至少一个存储节点包括存储阵列，所述存储阵列用于持久化存储数据。
14.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点以及从计算节点，所述存储集群包括至少一个存储节点以及数据处理装置，所述从计算节点作为所述主计算节点的灾备，所述方法包括：
15.根据权利要求14所述的方法，其特征在于，所述至少一个存储节点还包括第二存储节点，所述第一存储节点作为所述第二存储节点的灾备，所述方法还包括：
16.根据权利要求15所述的方法，其特征在于，所述主计算节点上运行有目标应用，所述目标重做日志由所述目标应用在运行过程中产生。
17.根据权利要求16所述的方法，其特征在于，所述数据处理装...
【专利技术属性】
技术研发人员：任仁，陈明军，王伟，武装，曹宇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。