【技术实现步骤摘要】
本申请涉及数据库，尤其涉及一种数据处理系统、方法、装置及相关设备。
技术介绍
1、随着信息化技术的发展，数据处理系统，如mysql，postgresql，opengauss等，在金融、通讯、医疗、物流、电子商务等领域广泛应用，用于在各个领域中对业务数据进行持久化存储。
2、目前，数据处理系统通常会部署有主中心(或者称为生产中心)以及至少一个灾备中心。其中，主中心包括主计算节点以及主存储节点，灾备中心包括主计算节点以及主存储节点。正常运行时，主中心利用主计算节点以及主存储节点对外提供数据读写的服务；备中心负责对主中心存储的数据进行备份，并在主中心故障时，灾备中心即可利用备份的数据继续对外提供数据读写服务，避免数据发生丢失，以此保证数据存储的可靠性。
3、通常情况下，主计算节点在更新主存储节点中持久化存储的数据时，会向从计算节点发送二进制日志(binlog)文件，以便从计算节点通过回放该binlog文件完成对从存储节点中的数据更新，从而实现主中心与灾备中心之间的数据同步。但是，实际应用场景中，当主中心发生故障后，灾备中心中存储的数据与主中心在故障之前的数据经常存在不一致的情况，从而导致数据处理系统的恢复点目标(recovery point object，rpo)不能达到0，影响数据处理系统的可靠性。其中，rpo可以用于衡量数据处理系统灾难恢复时所发生的最大数据丢失量。
技术实现思路
1、提供一种数据处理系统，以实现在灾备中心中存储的数据与主中心在故障之前的数据保
2、第一方面，本申请实施例提供一种数据处理系统，该数据处理系统包括计算集群、存储集群，其中，计算集群与存储集群通过网络进行连接，如通过有线网络或者无线网络进行连接等，并且，计算集群包括主计算节点、从计算节点，通常情况下，从计算节点作为主计算节点的灾备节点，存储集群包括至少一个存储节点；主计算节点，用于响应于数据更新请求生成binlog(二进制日志)，该数据更新请求例如可以是由用户通过客户端发送给主计算节点等，并且，主计算节点还用于将binlog发送至存储集群中进行存储；从计算节点，用于读取该存储集群中存储的binlog，并通过回放binlog(具体为回放该binlog中记录的数据库语句)来更新存储集群中持久化存储的数据，比如，从计算节点可以通过及时回放主计算节点所生成的binlog来实现与主计算节点的数据同步，或者从计算节点可以在主计算节点故障时回放该binlog来实现数据恢复等。
3、由于主计算节点与从计算节点之间通过存储集群传输binlog，而不需要由主计算节点将binlog直接发送给从计算节点，这能够避免主计算节点的负荷过大，或者主计算节点与从计算节点之间的数据传输链路不稳定，导致从计算节点未获取到主计算节点生成的binlog，从而从计算节点通过回放所能获取到的binlog，实现主计算节点与从计算节点之间的数据同步，或者在主计算节点故障时实现数据恢复。这样，当主计算节点故障时，从计算节点能够基于主计算节点在故障时的数据，接管主计算节点上的业务，从而实现数据处理系统的rpo为0，提高了数据处理系统的可靠性。
4、在一种可能的实施方式中，存储集群包括日志存储区域，该日志存储区域被主计算节点以及从计算节点访问，即主计算节点以及从计算节点可以共享该日志存储区域，从而主计算节点在向存储集群发送binlog时，具体是将该binlog发送至日志存储区域中进行存储；相应地，从计算节点，具体是从该日志存储区域中读取binlog；其中，存储集群不仅包括日志存储区域，还包括数据存储区域，该数据存储区域用于存储业务数据，如主计算节点正常运行过程中所处理的业务数据等，该数据存储区域可以被主计算节点以及从计算节点访问，或者，该数据存储区域仅被主计算节点访问(仅主计算节点故障时从计算节点才能访问该数据存储区域)。如此，在主计算节点与从计算节点之间，可以通过存储集群中一块被共享的存储区域实现binlog的传输，以此尽可能保证从计算节点能够获取到主计算节点所生成的binlog，从而提高数据处理系统的可靠性。
5、在一种可能的实施方式中，从计算节点，具体用于通过回放binlog以与主计算节点同步数据，即，在主计算节点正常运行的过程中，从计算节点可以持续执行回放主计算节点所生成的binlog来实现与主计算节点之间的数据同步；或者，从计算节点用于通过回放binlog以恢复主计算节点故障时丢失的数据，即在主计算节点故障之前，从计算节点可以不执行回放binlog的操作，而在主计算节点故障后，从计算节点通过执行回放binlog过程来恢复主计算节点故障时丢失的数据，以使得数据处理系统的rpo为0。如此，可以有效提高数据处理系统的可靠性。
6、在一种可能的实施方式中，存储集群中所包括的存储节点有主存储节点以及从存储节点，其中，从存储节点作为主存储节点的灾备，该主存储节点与从存储节点被部署于同一数据中心或者同一可用区，通常情况下，主存储节点用于为主计算节点提供读写数据的服务，从存储节点用于为从计算节点提供读写数据的服务；这样，从计算节点，在主计算节点正常运行的过程中，会从存储集群的日志存储区域中读取主计算节点生成并下发的binlog，并通过回放该binlog来更新从存储节点中持久化存储的数据。如此，从计算节点可以通过持续回放主计算节点所生成的binlog来实现与主计算节点之间的数据同步，以便在主计算节点故障时，从计算节点能够基于所同步的数据，接管主计算节点上的业务，从而实现数据处理系统的rpo为0，提高了数据处理系统的可靠性。
7、在一种可能的实施方式中，存储集群包括的存储节点中有目标存储节点，该目标存储节点用于持久化存储主计算节点所写入的数据；从计算节点可以在主计算节点正常运行的过程中，不执行回放binlog的操作，而在当主计算节点发生故障时，从日志存储区域中读取binlog，并通过回放该binlo来更新目标存储节点中持久化存储的数据，以此恢复主计算节点在故障时所丢失的数据，从而提高数据处理系统的可靠性。
8、在一种可能的实施方式中，存储集群包括的存储节点中有主存储节点以及从存储节点，该从存储节点作为主存储节点的灾备，该主存储节点与从存储节点部署于不同的数据中心，或者，主存储节点与从存储节点部署于不同的可用区，通常情况下，主存储节点用于为主计算节点提供读写数据的服务，从存储节点用于为从计算节点提供读写数据的服务；在传输binlog的过程中，主计算节点，具体是将binlog发送至主存储节点中进行存储，然后，主存储节点将该binlog发送给从存储节点，从而从计算节点能够在从存储节点中读取到其所存储的binlog。如此，在主计算节点与从计算节点之间，可以通过在主存储节点以及从存储节点之间传输binlog，尽可能保证从计算节点能够获取到本文档来自技高网...
【技术保护点】
1.一种数据处理系统，其特征在于，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点、从计算节点，所述存储集群包括至少一个存储节点；
2.根据权利要求1所述的数据处理系统，其特征在于，所述存储集群包括日志存储区域，所述日志存储区域被所述主计算节点以及所述从计算节点访问；
3.根据权利要求2所述的数据处理系统，其特征在于，所述从计算节点，具体用于通过回放所述binlog以与主计算节点同步数据，或者，用于通过回放所述binlog以恢复所述主计算节点故障时丢失的数据。
4.根据权利要求3所述的数据处理系统，其特征在于，所述至少一个存储节点包括主存储节点以及从存储节点，所述从存储节点作为所述主存储节点的灾备，所述主存储节点与所述从存储节点部署于同一数据中心或者同一可用区；
5.根据权利要求3所述的数据处理系统，其特征在于，所述至少一个存储节点包括目标存储节点，所述目标存储节点用于持久化存储所述主计算节点所写入的数据；
6.根据权利要求1所述的数据处理系统，其特征在于，所
7.根据权利要求6所述的数据处理系统，其特征在于，
8.根据权利要求1至7任一项所述的数据处理系统，其特征在于，所述主计算节点上运行有目标应用，所述binlog是在所述目标应用运行过程中产生，所述目标应用包括关系数据库管理系统RDBMS，所述RDBMS包括MySQL、PostgreSQL、OpenGauss、Oracle中的至少一种。
9.根据权利要求1至8任一项所述的数据处理系统，其特征在于，所述存储节点为存储阵列，所述存储阵列用于持久化存储数据。
10.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点、从计算节点，所述存储集群包括至少一个存储节点；所述方法包括：
11.根据权利要求10所述的数据处理方法，其特征在于，所述存储集群包括日志存储区域，所述日志存储区域被所述主计算节点以及所述从计算节点访问；
12.根据权利要求11所述的数据处理方法，其特征在于，所述从计算节点通过回放所述binlog，包括：
13.根据权利要求12所述的数据处理方法，其特征在于，所述至少一个存储节点包括主存储节点以及从存储节点，所述从存储节点作为所述主存储节点的灾备，所述主存储节点与所述从存储节点部署于同一数据中心或者同一可用区；
14.根据权利要求12所述的数据处理方法，其特征在于，所述至少一个存储节点包括目标存储节点，所述目标存储节点用于持久化存储所述主计算节点所写入的数据；
15.根据权利要求10所述的数据处理方法，其特征在于，所述至少一个存储节点包括主存储节点以及从存储节点，所述从存储节点作为所述主存储节点的灾备，所述主存储节点与所述从存储节点部署于不同的数据中心，或者，所述主存储节点与所述从存储节点部署于不同的可用区；
16.根据权利要求15所述的数据处理方法，其特征在于，所述方法还包括：
17.根据权利要求10至16任一项所述的数据处理方法，其特征在于，所述主计算节点上运行有目标应用，所述binlog是在所述目标应用运行过程中产生，所述目标应用包括关系数据库管理系统RDBMS，所述RDBMS包括MySQL、PostgreSQL、OpenGauss、Oracle中的至少一种。
18.根据权利要求10至17任一项所述的数据处理方法，其特征在于，所述存储节点为存储阵列，所述存储阵列用于持久化存储数据。
19.一种数据处理装置，其特征在于，所述数据处理装置应用于数据处理系统，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点、从计算节点，所述存储集群包括至少一个存储节点；所述数据处理装置包括：
20.根据权利要求19所述的数据处理装置，其特征在于，所述存储集群包括日志存储区域，所述日志存储区域被所述主计算节点以及所述从计算节点访问；
21.根据权利要求20所述的数据处理装置，其特征在于，所述回访模块，具体用于指示所述从计算节点通过回放所述binlog以与主计算节点同步数据，或者，具体用于指示所述从计算节点通过回放所...
【技术特征摘要】
1.一种数据处理系统，其特征在于，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点、从计算节点，所述存储集群包括至少一个存储节点；
2.根据权利要求1所述的数据处理系统，其特征在于，所述存储集群包括日志存储区域，所述日志存储区域被所述主计算节点以及所述从计算节点访问；
3.根据权利要求2所述的数据处理系统，其特征在于，所述从计算节点，具体用于通过回放所述binlog以与主计算节点同步数据，或者，用于通过回放所述binlog以恢复所述主计算节点故障时丢失的数据。
4.根据权利要求3所述的数据处理系统，其特征在于，所述至少一个存储节点包括主存储节点以及从存储节点，所述从存储节点作为所述主存储节点的灾备，所述主存储节点与所述从存储节点部署于同一数据中心或者同一可用区；
5.根据权利要求3所述的数据处理系统，其特征在于，所述至少一个存储节点包括目标存储节点，所述目标存储节点用于持久化存储所述主计算节点所写入的数据；
6.根据权利要求1所述的数据处理系统，其特征在于，所述至少一个存储节点包括主存储节点以及从存储节点，所述从存储节点作为所述主存储节点的灾备，所述主存储节点与所述从存储节点部署于不同的数据中心，或者，所述主存储节点与所述从存储节点部署于不同的可用区；
7.根据权利要求6所述的数据处理系统，其特征在于，
8.根据权利要求1至7任一项所述的数据处理系统，其特征在于，所述主计算节点上运行有目标应用，所述binlog是在所述目标应用运行过程中产生，所述目标应用包括关系数据库管理系统rdbms，所述rdbms包括mysql、postgresql、opengauss、oracle中的至少一种。
9.根据权利要求1至8任一项所述的数据处理系统，其特征在于，所述存储节点为存储阵列，所述存储阵列用于持久化存储数据。
10.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述数据处理系统包括计算集群、存储集群，所述计算集群与所述存储集群通过网络进行连接，所述计算集群包括主计算节点、从计算节点，所述存储集群包括至少一个存储节点；所述方法包括：
11.根据权利要求10所述的数据处理方法，其特征在于，所述存储集群包括日志存储区域，所述日志存储区域被所述主计算节点以及所述从计算节点访问；
12.根据权利要求11所述的数据处理方法，其特征在于，所述从计算节点通过回放所述binlog，包括：
13.根据权利要求12所述的数据处理方法，其特征在于，所述至少一个存储节点包括主存储节点以及从存储节点，所述从存储节点作为所述主存储节点的灾备，所述主存储节点与所述从存储节点部署于同一数据中心或者同一可用区；
14.根据权利要求12所述的数据处理方法，其特征在于，所述至少一个存储节点包括目标存储节点，所述目标存储节点用于持久化存储所述主计算节点所写入的数据；
15.根据权利要求10所述的数据处理方法，其特征在于，所述至少一个存储节点包括主存储节点以及从存储节点，所述从存储节点作为所述主存储节点的灾备，所述主存储节点与所述从存储节点部署于不同的数据中心，或者，所述主存储节点与...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。