一种数据处理方法、装置及系统制造方法及图纸

本申请公开了一种数据处理方法、装置及系统。存储设备存储业务数据；每一服务器集群对应至少一个第一数据库；所述方法包括：所述存储设备存监测自身存储的业务数据，当监测到自身存储的业务数据发生变更时，获取已变更数据，根据预先保存的各第一数据库的地址，将获取到的所述已变更数据分发给各第一数据库，以使得各服务器集群中的服务器，根据各第一数据库中同步的已变更数据进行更新。本方法中的更新过程是整体性的高效同步，有效缩减了数据同步过程所消耗的时间，保证了各服务器集群中的业务数据的高效一致性。

Data processing method, device and system

The present invention discloses a data processing method, device and system. The storage device stores business data; each cluster corresponds to at least a first database; the method includes: the storage equipment monitoring business data self storage, when the business data monitoring to self storage change, gets the change data, according to the previously saved the first database address, will get to the change of distributing data to the first database, so that each server in the cluster server, according to the first database synchronization update data has been changed. The updating process in this method is holistic and efficient synchronization, effectively reducing the time consumed by data synchronization process, and ensuring the efficient consistency of the business data in each server cluster.

【技术实现步骤摘要】
一种数据处理方法、装置及系统
本申请涉及计算机
，尤其涉及一种数据处理方法、装置及系统。
技术介绍
随着信息技术的发展，业务提供方(如：网站)的访问量不断增加，用户规模不断扩大，为了保证用户获得业务提供方所提供的业务服务的稳定性和效率，业务提供方后台的服务器通常会采用分布式服务器集群的架构，其中，通过局域网连接的多个服务器称为一个服务器集群(例如：多个服务器设置于同一机房中，通过局域网相连接，该机房中的多个服务器便可看作是一个服务器集群)。在此基础上，业务提供方向用户提供相应业务时(尤其是提供查询业务时)，就需要使不同服务器集群中所使用的业务数据相一致，否则，将会出现由于业务数据不一致而导致业务结果混乱的现象。换言之，针对需要在分布式服务器集群之间进行业务数据的同步操作。现有技术中，针对服务器集群中的业务数据的同步，通常采用两种方式：一种方式为：基于集中式的控制协议(例如：基于主备份的远程协议)的同步方式。具体而言，在该方式中，各服务器集群中的服务器所存储的每一项业务数据均备份于远程的服务器或数据库(用于备份数据的服务器或数据库可以是集群式的)中，备份数据的服务器(或数据库)也称为主备份设备，当各服务器集群中的服务器接收到业务查询请求后，并非在自身所存储的业务数据中完成查询操作，而是需要在主备份设备中执行查询操作，获取查询结果后反馈。由于查询操作对应的业务数据均来源于主备份设备，从而这样的方式保证了业务数据的一致性。如图1所示，服务器集群1～N，分别用于处理用户发送的业务请求，当任一服务器集群的服务器接收到了用户的业务查询请求后，都会在主备份设备集群中的主备份设备内完成相应的查询操作，并将查询结果反馈给用户。另一种方式为：在分布式服务器集群架构中，当某一服务器集群中的业务数据发生变更时，就会以该服务器集群为基准，传播式的逐渐更新至所有的服务器集群。其更新过程的一种方式如图2所示。在图2中，对于多个服务器集群1～3，当服务器集群1中的业务数据发生变更后，服务器集群1会通过寻址的方式查找服务器集群2(其中，具体的寻址过程，可以是向分布式网络中具有地址管理功能的设备获取其他服务器集群的地址)，并将变更的业务数据发送给服务器集群2进行更新，之后，将由服务器集群2查找服务器集群3，并以此类推，完成所有服务器集群中的业务数据的更新，业务数据的更新方式可看作逐渐“传播”到每一服务器集群中(在上述更新过程中，服务器集群会根据自身的工作状态确定所寻址的其他服务器集群的数量)。在更新过程中，各服务器集群仍会正常工作，对接收到的业务查询请求进行处理。但是，针对于现有技术中的上述方式而言，均存在一定的缺陷：在第一种方式中，主备份设备虽然能够保证业务数据的一致性，但对于各服务器而言，每接收到一个业务请求，都需要向主备份设备发出相应的请求，并接收来自于主备份设备的反馈，整个过程耗时较长，尤其在受到跨集群、长距离传输等情况的影响下，传输延时较严重，导致效率较低。在第二种方式中，传播式的更新方式也需要耗费一定的时间，而且，服务器集群需要进行额外的寻址操作，以便确定出其他服务器集群，进而传播式的完成业务数据的更新操作，显然，在大型分布式服务器集群架构中，这样的方式会增加耗时，不能保证高效的同步，进而就会导致在更新过程中，不同服务器集群中的业务数据不一致。
技术实现思路
本申请实施例提供一种数据处理方法，用以解决现有技术中业务提供方针对大型分布式服务器集群的业务数据更新过程中的问题。本申请实施例提供一种数据处理装置，用以解决现有技术中业务提供方针对大型分布式服务器集群的业务数据更新过程中的问题。本申请实施例提供一种数据处理系统，用以解决现有技术中业务提供方针对大型分布式服务器集群的业务数据更新过程中的问题。本申请实施例采用下述技术方案：本申请实施例提供的一种数据处理方法，存储设备存储业务数据；每一服务器集群对应至少一个第一数据库；所述方法包括：所述存储设备存监测自身存储的业务数据；当监测到自身存储的业务数据发生变更时，获取已变更数据；根据预先保存的各第一数据库的地址，将获取到的所述已变更数据分发给各第一数据库，以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新。本申请实施例另提供的一种数据处理方法，存储设备存储业务数据；每一服务器集群对应至少一个第一数据库；所述方法包括：所述第一数据库接收所述存储设备发送的已变更数据；其中，所述已变更数据由所述存储设备监测到自身存储的业务数据发生变更时进行获取，并根据预先保存的各第一数据库的地址将获取的所述已变更数据进行分发；根据接收到的所述已更新数据，生成更新通知发送给相应服务器集群中的各服务器，以使得相应服务器根据所述更新通知对存储的业务数据进行更新。本申请实施例还提供的一种数据处理方法，存储设备存储业务数据；每一服务器集群对应至少一个第一数据库；所述方法包括：针对任一服务器集群中的服务器，接收所述第一数据库发送的更新通知；其中，所述更新通知是由所述第一数据库接收到所述存储设备发送的已变更数据后生成的；根据所述更新通知，确定所述更新通知对应的业务数据；针对确定出的所述业务数据执行更新操作。本申请实施例提供的一种数据处理装置，存储设备存储业务数据；每一服务器集群对应至少一个第一数据库；所述装置设于所述存储设备侧，包括：监测模块，监测存储的业务数据；获取模块，当监测到存储的业务数据发生变更时，获取已变更数据；分发模块，根据预先保存的各第一数据库的地址，将获取到的所述已变更数据分发给各第一数据库，以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新。本申请实施例另提供的一种数据处理装置，存储设备存储业务数据；每一服务器集群对应至少一个第一数据库；所述装置设于所述第一数据库侧，包括：接收模块，接收所述存储设备发送的已变更数据；其中，所述已变更数据由所述存储设备监测到自身存储的业务数据发生变更时进行获取，并根据预先保存的各第一数据库的地址将获取的所述已变更数据进行分发；更新模块，根据接收到的所述已更新数据，生成更新通知发送给相应服务器集群中的各服务器，以使得相应服务器根据所述更新通知对存储的业务数据进行更新。本申请实施例还提供的一种数据处理装置，存储设备存储业务数据；每一服务器集群对应至少一个第一数据库；所述装置设于所述服务器侧，包括：接收模块，接收所述第一数据库发送的更新通知；其中，所述更新通知是由所述第一数据库接收到所述存储设备发送的已变更数据后生成的；确定模块，根据所述更新通知，确定所述更新通知对应的业务数据；更新模块，针对确定出的所述业务数据执行更新操作。本申请实施例另提供的一种数据处理系统，包括：存储设备、多个服务器集群、以及每一服务器集群各自对应的第一数据库；所述存储设备，存储业务数据，监测自身存储的业务数据，当监测到自身存储的业务数据发生变更时，获取已变更数据，根据预先保存的各第一数据库的地址，将获取到的所述已变更数据分发给各第一数据库，以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新；所述第一数据库，接收所述存储设备发送的已变更数据，根据接收到的所述已更新数据，生成更新通知发送给相应服务器集群中的各服务器本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，存储设备存储业务数据；每一服务器集群对应至少一个第一数据库；所述方法包括：所述存储设备存监测自身存储的业务数据；当监测到自身存储的业务数据发生变更时，获取已变更数据；根据预先保存的各第一数据库的地址，将获取到的所述已变更数据分发给各第一数据库，以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新。

【技术特征摘要】
1.一种数据处理方法，其特征在于，存储设备存储业务数据；每一服务器集群对应至少一个第一数据库；所述方法包括：所述存储设备存监测自身存储的业务数据；当监测到自身存储的业务数据发生变更时，获取已变更数据；根据预先保存的各第一数据库的地址，将获取到的所述已变更数据分发给各第一数据库，以使得所述各第一数据库分别通知相应服务器集群中的服务器对业务数据进行更新。2.如权利要求1所述的方法，其特征在于，所述存储设备包括用于存储业务数据的第二数据库和中间设备；所述存储设备存监测自身存储的业务数据，具体包括：所述中间设备监测第二数据库中存储的业务数据；获取已变更数据，具体包括：所述中间设备从所述第二数据库中获取已变更数据；将获取到的所述已变更数据分发给各第一数据库，具体包括：所述中间设备将获取到的所述已变更数据分发给所述各第一数据库。3.一种数据处理方法，其特征在于，存储设备存储业务数据；每一服务器集群对应至少一个第一数据库；所述方法包括：所述第一数据库接收所述存储设备发送的已变更数据；其中，所述已变更数据由所述存储设备监测到自身存储的业务数据发生变更时进行获取，并根据预先保存的各第一数据库的地址将获取的所述已变更数据进行分发；根据接收到的所述已更新数据，生成更新通知发送给相应服务器集群中的各服务器，以使得相应服务器根据所述更新通知对存储的业务数据进行更新。4.如权利要求3所述的方法，其特征在于，根据接收到的所述已更新数据，生成更新通知发送给所述服务器集群中的各服务器，具体包括：确定所述已更新数据对应的数据标识；根据所述数据标识生成更新通知发送至所述服务器集群中的各服务器。5.如权利要求4所述的方法，其特征在于，根据所述数据标识生成更新通知，具体包括：根据所述数据标识，生成针对具有该数据标识的业务数据的清除通知；通知所述服务器集群中的各服务器，具体包括：采用广播方式将所述清除通知发送至所述服务器集群中的各服务器，以使得各服务器根据所述清除通知中的数据标识，将自身所存储的该数据标识所对应的数据清除。6.一种数据处理方法，其特征在于，存储设备存储业务数据；每一服务器集群对应至少一个第一数据库；所述方法包括：针对任一服务器集群中的服务器，接收所述第一数据库发送的更新通知；其中，所述更新通知是由所述第一数据库接收到所述存储设备发送的已变更数据后生成的；根据所述更新通知，确定所述更新通知对应的业务数据；针对确定出的所述业务数据执行更新操作。7.如权利要求6所述的方法，其特征在于，接收所述第一数据库发送的更新通知，具体包括：接收所述第一数据库发送的清除通知；确定所述更新通知对应的业务数据，具体包括：确定所述清除通知对应的已更新数据的数据标识；根据确定出的所述数据标识，确定该数据标识对应的业务数据；针对确定出的所述业务数据进行更新操作，...

【专利技术属性】
技术研发人员：卢伟勤，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY