数据处理方法以及系统技术方案

本说明书实施例提供数据处理方法以及系统，其中所述数据处理方法，应用于分布式数据处理系统的数据处理节点，包括：接收客户端发送的多个数据处理请求，基于所述多个数据处理请求的数量确定目标处理数量，并根据所述目标处理数量对所述多个数据处理请求进行限流处理，获得目标数据处理请求；将所述目标数据处理请求转发至全局事务管理器，并接收所述全局事务管理器对所述目标数据处理请求进行处理的处理结果，且将所述处理结果返回至每个数据处理请求对应的客户端。处理请求对应的客户端。处理请求对应的客户端。

【技术实现步骤摘要】
数据处理方法以及系统


[0001]本说明书实施例涉及计算机
，特别涉及一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理系统，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]数据库采用多主MPP(Massive Parallel Processing)架构。该系统由两组计算机节点组成：主节点和数据节点。数据库依赖于一个称为全局事务管理器(GTM)的组件来支持快照隔离。尽管GTM组件可以通过多进程或多线程实现以提高其并行性，但它本质上是中心化的，并且随着并发事务数量的增加与GTM组件的连接数量会大幅度地增加，不仅会对GTM组件的运行造成较大的压力，也会成为整个分布式数据库系统严重的系统瓶颈。

技术实现思路

[0003]有鉴于此，本说明书施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理系统，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种数据处理方法，应用于分布式数据处理系统的数据处理节点，包括：
[0005]接收客户端发送的多个数据处理请求，基于所述多个数据处理请求的数量确定目标处理数量，并根据所述目标处理数量对所述多个数据处理请求进行限流处理，获得目标数据处理请求；
[0006]将所述目标数据处理请求转发至全局事务管理器，并接收所述全局事务管理器对所述目标数据处理请求进行处理的处理结果，且将所述处理结果返回至每个数据处理请求对应的客户端。
[0007]根据本说明书实施例的第二方面，提供了一种数据处理系统，所述数据处理系统包括数据处理节点，所述数据处理节点包括：
[0008]请求接收模块，被配置为接收客户端发送的多个数据处理请求，基于所述多个数据处理请求的数量确定目标处理数量，并根据所述目标处理数量对所述多个数据处理请求进行限流处理，获得目标数据处理请求；
[0009]代理模块，被配置为将所述目标数据处理请求转发至全局事务管理器，并接收所述全局事务管理器对所述目标数据处理请求进行处理的处理结果，且将所述处理结果返回至每个数据处理请求对应的客户端。
[0010]根据本说明书实施例的第三方面，提供了一种计算设备，包括：
[0011]存储器和处理器；
[0012]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，其中，所述处理器执行所述计算机可执行指令时实现所述数据处理方法的步骤。
[0013]根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述数据处理方法的步骤。
[0014]本说明书一个实施例提供的数据处理方法，应用于分布式数据处理系统的数据处理节点，包括：接收客户端发送的多个数据处理请求，基于所述多个数据处理请求的数量确定目标处理数量，并根据所述目标处理数量对所述多个数据处理请求进行限流处理，获得目标数据处理请求；将所述目标数据处理请求转发至全局事务管理器，并接收所述全局事务管理器对所述目标数据处理请求进行处理的处理结果，且将所述处理结果返回至每个数据处理请求对应的客户端。
[0015]具体的，通过在数据处理节点中对接收到的客户端发送的多个数据处理请求进行限流处理，按照一定数量的数据处理请求，分批次地处理由客户端发送的所有数据处理请求，能够减少数据处理节点的请求处理的压力，并且，后续将目标数据处理请求转发至全局事务管理器中也能提高全局事务管理器的处理效率，提升整个分布式数据处理系统的处理性能。
附图说明
[0016]图1是本说明书一个实施例提供的一种数据处理方法的多主分布式数据库架构；
[0017]图2是本说明书一个实施例提供的一种数据处理系统的整体架构图；
[0018]图3是本说明书一个实施例提供的一种数据处理方法应用于分布式数据处理系统的数据处理节点的流程图；
[0019]图4是本说明书一个实施例提供的一种数据处理方法的共享内存区域的结构示意图；
[0020]图5是本说明书一个实施例提供的一种数据处理方法的共享内存区域的处理插槽各种状态转换示意图；
[0021]图6是本说明书一个实施例提供的一种数据处理装置的结构示意图；
[0022]图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0023]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0024]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0025]应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为
“
在
……
时”或“当
……
时”或“响应于确定”。
[0026]首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
[0027]事务：在数据库管理系统中，事务是单个逻辑或工作单元，有时由多个操作组成。在数据库中以一致模式完成的任何逻辑计算都称为事务。一个例子是从一个银行账户到另一个银行账户的转账：完整的交易需要从一个账户中减去要转账的金额，然后将相同的金额添加到另一个账户中。
[0028]数据库事务：根据定义，数据库事务必须是原子的(它必须完整地完成或没有任何影响)、一致的(它必须符合数据库中现有的约束)、隔离的(它不能影响其他事务)和持久的(它必须写入持久存储)。数据库从业者经常使用首字母缩写词ACID来指代数据库事务的这些属性。
[0029]分布式数据库：是将数据存储在不同物理位置的数据库。它可能存储在位于同一物理位置(例如数据中心)的多台计算机中；或者可能分散在互连的计算机网络上。
[0030]多主架构：是构建分布式数据库系统的流行方式。在这种架构中，分布式数据库系统由两组计算机节点组成：主节点和数据节点。每个主节点都保留了系统目录和元数据(例如，表和索引定义)的最新副本。数据库的数据存储在多个数据节点中，受用户指定的分区和/或复制策略的约束。
[0031]数据库会话：表示应用程序(或客户端)与存储其持本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于分布式数据处理系统的数据处理节点，包括：接收客户端发送的多个数据处理请求，基于所述多个数据处理请求的数量确定目标处理数量，并根据所述目标处理数量对所述多个数据处理请求进行限流处理，获得目标数据处理请求；将所述目标数据处理请求转发至全局事务管理器，并接收所述全局事务管理器对所述目标数据处理请求进行处理的处理结果，且将所述处理结果返回至每个数据处理请求对应的客户端。2.根据权利要求1所述的数据处理方法，所述数据处理节点包括请求接收模块、共享内存区域以及代理模块；所述基于所述多个数据处理请求的数量确定目标处理数量之前，还包括：所述请求接收模块基于所述共享内存区域与所述代理模块建立通信连接。3.根据权利要求2所述的数据处理方法，所述基于所述多个数据处理请求的数量确定目标处理数量，包括：所述请求接收模块基于所述多个数据处理请求的数量在所述共享内存区域中确定待分配处理插槽的数量，并将所述待分配处理插槽的数量作为目标处理数量。4.根据权利要求3所述的数据处理方法，所述根据所述目标处理数量对所述多个数据处理请求进行限流处理，获得目标数据处理请求，包括：所述请求接收模块根据所述目标处理数量将与所述目标处理数量相同的数据处理请求放置于所述共享内存区域的待分配处理插槽中；所述代理模块从所述待分配处理插槽中获取与所述目标处理数量相同的数据处理请求，并将所述数据处理请求作为目标数据处理请求。5.根据权利要求2或4所述的数据处理方法，所述将所述目标数据处理请求转发至全局事务管理器，包括：所述代理模块在确定与所述全局事务管理器建立通信连接的情况下，基于所述通信连接将所述目标数据处理请求转发至所述全局事务管理器。6.根据权利要求4所述的数据处理方法，所述请求接收模块根据所述目标处理数量将与所述目标处理数量相同的数据处理请求放置于所述共享内存区域的待分配处理插槽中，包括：所述请求接收模块基于所述目标处理数量确定所述共享内存区域的每个待分配处理插槽的信号量；基于所述信号量将与所述目标处理数量相同的数据处理请求放置于所述共享内存区域的待分配处理插槽中，并修改所述待分配处理插槽中的通信状态。7.根据权利要求6所述的数据处理方法，所述请求接收模块根据所述目标处理数量将与所述目标处理数量相同的数据处理请求放置于所述共享内存区域的待分配处理插槽中之后，还包括：所述请求接收模块基于所述与目标处理数量相同的数据处理请求，在所述共享内存区域中的代理...

【专利技术属性】
技术研发人员：刘显，郑方，罗从难，郭援非，朱澄，朱潇威，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：