数据存储方法、系统、节点、计算引擎及协调器技术方案

本申请实施例提供了一种数据存储方法、节点、计算引擎及协调器，涉及数据库领域。该方法包括：接收由计算引擎转发的客户端的数据处理请求，数据处理请求包括第一待处理数据的数据标识和处理类型，目标节点集群是计算引擎根据各节点集群对应的数据范围和数据标识确定的，处理类型为联机事务处理OLTP类型；根据数据处理请求，在自身存储的数据集中对第一待处理数据进行处理，并向客户端返回处理结果。本申请实施例在主节点中以行存储格式存储数据，以列存储格式存储数据，从而针对OLTP类型和OLAP类型的数据处理请求可以由不同的节点进行处理，提高了数据处理的效率。提高了数据处理的效率。提高了数据处理的效率。

【技术实现步骤摘要】
数据存储方法、系统、节点、计算引擎及协调器


[0001]本申请涉及数据库
，具体而言，本申请涉及一种数据存储方法、系统、节点、计算引擎及协调器。

技术介绍

[0002]随着数据库的深入发展，企业通常维护着两种类型的数据库环境。第一，在联机事务处理(On
‑
Line Transaction Processing，OLTP)环境中使用关系型数据库以支持面向事务的应用；第二，为联机分析处理(On
‑
Line Analytical Processing，OLAP)生成OLTP数据的导出副本，用于增值应用，像商务智能、报告和决策支持。
[0003]相关技术中，硬盘中存储的数据往往只照顾到一种数据库环境，这样就导致在处理另一种数据环境的数据处理请求时，处理效率较低，并且还存在两种数据库环境的数据处理请求间的相互干扰问题。

技术实现思路

[0004]本申请实施例提供了一种数据存储方法、系统、节点、计算引擎及协调器、电子设备、计算机可读存储介质及计算机程序产品，可以解决现有技术的上述问题。所述技术方案如下：
[0005]根据本申请实施例的第一个方面，提供了一种数据存储方法，应用于数据存储系统中目标节点集群的主节点，所述数据存储系统包括计算引擎和至少一个节点集群，每个所述节点集群用于存储对应数据范围的数据集，所述主节点用于以行存储格式存储所述数据集，所述方法包括：
[0006]接收由所述计算引擎转发的客户端的数据处理请求，所述数据处理请求包括第一待处理数据的数据标识和处理类型，所述目标节点集群是所述计算引擎根据各节点集群对应的数据范围和所述数据标识确定的，所述处理类型为联机事务处理OLTP类型；
[0007]根据所述数据处理请求，在自身存储的数据集中对第一待处理数据进行处理，并向所述客户端返回处理结果。
[0008]作为一种可选的实施方式，每个节点集群还包括至少一个从节点，所述从节点用于以行存储格式存储所述节点集群对应的数据集；所述数据处理请求的请求类型包括写请求和读请求中的至少一种；
[0009]所述根据所述数据处理请求在自身存储的数据集中对第一待处理数据进行处理，包括：
[0010]确定所述数据处理请求的请求类型为写请求，在自身存储的数据集中对第一待处理数据进行处理，并指示所述至少一个从节点在从节点自身存储的数据集中对第一待处理数据进行处理；
[0011]确定所述数据处理请求的请求类型为读请求，在自身存储的数据集中对第一待处理数据进行处理。
[0012]作为一种可选的实施方式，当所述数据处理请求的请求类型为写请求时，所述在自身存储的数据集中对第一待处理数据进行处理，之前还包括：
[0013]将所述数据处理请求作为一条日志条目添加至所述主节点的事务日志；
[0014]向所述至少一个从节点发送所述日志条目，并指示从节点在将接收到的日志条目添加至从节点自身的事务日志后向所述主节点返回添加成功的响应信息；
[0015]确定获得的所述响应信息的数量符合预设条件。
[0016]作为一种可选的实施方式，向所述至少一个从节点发送所述日志条目，包括：
[0017]确定所述事务日志中未发送的日志条目的数量符合预设数量阈值，向所述至少一个从节点批量发送所述未发送的日志条目。
[0018]作为一种可选的实施方式，数据存储系统还包括协调器，所述方法还包括：
[0019]接收所述协调器发送的范围调整指令，所述范围调整指令用于指示所述目标节点集群对应的调整后的数据范围，所述范围调整指令是所述协调器在根据所述主节点的负载确定的；
[0020]将所述范围调整指令作为日志条目添加至所述主节点的事务日志；
[0021]向所述至少一个从节点发送所述日志条目，并指示从节点在将接收到的日志条目添加至从节点自身的事务日志后向所述主节点返回添加成功的响应信息；
[0022]确定获得的所述响应信息的数量符合预设条件，则将自身存储的数据集的数据范围调整为所述范围调整指令指示的数据范围，并指示节点集群中的所有其他节点将自身存储的数据集的数据范围调整为所述范围调整指令指示的数据范围。
[0023]根据本申请实施例的第二个方面，提供了一种数据存储方法，应用于数据存储系统中目标节点集群的学习节点，所述数据存储系统包括计算引擎和至少一个节点集群，每个节点集群用于存储对应数据范围的数据集，所述学习节点用于以列存储格式存储所述数据集，所述方法包括：
[0024]接收由所述计算引擎转发的客户端的数据处理请求，所述数据处理请求包括第二待处理数据的数据标识和处理类型，所述目标节点集群是所述计算引擎根据各节点集群对应的数据范围和所述数据标识确定的，所述处理类型为联机分析处理OLAP类型；
[0025]根据所述数据处理请求，在自身存储的数据集中对第二待处理数据进行处理，并向所述客户端返回处理结果。
[0026]作为一种可选的实施方式，数据存储系统包括主节点，所述主节点用于以行存储格式存储所述数据集；
[0027]所述接收由所述计算引擎转发的客户端的数据处理请求，之前还包括：
[0028]将所述主节点中存储的数据集转换为列存储格式存储在本地。
[0029]作为一种可选的实施方式，主节点还用于执行OLTP类型的数据处理请求；
[0030]所述方法还包括：
[0031]确定所述主节点执行的OLTP类型的数据处理请求的请求类型为写请求，获得所述OLTP类型的数据处理请求；
[0032]在学习节点自身存储的数据集中执行所述OLTP类型的数据处理请求。
[0033]作为一种可选的实施方式，主节点还用于存储模式配置方配置的转换模式，所述转换模式用于指示行存储格式转换为列存储格式的规则；
[0034]所述方法还包括：
[0035]基于预设周期从所述主节点请求所述主节点当前存储的转换模式的版本；
[0036]确定所述主节点当前存储的转换模式的版本高于所述学习节点的缓存中存储的转换模式的版本，将所述缓存中存储的转换模式更新为所述主节点当前存储的转换模式；
[0037]所述在学习节点自身存储的数据集中执行所述OLTP类型的数据处理请求，包括：
[0038]根据所述缓存中当前存储的转换模式，在学习节点自身存储的数据集中对所述OLTP类型的数据处理请求中的待处理数据处理为列存储格式。
[0039]作为一种可选的实施方式，OLTP类型的数据处理请求包括请求时刻；
[0040]所述在学习节点自身存储的数据集中执行所述OLTP类型的数据处理请求，之前还包括：
[0041]将所述OLTP类型的数据处理请求中的待处理数据以列存储格式存储在第一存储空间；
[0042]所述在学习节点自身存储的数据集中执行所述OLTP类型的数据处理请求，包括：
[0043]根据所述第一存储空间中存储各待处理数据的时序，根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，应用于数据存储系统中目标节点集群的主节点，所述数据存储系统包括计算引擎和至少一个节点集群，每个所述节点集群用于存储对应数据范围的数据集，所述主节点用于以行存储格式存储所述数据集，所述方法包括：接收由所述计算引擎转发的客户端的数据处理请求，所述数据处理请求包括第一待处理数据的数据标识和处理类型，所述目标节点集群是所述计算引擎根据各节点集群对应的数据范围和所述数据标识确定的，所述处理类型为联机事务处理OLTP类型；根据所述数据处理请求，在自身存储的数据集中对第一待处理数据进行处理，并向所述客户端返回处理结果。2.根据权利要求1所述的方法，其特征在于，每个节点集群还包括至少一个从节点，所述从节点用于以行存储格式存储所述节点集群对应的数据集；所述数据处理请求的请求类型包括写请求和读请求中的至少一种；所述根据所述数据处理请求在自身存储的数据集中对第一待处理数据进行处理，包括：确定所述数据处理请求的请求类型为写请求，在自身存储的数据集中对第一待处理数据进行处理，并指示所述至少一个从节点在从节点自身存储的数据集中对第一待处理数据进行处理；确定所述数据处理请求的请求类型为读请求，在自身存储的数据集中对第一待处理数据进行处理。3.根据权利要求1所述的方法，其特征在于，所述数据存储系统还包括协调器，所述方法还包括：接收所述协调器发送的范围调整指令，所述范围调整指令用于指示所述目标节点集群对应的调整后的数据范围，所述范围调整指令是所述协调器在根据所述主节点的负载确定的；将所述范围调整指令作为日志条目添加至所述主节点的事务日志；向所述至少一个从节点发送所述日志条目，并指示从节点在将接收到的日志条目添加至从节点自身的事务日志后向所述主节点返回添加成功的响应信息；确定获得的所述响应信息的数量符合预设条件，则将自身存储的数据集的数据范围调整为所述范围调整指令指示的数据范围，并指示节点集群中的所有其他节点将自身存储的数据集的数据范围调整为所述范围调整指令指示的数据范围。4.一种数据存储方法，其特征在于，应用于数据存储系统中目标节点集群的学习节点，所述数据存储系统包括计算引擎和至少一个节点集群，每个节点集群用于存储对应数据范围的数据集，所述学习节点用于以列存储格式存储所述数据集，所述方法包括：接收由所述计算引擎转发的客户端的数据处理请求，所述数据处理请求包括第二待处理数据的数据标识和处理类型，所述目标节点集群是所述计算引擎根据各节点集群对应的数据范围和所述数据标识确定的，所述处理类型为联机分析处理OLAP类型；根据所述数据处理请求，在自身存储的数据集中对第二待处理数据进行处理，并向所述客户端返回处理结果。5.根据权利要求4所述的方法，其特征在于，所述数据存储系统包括主节点，所述主节点用于以行存储格式存储所述数据集；
所述接收由所述计算引擎转发的客户端的数据处理请求，之前还包括：将所述主节点中存储的数据集转换为列存储格式存储在本地。6.根据权利要求5所述的方法，其特征在于，所述主节点还用于执行OLTP类型的数据处理请求；所述方法还包括：确定所述主节点执行的OLTP类型的数据处理请求的请求类型为写请求，获得所述OLTP类型的数据处理请求；在学习节点自身存储的数据集中执行所述OLTP类型的数据处理请求。7.一种数据存储方法，其特征在于，应用于数据存储系统中的计算引擎，所述数据存储系统还包括至少一个节点集群，每个节点集群用于存储对应数据范围的数据集，所述节点集群包括主节点和学习节点，所述主节点用于以行存储格式存储所述数据集，所述学习节点用于以列存储格式存储所述数据集，所述方法包括：接收客户端发送的数据处理请求，所述数据处理请求包括待处理数据的数据标识和处理类型；根据所述待处理数据的数据标识，确定存储所述待处理数据的目标节点集群；将所述数据处理请求发送至所述目标节点集群中与所述处理类型对应的目标节点，以使得所述目标节点在自身存储的数据集中对所述待处理数据进行处理，并向所述客户...

【专利技术属性】
技术研发人员：石志林，
申请(专利权)人：深圳市腾讯计算机系统有限公司，
类型：发明
国别省市：