数据读写方法技术

本申请实施例公开了数据读写方法

【技术实现步骤摘要】
数据读写方法、装置和电子设备


[0001]本公开实施例涉及计算机
，具体涉及数据读写方法
、
装置和电子设备
。

技术介绍

[0002]OLAP(Online Analytical Processing
，联机分析处理
)
系统是数据仓库系统主要的应用之一，可以用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速
、
灵活地进行大数据量的复杂查询处理，并且将查询结果提供给决策人员
。
然而，
OLAP
客户除了实时数仓需求，还想满足高并发点查和高频更新能力，现有的采用列式存储格式进行数据存储的数据仓库满足不了
OLAP
客户的上述需求
。

技术实现思路

[0003]提供该公开内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述
。
该公开内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围
。
[0004]第一方面，本公开实施例提供了一种数据读写方法，包括：接收针对第一数据库的数据读写请求，其中，第一数据库采用列式存储格式存储数据，数据读写请求用于在行存表中读写数据，第一数据库包括前端节点和后端节点，前端节点用于接收数据读写请求，后端节点用于存储数据；在前端节点中，对数据读写请求进行解析，将解析结果发送给后端节点；在后端节点中，利用解析结果，在第二数据库中进行数据读写，其中，第一数据库从第二数据库进行数据调用，第二数据库采用行式存储格式存储数据
。
[0005]第二方面，本公开实施例提供了一种数据读写装置，包括：接收单元，用于接收针对第一数据库的数据读写请求，其中，第一数据库采用列式存储格式存储数据，数据读写请求用于在行存表中读写数据，第一数据库包括前端节点和后端节点，前端节点用于接收数据读写请求，后端节点用于存储数据；发送单元，用于在前端节点中，对数据读写请求进行解析，将解析结果发送给后端节点；读写单元，用于在后端节点中，利用解析结果，在第二数据库中进行数据读写，其中，第一数据库从第二数据库进行数据调用，第二数据库采用行式存储格式存储数据
。
[0006]第三方面，本公开实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的数据读写方法
。
[0007]第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的数据读写方法的步骤
。
[0008]本公开实施例提供的数据读写方法
、
装置和电子设备，通过接收针对采用列式存储格式存储数据的第一数据库的数据读写请求，第一数据库包括前端节点和后端节点；之后，在前端节点中，对数据读写请求进行解析，将解析结果发送给后端节点；而后，在后端节点中，利用解析结果，，在采用行式存储格式存储数据的第二数据库中进行数据读写
。
通过
这种方式可以在列式存储的数据库中实现行式存储能力，满足高并发点查和高频更新能力
。
附图说明
[0009]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征
、
优点及方面将变得更加明显
。
贯穿附图中，相同或相似的附图标记表示相同或相似的元素
。
应当理解附图是示意性的，原件和元素不一定按照比例绘制
。
[0010]图1是根据本公开的数据读写方法的一个实施例的流程图；
[0011]图2是根据本公开的数据读写方法中更新数据的应用场景的一个示意图；
[0012]图3是根据本公开的数据读写方法的又一个实施例的流程图；
[0013]图4是根据本公开的数据读写方法中第一读写路径的一个实施例的流程图；
[0014]图5是根据本公开的数据读写方法中第二读写路径的一个实施例的流程图；
[0015]图6是根据本公开的数据读写方法中的第一读写路径和第二读写路径的一个示意图；
[0016]图7是根据本公开的数据读写方法中执行数据读写的一个示意图；
[0017]图8是根据本公开的数据读写装置的一个实施例的结构示意图；
[0018]图9是本公开的各个实施例可以应用于其中的示例性系统架构图；
[0019]图
10
是适于用来实现本公开实施例的电子设备的计算机系统的结构示意图
。
具体实施方式
[0020]下面将参照附图更详细地描述本公开的实施例
。
虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开
。
应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围
。
[0021]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和
/
或并行执行
。
此外，方法实施方式可以包括附加的步骤和
/
或省略执行示出的步骤
。
本公开的范围在此方面不受限制
。
[0022]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。
术语“基于”是“至少部分地基于”。
术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。
其他术语的相关定义将在下文描述中给出
。
[0023]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置
、
模块或单元进行区分，并非用于限定这些装置
、
模块或单元所执行的功能的顺序或者相互依存关系
。
[0024]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0025]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制
。
[0026]请参考图1，示出了根据本公开的数据读写方法的一个实施例的流程
100。
该数据读写方法，包括以下步骤：
[0027]步骤
101
，接收针对第一数据库的数据读写请求
。
[0028]在本实施例中，数据读写方法的执行主体可以接收针对第一数据库的数据读写请求
。
在这里，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据读写方法，其特征在于，包括：接收针对第一数据库的数据读写请求，其中，所述第一数据库采用列式存储格式存储数据，所述数据读写请求用于在行存表中读写数据，所述第一数据库包括前端节点和后端节点，所述前端节点用于接收所述数据读写请求，所述后端节点用于存储数据；在所述前端节点中，对所述数据读写请求进行解析，将解析结果发送给所述后端节点；在所述后端节点中，利用所述解析结果，在第二数据库中进行数据读写，其中，所述第一数据库从所述第二数据库进行数据调用，所述第二数据库采用行式存储格式存储数据
。2.
根据权利要求1所述的方法，其特征在于，所述对所述数据读写请求进行解析，包括：确定所述数据读写请求的请求类型；基于所述数据读写请求的请求类型，确定所述前端节点和所述后端节点对第二数据库进行数据读写的读写路径
。3.
根据权利要求2所述的方法，其特征在于，所述基于所述数据读写请求的请求类型，确定所述前端节点和所述后端节点对第二数据库进行数据读写的读写路径，包括：若所述数据读写请求为第一请求类型，确定所述前端节点和所述后端节点以第一读写路径对第二数据库进行数据读写；若所述数据读写请求为第二请求类型，确定所述前端节点和所述后端节点以第二读写路径对第二数据库进行数据读写，其中，所述第一读写路径短于所述第二读写路径
。4.
根据权利要求3所述的方法，其特征在于，所述第一读写路径包括：通过远程过程调用方式，利用数据接口，对第二数据库进行数据读写
。5.
根据权利要求3所述的方法，其特征在于，所述第二读写路径包括：通过管线链路方式，利用开始算子，在第二数据库中读取数据，以及利用末尾算子，在所述第二数据库中写入数据
。6.
根据权利要求3所述的方法，其特征在于，所述第一数据库包括：大规模并行处理数据库，所述第二数据库包括：分布式事务型的键值数据库
。7.
根据权利要求6所述的方法，其特征在于，所述第一读写路径包括：在所述前端节点中，对所述数据读写请求进行解析，生成物理执行计划，将所述物理执行计划发送给所述后端节点，其中，所述物理执行计划用于对所述第二数据库进行远程过程调用；在所述后端节点中，通过远程过程调用方式，利用数据接口，对所述第二数据库进行数据读写
。8.
根据权利要求6所述的方法，其特征在于，所述第二读写路径包括：在所述前端节点中，对所述数据读写请求进行解析，生成物理执行计划，将所述物理执行计划拆分成多个计划碎片，根据所述多个计划碎...

【专利技术属性】
技术研发人员：户蕾蕾，琚克俭，黄昭伟，杜军令，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：