数据存储方法、读取方法、装置及电子设备制造方法及图纸

本申请实施例提供了一种数据存储方法、数据读取方法、装置、电子设备及计算机可读存储介质，涉及数据库领域，例如可用于分布式数据库领域。该方法包括：接收待写入的第一键值对；通过一致性校验协议，将第一键值对以日志条目的形式向第一存储节点和至少两个第二存储节点各自的日志中同步；若确定第一键值对在第一存储节点自身以及至少两个第二存储节点已同步，则将第一键值对存储至第一存储节点的缓存中；当确定本地的日志中新同步的日志条目符合预设条件，将缓存中与新同步的日志条目对应的各个键值对，向云端下刷为第一行存格式文件以及第一列存格式文件。本申请实施例节省存储空间，可实现无需等待延迟立刻可执行OLAP查询。

【技术实现步骤摘要】

本申请涉及数据库，具体而言，本申请涉及一种数据存储方法、读取方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

1、混合事务/分析处理（hybrid transactional/analytical processing，htap），是一种数据库架构范式，旨在将传统的事务处理（online transaction processing，oltp）和分析处理（online analytical processing，olap）合并到同一数据库系统中，以满足日益增长的实时数据处理需求。

2、相关技术提供的htap数据库，无论是云数据库rds系统（oltp型）+ 分析型云数据库系统（olap型）的架构，还是在一套系统中实现行存节点和列存节点的架构（如tidb数据库）中，数据从行存系统（或行存节点tikv）同步到列存系统（或列存节点tiflash）都是异步复制的过程，意味着数据成功写入到行存系统（或行存节点）后不一定同步到了列存系统（或列存节点)，而是在一定的时间延迟，不能保证查询的实时性。

3、并且，部署分布式数据库时需本文档来自技高网...

【技术保护点】

1.一种数据存储方法，其特征在于，应用于数据库集群，所述数据库集群包括多个存储节点，每个存储节点包括至少一个数据分片的主副本或者从副本，每个数据分片为键处于对应取值范围内的至少一个键值对的集合，所述方法由所述多个存储节点中的第一存储节点执行，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述云端包括第一存储层；

3.根据权利要求2所述的方法，其特征在于，所述云端还包括第二存储层，所述第二存储层包括存储行存格式文件的第一日志结构合并LSM树以及存储列存格式文件的第二LSM树；

4.根据权利要求2所述的方法，其特征在于，所述预设条件包括新同步的...

【技术特征摘要】

1.一种数据存储方法，其特征在于，应用于数据库集群，所述数据库集群包括多个存储节点，每个存储节点包括至少一个数据分片的主副本或者从副本，每个数据分片为键处于对应取值范围内的至少一个键值对的集合，所述方法由所述多个存储节点中的第一存储节点执行，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述云端包括第一存储层；

3.根据权利要求2所述的方法，其特征在于，所述云端还包括第二存储层，所述第二存储层包括存储行存格式文件的第一日志结构合并lsm树以及存储列存格式文件的第二lsm树；

4.根据权利要求2所述的方法，其特征在于，所述预设条件包括新同步的日志条目的数量超过预设数目，或者已同步至日志的时长超过预设时长。

5.根据权利要求1所述的方法，其特征在于，对于与所述新同步的日志条目对应的各个键值对下刷得到的第一行存格式文件以及第一列存格式文件，满足以下条件：

6.根据权利要求5所述的方法，其特征在于，所述向云端下刷为第一行存格式文件和第一列存格式文件，之后还包括以下至少一者：

7.根据权利要求1所述的方法，其特征在于，所述数据库集群还包括元数据层；

8.根据权利要求7所述的方法，其特征在于，所述第一存储节点在接收待写入的第一键值对之前，所述第一存储节点包括的所述第一键值对的键对应的数据分片由从副本切换为主副本；

9.根据权利要求7所述的方法，其特征在于，所述数据库集群还包括计算层，用于接收客户单发送的数据写入请求，将所述数据写入请求转换为所述第一键值对，以及从所述元数据层确定所述第一键值对的键对应的数据分片的主副本所在的第一存储节点，向所...

【专利技术属性】
技术研发人员：赵志高，刘奇，黄东旭，崔秋，
申请(专利权)人：平凯星辰北京科技有限公司，
类型：发明
国别省市：