一种数据存储的处理方法、数据存储系统及电子设备技术方案

本发明专利技术公开一种数据存储的处理方法、数据存储系统及电子设备，其中，数据存储的处理方法包括：存储系统接收数据写入请求；通过raft协议进行数据协商，协商一致，则允许请求写入数据写入磁盘，同时将数据写入请求内容及数据写入请求的raft日志ID写入raft日志raftLog；将请求写入数据写入到内存memtable中，同时将数据写入请求的raft日志ID写入到元数据文件；元数据文件包括updateID和flushID，updateID记录提交到存储系统的数据写入请求的raft日志ID，当某次数据写入请求触发内存memtable写入磁盘存储时，记录当次数据写入请求所对应的raft日志ID标记为flushID写入到元数据文件中。本发明专利技术使用raftLog和flushID协同工作，替代WAL日志的异常恢复时日志重放功能，解决写入数据落盘两次的问题，提升处理写请求的性能。

【技术实现步骤摘要】

本专利技术涉及数据存储，具体提供一种数据存储的处理方法、数据存储系统及电子设备。

技术介绍

1、存储领域中，wal日志记录增量数据，能显著加速写性能，也是处理异常恢复的有效方法。wal日志：write-ahead logging，缩写wal，也叫预先写入日志，它是存储系统中用于提供持久性的一种技术。在使用wal的系统中，所有的修改在提交之前都要先写入log文件中。

2、特别地，lsm树作为存储系统也使用了wal日志，以下以lsm树为例进行说明。

3、对于写请求，先写入到内存的memtable中，并将当前写请求的提交写入到wal日志中。在进程异常退出时，内存的memtable中的数据是内存数据，随着进程退出已经丢失。此时进程重新启动后，需要读取wal日志回放之前的写请求，重建内存的memtable并及时落盘。因为wal日志是实时落盘的，可以恢复易失数据，而不会造成未写入到数据库的数据丢失；

4、raft是一种同步数据协议，只有数据协商一致才允许提交。raft中的协商一致数据也会落盘(对应持久化存储系统处理异常恢复)，协商不本文档来自技高网...

【技术保护点】

1.一种数据存储的处理方法，其特征在于，包括：

2.根据权利要求1所述的一种数据存储的处理方法，其特征在于，所述flushID的写入时机为某次数据写入请求触发内存memtabl e写入磁盘存储时，记录当次数据写入请求所对应的raftLogID标记为内存态的flushID，待内存memtable中的请求写入数据写入到磁盘存储后，将内存态的flush ID写入到元数据文件中。

3.根据权利要求2所述的一种数据存储的处理方法，其特征在于，所述flushID的写入时机为某次数据写入请求触发内存memtabl e写入磁盘存储时，其中某次数据写入请求触发内存memtabl e...

【技术特征摘要】

1.一种数据存储的处理方法，其特征在于，包括：

2.根据权利要求1所述的一种数据存储的处理方法，其特征在于，所述flushid的写入时机为某次数据写入请求触发内存memtabl e写入磁盘存储时，记录当次数据写入请求所对应的raftlogid标记为内存态的flushid，待内存memtable中的请求写入数据写入到磁盘存储后，将内存态的flush id写入到元数据文件中。

3.根据权利要求2所述的一种数据存储的处理方法，其特征在于，所述flushid的写入时机为某次数据写入请求触发内存memtabl e写入磁盘存储时，其中某次数据写入请求触发内存memtabl e写入磁盘存储包括：

4.根据权利要求2所述的一种数据存储的处理方法，其特征在于，所述flushid的写入时机为某次数据写入...

【专利技术属性】
技术研发人员：徐锐波，卢文伟，幸福，刘方，
申请(专利权)人：北京百舸飞驰科技有限公司，
类型：发明
国别省市：