日志数据回放方法、装置、电子设备及可读存储介质制造方法及图纸

本公开的实施例提供了一种日志数据回放方法、装置、电子设备及可读存储介质。所述方法包括：读取日志结构合并树中持久化存储的目标索引值；在回放日志数据的过程中，获取回放的目标日志数据的日志索引值；在所述日志索引值大于所述目标索引值的情况下，将所述目标日志数据提交至本地状态机；在所述日志索引值小于或等于所述目标索引值的情况下，则不提交所述目标日志数据。本公开的实施例可以实现精确控制复制日志回放与压缩。制复制日志回放与压缩。制复制日志回放与压缩。

【技术实现步骤摘要】
日志数据回放方法、装置、电子设备及可读存储介质


[0001]本公开的实施例涉及日志数据处理
，尤其涉及一种日志数据回放方法、装置、电子设备及可读存储介质。

技术介绍

[0002]LSM Tree(Log Structured Merge Tree)作为当前存储系统中广泛应用的一种数据结构，通过memtable实现数据有序，将随机写转换为顺序写，大大提升了写入性能，而业界知名的Leveldb和Rocksdb便是基于LSM Tree实现的高性能持久化存储引擎，已被大量应用于工程生产环境中。
[0003]为满足业务金融级数据一致性需求，存储系统可利用分布式共识协议如Raft，Paxos等进行数据复制，将LSM Tree作为用户复制状态机，数据会先写入复制日志，确认commit后的数据依次提交到用户状态机执行，执行成功的日志条目索引称作apply_index。这种类型的系统对于用户每次写入的数据会先写入复制日志，再写入LSM Tree结构中的WAL和memtable后方可返回成功，整个写入过程会涉及两次磁盘IO操作，直接影响用户写入性能。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志数据回放方法，其特征在于，包括：读取日志结构合并树中持久化存储的目标索引值；在回放日志数据的过程中，获取回放的目标日志数据的日志索引值；在所述日志索引值大于所述目标索引值的情况下，将所述目标日志数据提交至本地状态机；在所述日志索引值小于或等于所述目标索引值的情况下，则不提交所述目标日志数据。2.根据权利要求1所述的方法，其特征在于，在所述读取日志结构合并树中持久化存储的目标索引值之前，还包括：在写入所述日志数据时，将所述日志数据写入共识协议层；基于所述日志结构合并树的存储引擎对所述日志数据进行处理，得到处理日志数据；将所述处理日志数据写入所述本地状态机的存储空间内，并生成所述处理日志数据对应的日志索引值；将所述日志索引值保存至本地磁盘存储空间内。3.根据权利要求2所述的方法，其特征在于，所述基于日志结构合并树的存储引擎对所述日志数据进行处理，得到处理日志数据，包括：基于所述存储引擎按照所述日志结构合并树的数据写入结构，对所述日志数据进行封装处理，以得到所述处理日志数据。4.根据权利要求2所述的方法，其特征在于，在所述生成所述处理日志数据对应的日志索引值之后，还包括：将所述日志索引值同步至所述共识协议层和应用层。5.一种日志数据回放装置，其特征在于，包括：索引值读取模块，用于读取日志结构合并树中持久化存储的目标索引值；日志索引值获取模块，用于在回放日志数据的过程中，获取回放的目标日志数据的日志索引值；目标日志提交模块，用...

【专利技术属性】
技术研发人员：王勋，齐泽斌，邢子山，张彪，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：