一种分布式持久性内存事务系统的日志管理方法技术方案

本发明专利技术涉及持久性内存存储技术领域，特别涉及一种分布式持久性内存事务系统的日志管理方法，包括主副本节点、从副本节点和协调者线程，主副本节点和从副本节点为集群中的每个协调者线程分配独立的持久性日志区；主副本节点和从副本节点向协调者线程提供写日志接口；主副本节点和从副本节点调用CPU持久化指令，并通过原子地更新日志区元数据；主副本节点执行持久性日志区的内容，并回收垃圾日志项；从副本节点通过独立的后台线程组并行地回放不同协调者线程的持久性日志区的内容，并回收垃圾日志项。该分布式持久性内存事务系统的日志管理方法，能够同时提供高效的写日志性能、多核可扩展能力以及崩溃后恢复能力。

【技术实现步骤摘要】
一种分布式持久性内存事务系统的日志管理方法
本专利技术涉及持久性内存存储
，特别涉及一种分布式持久性内存事务系统的日志管理方法。
技术介绍
持久性内存(PersistentMemory，PM)是一类新型存储器件，它支持直接使用CPU的load(载入)和store(存储)指令对其进行字节粒度的读写。常见的持久性内存器件包括阻变存储器(ResistiveRAM，RRAM)、相变存储器(PhaseChangeMemory，PCM)和自旋矩存储器(Spin-TorqueTransferRAM，STT-RAM)等。Intel公司也在2019年发布了第一代英特尔傲腾数据中心持久性内存(IntelOptaneDCPersistentMemory)。持久性内存具有极高的读写带宽和极低的读写延迟，为构建新型的存储系统带来了机遇。但同时，持久性内存具有读写性能不对称，寿命低等问题。持久性内存改变了传统存储系统易失和非易失的边界，由于CPU缓存是易失的且逐出顺序无法控制，编程者要显式地调用CPU持久化指令(如CLFLUSH、CFLUSHOPT和CLWB)强制将本文档来自技高网...

【技术保护点】
1.一种分布式持久性内存事务系统的日志管理方法，所述分布式持久性内存事务系统包括主副本节点、从副本节点和协调者线程，其特征在于，所述主副本节点和所述从副本节点为集群中的每个协调者线程分配独立的持久性日志区；/n所述主副本节点和所述从副本节点向所述协调者线程提供写日志接口，所述协调者线程通过RDMA原语将日志项写到所述主副本节点和所述从副本节点对应的持久性日志区，并通知所述主副本节点和所述从副本节点；/n所述主副本节点和从副本节点调用CPU持久化指令以保证日志项的持久性，并通过原子地更新日志区元数据以保证崩溃一致性；/n所述主副本节点执行所述持久性日志区的内容，并回收垃圾日志项；所述从副本节点通...

【技术特征摘要】
1.一种分布式持久性内存事务系统的日志管理方法，所述分布式持久性内存事务系统包括主副本节点、从副本节点和协调者线程，其特征在于，所述主副本节点和所述从副本节点为集群中的每个协调者线程分配独立的持久性日志区；
所述主副本节点和所述从副本节点向所述协调者线程提供写日志接口，所述协调者线程通过RDMA原语将日志项写到所述主副本节点和所述从副本节点对应的持久性日志区，并通知所述主副本节点和所述从副本节点；
所述主副本节点和从副本节点调用CPU持久化指令以保证日志项的持久性，并通过原子地更新日志区元数据以保证崩溃一致性；
所述主副本节点执行所述持久性日志区的内容，并回收垃圾日志项；所述从副本节点通过独立的后台线程组并行地回放不同协调者线程的所述持久性日志区的内容，并回收垃圾日志项。


2.根据权利要求1所述的一种分布式持久性内存事务系统的日志管理方法，其特征在于，所述主副本节点和所述从副本节点均允许若干个实例同时存在，所述主副本节点和所述从副本节点存储全局唯一的实例编号。


3.根据权利要求1所述的一种分布式持久性内存事务系统的日志管理方法，其特征在于，所述持久性日志区位于持久性内存中，所述持久性日志区为连续地址空间上的环形队列，支持变长的日志项，同时通过持久性头指针和尾指针以保证日志项增删的原子性。


4.根据权利要求1所述的一种分布式持久性内存事务系统的日志管理方法，其特征在于，所述日志管理方法还包括：
所述主副本节点和所述从副本节点使用本地分配器在持久性内存上为每个协调者线程分配持久性日志区和对应的持久性头指针和尾指针；
所述主副本节点和所述从副本节点将所有持久性日志区对应的头尾指针初始化为日志区首地址并持久化；
所述主副本节点和所述从副本节点将所有持久性日志区的头尾指针的值通过远程过程调用发送给相应的协调者线程，以便所述协调者线程将接收到的所述值缓存到本地。


5.根据权利要求1所述的一种分布式持久性内存事务系统的日志管理方法，其特征在于，所述日志项包括若干个写集子项，每个所述写集子项包括版本号、数据地址、数据长度以及数据内容。


6.根据权利要求1所述的一种分布式持久性内存事务系统的日志管理方法，其特征在于，所述协调者线程写日志区的操作包括远程日志区地址定位阶段和日志项直写并通知阶段，其中：
所述远程日志区地址定位阶段包括，所述协调者线程...

【专利技术属性】
技术研发人员：舒继武，汪庆，陆游游，陈游旻，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11