一种基于页写时复制的数据同步方法及系统技术方案

本发明专利技术提出了一种基于页写时复制的数据同步方法及系统，涉及数据备份领域。一种基于页写时复制的数据同步方法包括：初始化的系统上注册基于ebpf实现的捕获inode的共享程序；基于页数据复制的驱动，在内核的页刷磁盘写操作地方进行hook，在direct直接IO的写地方进行hook；其能够通过两套机制得保护，真正意义上完备实现这种页写时复制的手段。同时对于海量小文件的场景，本方案的ebpf提供一种意外的收获，可以精确的捕获到那些小文件变化，同时可以避免传统扫描海量文件系统时间戳检索文件变化情况。此外本发明专利技术还提出了一种基于页写时复制的数据同步系统，包括：初始化模块、操作模块以及一致性模块。块以及一致性模块。块以及一致性模块。

【技术实现步骤摘要】
一种基于页写时复制的数据同步方法及系统


[0001]本专利技术涉及数据备份领域，具体而言，涉及一种基于页写时复制的数据同步方法及系统。

技术介绍

[0002]在数据备份领域离不开数据快照技术保护某个时间点的数据一致性，归纳而言业界有两个大的处理方式，一种标记技术、一种写时复制技术。其中标记技术是一种时间换空间，就是新写会写入新的空间进行引用标记，这种技术的实现，会带来很大的性能提升，但是随着数据的积累，频繁的写覆盖，数据的散落碎片化很严重，传统文件系统设计的数据预读、相邻io合并等技术反而拖慢系统，对应当前闪存等新存储介质是具备很高的优越性，但是备份领域的机械盘带来复杂的数据管理和性能问题。
[0003]另外一种写时复制技术，相对简单，但是每一次写会触发磁盘三次IO，极高的性能开销，延迟极其敏感的业务显得无力。本专利视图对上述两种快照技术的实现，提供一种更通用的设计思路，即基于内存页的写时复制，内存的数据复制拷贝开销远远低于基于磁盘IO的开销，同时几乎不会带来原始备份数据的开销。

技术实现思路

[0004]本专利技术的目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于页写时复制的数据同步方法，其特征在于，包括：初始化的系统上注册基于ebpf实现的捕获inode的共享程序；基于页数据复制的驱动，在内核的页刷磁盘写操作地方进行hook，在direct直接IO的写地方进行hook；根据不同节点的页数据复制，保证数据内存层面的复制一致性。2.如权利要求1所述的一种基于页写时复制的数据同步方法，其特征在于，所述初始化的系统上注册基于ebpf实现的捕获inode的共享程序包括：捕获文件系统inode的变化，以识别文件的size。3.如权利要求1所述的一种基于页写时复制的数据同步方法，其特征在于，所述根据不同节点的页数据复制，保证数据内存层面的复制一致性包括：应用触发一次快照，后台进行页数据复制同步，页数据复制的驱动模块通过协调两个hook保证原子性；进行hook前的所有页进行对端通讯，把所有的页数据通过网络的方式传输到对端。4.如权利要求3所述的一种基于页写时复制的数据同步方法，其特征在于，还包括：后端接收服务在处理完了页接收数据后，进行一次快照，形成一个数据副本，以此反复形成备份数据的页拷贝副本。5.如权利要求1所述的一种基于页写时复制的数据同步方法，其特征在于，所述根据不同节点的页数据复制，保证数据内存层面的复制一致性包括：页数据复制驱动实现一个原子结构，进行读写屏障保障新的页刷新、direct
‑
io会被排队，基于ebpf的inode数据...

【专利技术属性】
技术研发人员：赵熙，
申请(专利权)人：南京云信达科技有限公司，
类型：发明
国别省市：