【技术实现步骤摘要】
内存存储系统的增量更新方法、装置、设备、介质和产品
[0001]本专利技术涉及存储系统
，尤其是一种内存存储系统的增量更新方法、装置、设备、介质和产品。
技术介绍
[0002]网络技术的迅速发展，大幅度改善了数据传输的带宽和延迟，促进了应用软件生态的繁荣。然而，大量的应用也对边缘服务器的存储性能提出了更高要求，包括存储空间、读写带宽、持久化存储等方面。特别是，人工智能应用中的实时数据分析任务可能会在终端用户、边缘服务器和云端之间产生密集的数据流，需要边缘服务器承担大量数据写入任务。幸运的是，非易失性内存，具有与DRAM同一数量级的性能和类似块设备的持久性存储能力，改变了传统的存储架构，为边缘服务器满足上述的更高要求提供了可能。根据边缘计算研究表明，边缘节点的任务依赖存储系统的持久化效率。更糟糕的是，在非易失性内存设备和DRAM设备之间仍然存在性能差距，尤其在写性能上。
[0003]考虑通用场景的非易失性内存存储系统如NOVA、SplitFS和Libnvmmio等，使用写时拷贝（Copy
‑
on
【技术保护点】
【技术特征摘要】
1.一种面向非易失性内存存储系统的增量更新方法，其特征在于，包括：根据存储粒度、操作分解、空间分配、数据恢复和日志结构的考量因素，构建面向非易失性内存存储系统的系统架构；接收用户空间的上层应用程序发送的新数据，根据所述系统架构，对所述新数据执行推后操作；响应于新接收到的读请求，根据所述系统架构，采用数据聚合操作来对所述读请求对应的各个数据进行拼接处理，返回所述读请求对应的请求结果；根据所述系统架构，按照存储顺序对各个增量段进行合并操作，进而消除增量段的重叠。2.根据权利要求1所述的面向非易失性内存存储系统的增量更新方法，其特征在于，对于所述存储粒度的考量因素，构建好的所述系统架构将每个区块的增量段存储到临时空间；对于所述操作分解的考量因素，构建好的所述系统架构通过推后操作对增量段进行存储、通过合并操作将增量段进行合并、以及通过拼接操作将增量段与原始数据进行拼接；对于所述空间分配的考量因素，构建好的所述系统架构按照块粒度和段粒度进行日志维护；对于所述数据恢复的考量因素，构建好的所述系统架构实时维护一个全局日志，所述全局日志用于记录存储系统的操作过程；对于所述日志结构的考量因素，构建好的所述系统架构为每个区块维护一个对应的操作日志，每个操作日志建立有对应的索引。3.根据权利要求1所述的面向非易失性内存存储系统的增量更新方法，其特征在于，所述接收用户空间的上层应用程序发送的新数据，根据所述系统架构，对所述新数据执行推后操作，具体包括：接收用户空间的上层应用程序发送的新数据，将所述新数据拆分为逻辑上连续的文件块；将非易失性内存中的临时存储空间划分为三个不同大小的增量段；将每个拆分得到的所述文件块存储到对应的增量段中；为每个增量段创建一个元数据条目，进而对新数据存储的增量段进行更新索引。4.根据权利要求1所述的面向非易失性内存存储系统的增量更新方法，其特征在于，所述响应于新接收到的读请求，根据所述系统架构，采用数据聚合操作来对所述读请求对应的各个数据进行拼接处理，返回所述读请求对应的请求结果，具体包括：响应于新接收到的读请求，通过一个线程读取原始块中的数据；创建多个线程检索增量段中的数据；根据操作日志中记录的元数据顺序，将所述原始块和所述增量段中读取到的数据进行移动和拼接，得到一个完整的结果作为所述读请求对应的请求结果。5.根据权利要求4所述的面向非易失性内存存储系统的增量更新方法，...
【专利技术属性】
技术研发人员：汤庸，陈万德，袁成哲，汤非易，林荣华，毛承洁，
申请(专利权)人：人工智能与数字经济广东省实验室广州，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。