一种优化文件存储网关读写性能的方法及系统技术方案

技术编号:41008704 阅读:28 留言:0更新日期:2024-04-18 21:44
本发明专利技术涉及文件存储领域技术领域,具体公开了一种优化文件存储网关读写性能的方法及系统,其中所述系统包括,所述系统包括:POSIX语义层,所述POSIX语义层用于提供标准POSIX文件语义;影子储存模块,所述影子储存模块与POSIX语义层连接,用于提供高性能IO读写并在断网时提供离线存储等内容;本发明专利技术在文件存储网关场景使用内存映射文件mmap实现可持久化GC元数据哈希表存储;利用操作系统自动管理GC元数据内存开销,提供可持久化能力;提供异步上传能力,应对异常重启时GC元数据重建。文件存储网关场景使用协程功能提供上传下载并发能力。

【技术实现步骤摘要】

本专利技术涉及文件存储领域,具体是一种优化文件存储网关读写性能的方法及系统


技术介绍

1、worm(write-once read-many)存储系统一般指数据一次写入,不会更新,不会修改,只会读取。此类业务特征的数据在实际应用场景中大量存在,如医疗行业的ct数据,生物行业的基因数据,海量低频归档数据等。worm存储系统通常兼顾海量数据存储和用户友好编程接口。解决海量存储一般使用分布式对象存储系统;解决用户编程友好接口通常使用需要实现标准posix语义文件系统。

2、当前业界通常引入文件存储网关以低成本方式解决worm数据存储。文件存储网关对外提供标准posix文件访问接口,对内完成文件到对象的语义转换。要实现一个支持完备posix语义的文件系统技术难度高工程量大。当前大多数文件存储网关基于用户态文件系统fuse实现。fuse由内核态文件系统驱动和用户态守护进程组成,内核文件系统驱动截获文件数据及元数据操作指令,用户态守护进程通过字符设备读取文件操作指令、解析文件操作指令、处理操作指令、返回文件操作状态给内核。fuse在文件操作过程中存在大量本文档来自技高网...

【技术保护点】

1.一种优化文件存储网关读写性能的系统,其特征在于,所述系统包括:

2.根据权利要求1所述的一种优化文件存储网关读写性能的系统,其特征在于,所述影子储存模块采用write back方式写入本地,所述影子储存模块采用本地文件系统。

3.根据权利要求2所述的一种优化文件存储网关读写性能的系统,其特征在于,所述空间管理模块包括与POSIX语义层连接的被动触发模块、与被动触发模块连接的GC模块、与GC模块连接的主动触发模块;

4.根据权利要求3所述的一种优化文件存储网关读写性能的系统,其特征在于,所述GC模块包括内存哈希表、本地持久化文件和远端对象文件;...

【技术特征摘要】

1.一种优化文件存储网关读写性能的系统,其特征在于,所述系统包括:

2.根据权利要求1所述的一种优化文件存储网关读写性能的系统,其特征在于,所述影子储存模块采用write back方式写入本地,所述影子储存模块采用本地文件系统。

3.根据权利要求2所述的一种优化文件存储网关读写性能的系统,其特征在于,所述空间管理模块包括与posix语义层连接的被动触发模块、与被动触发模块连接的gc模块、与gc模块连接的主动触发模块;

4.根据权利要求3所述的一种优化文件存储网关读写性能的系统,其特征在于,所述gc模块包括内存哈希表、本地持久化文件和远端对象文件;

5.根据权利要求4所述的一种优化文件存储网关读写性能的系统,其特征在于,所述文件状态包括:

6.根据权利要求5所述的一种优化文件存储网关读写性能的系统,其特征在于,所述传输装置包括上传下载队列模块和上传下载...

【专利技术属性】
技术研发人员:吴晶黄鹄肖露高磊吴文峰
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1