基于远程调用的分布式网络文件存储系统和方法技术方案

本发明专利技术提供一种基于远程调用的分布式网络文件存储系统和方法，通过文件统一访问接口发送文件操作请求至虚拟文件系统，接收文件操作请求的操作结果，并将操作结果通过远程调用发送；监听客户端的文件操作请求，实现文件元数据和数据操作，完成文件系统数据服务；实现文件操作的日志记录，监控文件系统中的文件操作行为；通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件系统挂载；提供网络文件系统的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件系统服务的可视化运维管控。采用高效Protobuf序列化消息方式，有效降低网络数据负载，在网络带宽有限的情况下提供稳定的文件系统服务。

【技术实现步骤摘要】
基于远程调用的分布式网络文件存储系统和方法
本专利技术涉及大数据分布式数据存储
，具体地，涉及一种基于远程调用的分布式网络文件存储系统和方法。
技术介绍
大数据时代，随着存储与计算集群规模的不断扩大，大部分数据业务系统已经构建在分布式环境中。在数据存储方面，目前，通过文件接口实现数据操作是业务系统最通用的模式。ceph系统是一种分布式存储系统，支持对象、文件和块的统一存储。然而ceph分布式存储的文件系统和其对象存储耦合性高，对文件系统功能改进存在很大的难度，同时在生产环境中其自身提供的文件服务稳定性不够，会出现文件查询不到的问题。例如专利文件CN110491478A，公开了一种基于ceph的影像文件分布式储存系统及其实现方法，涉及医疗影像数据分布式存储
，包括ceph分布式文件系统、接收缓存模块、作业调度模块和元数据存储模块。方法流程为：1、部署ceph分布式存储集群，在服务器中配置用于临时存放接收到的影像文件的临时文件目录，并使作业调度模块能读取接收缓存模块中的数据；2、接收缓存模块接收并存储客户端发送的影像文件；3、启本文档来自技高网...

【技术保护点】
1.一种基于远程调用的分布式网络文件存储系统，其特征在于，包括：/n文件客户端模块：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作系统内核的虚拟文件系统，待虚拟文件系统响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；/n文件服务端模块：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件系统数据服务；/n文件监控模块：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件系统中的文件操作行为；/n分布式存储模块：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文...

【技术特征摘要】
1.一种基于远程调用的分布式网络文件存储系统，其特征在于，包括：
文件客户端模块：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作系统内核的虚拟文件系统，待虚拟文件系统响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；
文件服务端模块：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件系统数据服务；
文件监控模块：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件系统中的文件操作行为；
分布式存储模块：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件系统挂载；
可视化运维模块：提供网络文件系统的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件系统服务的可视化运维管控。


2.根据权利要求1所述的基于远程调用的分布式网络文件存储系统，其特征在于，所述文件客户端模块包括：
接口模块：提供文件操作接口，所述文件操作接口属于继承fuse虚拟文件接口，文件操作接口的接口类型包括文件查询接口、文件拷贝接口和文件删除接口；
文件操作解析模块：根据接口类型解析文件操作请求，所述文件操作请求包括文件元数据操作请求、文件内容操作请求、文件权限操作请求和文件属性操作请求中的任一项或任多项；
文件操作转发模块：对解析后的文件操作请求进行转发。


3.根据权利要求1所述的基于远程调用的分布式网络文件存储系统，其特征在于，所述文件服务端模块包括：
文件操作接收模块：在服务端建立远程调用服务，监听和接收客户端的文件操作请求；
文件操作服务模块：服务端根据文件操作请求，实现文件操作服务，所述文件操作服务包括文件和文件夹的增加、删除、修改和查询中任一种或任多种；
文件系统挂载模块：根据配置文件实现ceph分布式存储文件挂载，文件操作服务针对挂载的文件系统进行请求服务。


4.根据权利要求1所述的基于远程调用的分布式网络文件存储系统，其特征在于，所述分布式存储模块中，通过ceph构建文件系统的底层数据存储，通过分布式数据存储，以文件系统形态，通过块、文件、对象多种方式支持上层文件系统的数据存储。


5.根据权利要求1所述的基于远程调用的分布式网络文件存储系统，其特征在于，所述可视化运维模块包括：
用户管理模块：实现网络文件系统的访问控制，只有合法授权的用户才能构建网络文件系统服务；
服务管理模块：实现网络文件系统的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力；
文件行为监控模块：实现网络文件系统的日志可视化收集，方便用户查看系统日志。同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能；
数据挂载模块：实现网络文件系统服务端可视化文件系统操作，方便用户切换服务端存储，提供灵活的、多样的文件系统形态。

【专利技术属性】
技术研发人员：佘平，张慧萍，罗琳，徐鑫朋，王晓虹，
申请(专利权)人：华东计算技术研究所中国电子科技集团公司第三十二研究所，
类型：发明
国别省市：上海;31