一种网络文件系统与分布式文件系统的交互方法及系统技术方案

本申请公开了一种网络文件系统与分布式文件系统的交互方法及系统，通过获取客户请求；采用协程对客户请求进行处理，以得到一个网络文件任务；根据网络文件任务类型，调用对应的复合请求接口函数，以生成一个分布式文件任务；对分布式文件任务进行处理以得到请求结果；以及将请求结果返回至网络文件系统；即在接到客户请求后，采用协程对客户请求进行处理转换为网络文件任务，以降低多线程模型的资源消耗和并发问题，并且根据网络文件任务类型调用对应的复合请求接口函数，生成分布式文件任务后进行处理，以减少请求次数、提高请求处理效率。效率。效率。

【技术实现步骤摘要】
一种网络文件系统与分布式文件系统的交互方法及系统


[0001]本申请涉及网络文件系统与分布式文件系统的交互
，具体涉及一种网络文件系统与分布式文件系统的交互方法及系统。

技术介绍

[0002]随着云计算、大数据、5G、AI等技术快速发展，非结构化数据呈现爆炸式增长，包括视频、图片和文档等。并且非结构化数据的容量正在不断增长，相比于传统存储，分布式存储系统具有高扩展、高性能、高可靠、多协议等特点。
[0003]网络文件系统（Network File System, NFS）是企业级文件存储系统的标准访问协议之一。且用户态NFS Server具有更灵活、容易管理、容易调试和可移植性等优点，其中开源软件NFS
‑
Ganesha是一个比较常用的用户态NFS Server，它提供了一个文件系统抽象层（File System Abstraction Layer，FSAL），可以对接不同的文件系统。现有技术方案一般是使用NFS
‑
Ganesha搭配一个分布式文件系统（Distributed File System，DFS），如CephFS、GlusterFS、GPFS或Lustre等，对外提供网络文件存储和共享服务。
[0004]通常NFS
‑
Ganesha是采用多线程模型来处理请求，对于每一个NFS客户端请求，在经过RPC层和NFS协议层等处理后，最后会有一个工作线程对其进行处理，该工作线程通过FSAL层调用具体的后端文件系统（如CephFS等）的客户端API，与该后端文件系统进行交互，来完成请求操作。然而，在数据密集型场景，NFS
‑
Ganesha会占用大量的线程，大量的线程创建和切换，会造成较多的资源消耗和时间开销；同时多线程之间同步需要锁机制，会降低并发性，不利于发挥后端存储及高速硬件的性能；另外，NFS Server与其后端文件系统之间的交互接口，并不是专门为分布式文件系统设计的，在处理请求时，由于增加了交互的次数而存在额外的性能损失。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种网络文件系统与分布式文件系统的交互方法及系统，解决了上述技术问题。
[0006]根据本申请的一个方面，提供了一种网络文件系统与分布式文件系统的交互方法，包括：获取客户请求；采用协程对所述客户请求进行处理，以得到一个网络文件任务；根据所述网络文件任务类型，调用对应的复合请求接口函数，以生成一个分布式文件任务；对所述分布式文件任务进行处理以得到请求结果；以及将所述请求结果返回至所述网络文件系统。
[0007]在一实施例中，所述根据所述网络文件任务类型，调用对应的复合请求接口函数，以生成一个分布式文件任务包括：轮询任务队列，以在所述协程中对所述网络文件任务进行处理；以及根据所述网络文件任务类型，调用对应的复合请求接口函数，以生成所述分布式文件任务。
[0008]在一实施例中，所述调用对应的复合请求接口函数，以生成一个分布式文件任务
包括：调用对应的复合请求接口函数，以生成一个分布式文件任务放入所述分布式文件任务队列中。
[0009]在一实施例中，所述对所述分布式文件任务进行处理以得到请求结果包括：对所述分布式文件任务进行处理以得到请求结果；以及根据所述请求结果生成结果任务。
[0010]在一实施例中，所述将所述请求结果返回至所述网络文件系统包括：将所述结果任务转换为一个网络文件任务；以及采用所述协程对所述网络文件任务进行处理，以将所述请求结果返回至所述网络文件系统。
[0011]在一实施例中，在所述获取客户请求之前，所述网络文件系统与分布式文件系统的交互方法还包括：对所述网络文件系统与所述分布式文件系统进行初始化。
[0012]在一实施例中，所述对所述网络文件系统与所述分布式文件系统进行初始化包括：启动所述分布式文件系统；解析所述分布式文件系统的配置文件；根据所述配置文件初始化所述分布式文件系统；将所述配置文件传入所述网络文件系统，以初始化所述网络文件系统。
[0013]在一实施例中，所述对所述网络文件系统与所述分布式文件系统进行初始化包括：将所述网络文件系统的初始化结果返回给所述分布式文件系统，以完成所述分布式文件系统的初始化。
[0014]根据本申请的另一个方面，提供了一种网络文件系统与分布式文件系统的交互系统，包括：网络文件系统和分布式文件系统；其中，所述网络文件系统用于获取客户请求、采用协程对所述客户请求进行处理，以得到一个网络文件任务、根据所述网络文件任务类型，调用对应的复合请求接口函数，以生成一个分布式文件任务；所述分布式文件系统用于对所述分布式文件任务进行处理以得到请求结果、将所述请求结果返回至所述网络文件系统。
[0015]在一实施例中，所述网络文件系统包括网络文件服务前端模块和网络文件服务后端模块，其中，所述网络文件服务前端模块用于获取客户请求、采用协程对所述客户请求进行处理，以得到一个网络文件任务，所述网络文件服务后端模块用于根据所述网络文件任务类型，调用对应的复合请求接口函数，以生成一个分布式文件任务；所述分布式文件系统包括分布式文件服务前端模块与分布式文件服务后端模块，其中，分布式文件服务前端模块用于接收所述分布式文件任务并生成一个新任务放入所述分布式文件服务后端模块的任务队列中，所述分布式文件服务后端模块用于对所述新任务进行处理以得到请求结果、将所述请求结果放入所述分布式文件服务前端模块的任务队列中以返回至所述网络文件系统。
[0016]本申请提供的一种网络文件系统与分布式文件系统的交互方法及系统，通过获取客户请求；采用协程对客户请求进行处理，以得到一个网络文件任务；根据网络文件任务类型，调用对应的复合请求接口函数，以生成一个分布式文件任务；对分布式文件任务进行处理以得到请求结果；以及将请求结果返回至网络文件系统；即在接到客户请求后，采用协程对客户请求进行处理转换为网络文件任务，以降低多线程模型的资源消耗和并发问题，并且根据网络文件任务类型调用对应的复合请求接口函数，生成分布式文件任务后进行处理，以减少请求次数、提高请求处理效率。
附图说明
[0017]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0018]图1是本申请一示例性实施例提供的一种网络文件系统与分布式文件系统的交互方法的流程示意图。
[0019]图2是本申请另一示例性实施例提供的一种网络文件系统与分布式文件系统的交互方法的流程示意图。
[0020]图3是本申请一示例性实施例提供的一种网络文件系统与分布式文件系统的初始化方法的流程示意图。
[0021]图4是本申请另一示例性实施例提供的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络文件系统与分布式文件系统的交互方法，其特征在于，包括：获取客户请求；采用协程对所述客户请求进行处理，以得到一个网络文件任务；根据所述网络文件任务类型，调用对应的复合请求接口函数，以生成一个分布式文件任务；对所述分布式文件任务进行处理以得到请求结果；以及将所述请求结果返回至所述网络文件系统。2.根据权利要求1所述的网络文件系统与分布式文件系统的交互方法，其特征在于，所述根据所述网络文件任务类型，调用对应的复合请求接口函数，以生成一个分布式文件任务包括：轮询任务队列，以在所述协程中对所述网络文件任务进行处理；以及根据所述网络文件任务类型，调用对应的复合请求接口函数，以生成所述分布式文件任务。3.根据权利要求1所述的网络文件系统与分布式文件系统的交互方法，其特征在于，所述调用对应的复合请求接口函数，以生成一个分布式文件任务包括：调用对应的复合请求接口函数，以生成一个分布式文件任务放入所述分布式文件任务队列中。4.根据权利要求1所述的网络文件系统与分布式文件系统的交互方法，其特征在于，所述对所述分布式文件任务进行处理以得到请求结果包括：对所述分布式文件任务进行处理以得到请求结果；以及根据所述请求结果生成结果任务。5.根据权利要求4所述的网络文件系统与分布式文件系统的交互方法，其特征在于，所述将所述请求结果返回至所述网络文件系统包括：将所述结果任务转换为一个网络文件任务；以及采用所述协程对所述网络文件任务进行处理，以将所述请求结果返回至所述网络文件系统。6.根据权利要求1所述的网络文件系统与分布式文件系统的交互方法，其特征在于，在所述获取客户请求之前，所述网络文件系统与分布式文件系统的交互方法还包括：对所述网络文件系统与所述分布式文件系统进行初始化。7.根据权利要求6所述的网络文件系统与分布式文件系统的交互方法，其...

【专利技术属性】
技术研发人员：刘爱贵，郭忠秋，阮薛平，
申请(专利权)人：北京大道云行科技有限公司，
类型：发明
国别省市：