文件访问请求的处理方法、电子设备及计算机程序产品技术

本申请公开了一种文件访问请求的处理方法、电子设备及计算机程序产品，S3FS服务接收到文件访问请求后，处理文件访问请求的过程中需要获取目标文件的目标元数据时，先到内存中查找目标元数据。若内存中没有目标元数据，则在本地的持久化数据库中查找目标元数据。采用该种方案，S3FS服务基于本地持久化数据库存储的元数据对文件访问请求进行处理，并不需要从S3云端获取元数据，因此降低了S3FS服务和S3云端的交互次数，提高对文件访问请求的处理速度的同时，降低资源消耗，并提高网络可靠性。并提高网络可靠性。并提高网络可靠性。

【技术实现步骤摘要】
文件访问请求的处理方法、电子设备及计算机程序产品


[0001]本申请涉及云存储
，特别涉及一种文件访问请求的处理方法、电子设备及计算机程序产品。

技术介绍

[0002]目前，主流的存储类型主要有三种：块存储、文件存储和对象存储。其中，对象存储有着块存储的高速直接访问磁盘的优点，同时兼具文件存储的分布式共享特点。因此，对象存储正逐渐在云计算存储服务领域占据越来越重要的地位。
[0003]对象存储本质上是网络存储系统，一般通过应用程序接口(Application Programming Interface，API)的形式进行访问。但是，普通用户很难通过写代码调用API的形式访问对象存储系统。S3FS服务是google开发的一款支持将对象存储中的存储桶(bucket)以文件形式导出的文件系统接口，兼容可移植操作系统接口(Portable Operating System Interface，POSIX)语义。S3FS是基于用户空间文件系统(File system in Userspace，FUSE)开发的文件系统，允许Linux和Mac Os X挂载S3的存储桶在本地文件系统，S3FS能够保持对象原来的格式。因此，可借助S3FS服务来实现将对象存储转换为文件存储。这样一来，普通用户就可以像访问文件存储系统一样访问对象存储系统。
[0004]当用户操作文件时产生文件访问请求，部署了S3FS服务的设备接收到文件访问请求后，获取相关元数据，进而根据获取结果处理文件访问请求。获取元数据的过程中，S3FS服务判断内存中是否存在相关元数据。若内存中没有，则通过网络从S3云端请求元数据。
[0005]然而，文件存储系统的日常使用中，用户对文件的大量操作使得元数据的访问和更新十分频繁。由于部署了S3FS服务的设备的内存空间有限，导致S3FS服务从云端获取元数据，响应速度慢，且耗费大量资源。

技术实现思路

[0006]本申请提供一种文件访问请求的处理方法、电子设备及计算机程序产品，通过将元数据存储在本地持久化数据库中，减少S3FS服务和S3云端的交互，提高文件访问请求的处理速度的同时，降低资源消耗。
[0007]第一方面，本申请实施例提供一种文件访问请求的处理方法，应用于S3FS服务，所述方法包括：
[0008]接收文件访问请求，所述文件访问请求是所述S3FS服务根据用户对目标文件的操作生成的，所述目标文件存储在目标目录下；
[0009]当处理所述文件访问请求过程中需要获取所述目标文件的目标元数据时，确定所述S3FS服务本地设备的内存中是否存在所述目标元数据；
[0010]当所述内存中不存在所述目标元数据时，从持久化数据库中获取所述目标元数据，所述持久化数据库是创建在所述本地设备的本地磁盘上、且专为所述S3FS服务提供元数据存储服务的持久化数据库；
[0011]基于所述目标元数据的获取结果，确定所述文件访问请求的处理方式。
[0012]第二方面，本申请实施例提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时使得所述电子设备实现如上第一方面或第一方面各种可能的实现方式所述的方法。
[0013]第三方面，本申请实施例提供一种包含计算程序的计算机程序产品，所述计算机程序被处理器执行时实现如上第一方面或第一方面各种可能的实现方式所述的方法。
[0014]本申请实施例提供的文件访问请求的处理方法、电子设备及计算机程序产品，S3FS服务接收到文件访问请求后，处理文件访问请求的过程中需要获取目标文件的目标元数据时，先到内存中查找目标元数据。若内存中没有目标元数据，则在本地的持久化数据库中查找目标元数据。采用该种方案，S3FS服务基于本地持久化数据库存储的元数据对文件访问请求进行处理，并不需要从S3云端获取元数据，因此降低了S3FS服务和S3云端的交互次数，提高对文件访问请求的处理速度的同时，降低资源消耗，并提高网络可靠性。
附图说明
[0015]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本申请实施例提供的文件访问请求的处理方法的网络架构示意图；
[0017]图2是本申请实施例提供的文件访问请求的处理方法的流程图；
[0018]图3是本申请实施例提供的文件访问请求的处理方法另一个流程图；
[0019]图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0020]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0021]为了方便普通用户使用对象存储系统，运维人员利用S3FS等开源软件将对象存储转换为文件存储。这样一来，普通用户就可以像访问文件存储系统一样访问对象存储系统。文件存储系统含有大量的元数据(metadata)，元数据是用于描述数据的数据，主要是描述文件的属性，如文件的属主、权限、修改时间、创建时间等。
[0022]现有的S3FS等开源软件部署在网关上，网关将元数据临时保存在内存中。用户在终端设备操作文件时，终端设备基于用户的操作生成文件访问请求并发送给网关，该文件访问请求触发请求元数据。其中，操作文件包括如新增文件、修改文件、删除文件、查询文件等。网关接收到文件访问请求后，先查询内存中是否存在用户操作的文件对应的元数据。若内存中没有文件对应的元数据，则从S3云端获取元数据。
[0023]然而，对象存储转换为文件存储后，用户像访问文件存储系统一样访问对象存储系统的过程中，会产生大量的文件访问请求，使得元数据的访问和更新十分频繁。由于网关的内存空间有限，导致大量的文件访问请求所需的元数据都要从S3云端设备获取。S3云端和网关的交互频繁，响应速度慢，且耗费大量资源。而且，当网关与S3云端之间的网络异常
时，则无法获取到元数据，导致对象存储转换为文件存储的服务不可用，进而导致用户操作失败。
[0024]基于此，本申请实施例提供一种文件访问请求的处理方法、电子设备及计算机程序产品，通过将元数据存储在持久化数据库中，减少S3FS服务和S3云端的交互，提高文件访问请求的处理速度的同时，降低资源消耗，并提高网络可靠性。
[0025]本申请实施例相关名词解释如下：
[0026]存储桶(bucket)：用户用来管理存储对象的存储空间，类似于文件存储系统里面根目录或磁盘分区，对象存储系统通过存储桶来管理对象。
[0027]文件存储系统：也称之为文件系统，一种存储和组织计算机数据的方法，它使得对文件的存取和查找变得容易。文件存储系统使用文件和树形目录的抽象逻辑概念代替了硬盘和光盘等物理设备使用数据块的概念，用户使用文件存储系统来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件访问请求的处理方法，其特征在于，应用于S3FS服务，所述方法包括：接收文件访问请求，所述文件访问请求是所述S3FS服务根据用户对目标文件的操作生成的，所述目标文件存储在目标目录下；当处理所述文件访问请求过程中需要获取所述目标文件的目标元数据时，确定所述S3FS服务本地设备的内存中是否存在所述目标元数据；当所述内存中不存在所述目标元数据时，从持久化数据库中获取所述目标元数据，所述持久化数据库是创建在所述本地设备的本地磁盘上、且专为所述S3FS服务提供元数据存储服务的持久化数据库；基于所述目标元数据的获取结果，确定所述文件访问请求的处理方式。2.根据权利要求1所述的方法，其特征在于，所述当所述内存中不存在所述目标元数据时，从持久化数据库中获取所述目标元数据，包括：当所述内存中不存在所述目标元数据时，确定所述目标目录的唯一标识；根据所述唯一标识查询所述持久化数据库，以获取所述目标元数据，其中，所述持久化数据库中以键值对的形式存储元数据，所述键值对中的键包含元数据所属文件的所在目录对应的唯一标识。3.根据权利要求2所述的方法，其特征在于，所述根据所述唯一标识查询所述持久化数据库，以获取所述目标元数据，包括：当处理所述文件访问请求的过程中需要获取所述目标目录下的全部元数据时，从所述持久化数据库存储的多个键值对中确定出键中包含所述唯一标识的全部键值对，将所述全部键值对中的值确定为所述目标元数据。4.根据权利要求2所述的方法，其特征在于，所述根据所述唯一标识查询所述持久化数据库，以获取所述目标元数据，包括：当处理所述文件访问请求的过程中需要获取所述目标目录下的目标文件对应的元数据时，根据所述唯一标识和所述目标文件的文件名拼接出所述目标文件的元数据的目标键；从所述持久化数据库存储的多个键值对中确定出包含所述目标键的目标键值对，将所述目标键值对的值确定为所述目标元数据。5.根据权利要求2所述的方法，其特征在于，所述接收文件访问请求之前，还包括：为所述S3FS服务挂载的存储桶对应的每个目录生成唯一标识，以得到映射表，所述映射表用于记录目录与唯一标识的对应关系；为所述每个目录...

【专利技术属性】
技术研发人员：杜若峰，
申请(专利权)人：深圳爱捷云科技有限公司，
类型：发明
国别省市：