一种文件存储方法、装置及设备制造方法及图纸

本申请提供一种文件存储方法、装置及设备，该方法包括：接收MDS发送的针对目标对象的配额申请请求，所述配额申请请求包括待写入的目标文件对应的申请配额数量；基于从配额设备存储的目标对象的配额分数量和目标对象的已用配额数量，确定目标对象的剩余配额数量；其中，所述已用配额数量表示所述从配额设备为所述目标对象分配的配额数量；若所述申请配额数量小于或等于所述剩余配额数量，则向所述MDS发送配额同意响应，以使所述MDS写入所述目标文件；基于所述申请配额数量更新所述目标对象的已用配额数量。通过本申请的技术方案，可以有效的提升文件存储系统的存储性能。有效的提升文件存储系统的存储性能。有效的提升文件存储系统的存储性能。

【技术实现步骤摘要】
一种文件存储方法、装置及设备


[0001]本申请涉及通信
，尤其是涉及一种文件存储方法、装置及设备。

技术介绍

[0002]文件存储系统可以通过网络文件系统提供存储服务，文件存储系统可以包括MDS（Meta Data Server，元数据服务器）和OSD（Object
‑
based Storage Device，对象存储设备），MDS用于管理文件存储系统中的元数据，用户对元数据的操作均需要经过MDS，OSD是实际存储文件的组件，由硬盘和对应的守护进程组成，用户对文件存储系统的请求最终均会由OSD进行操作和固化。
[0003]在文件存储系统的使用过程中，可能出现个别用户过度甚至恶意占用存储资源情况，影响其它用户的正常使用。为了解决这一问题，需要提前按需为目标对象配置配额数量，即目标对象占用的配额不能超出配额数量，一旦超出配额数量，则不再存储这个目标对象的文件，从而保证存储资源的合理利用。
[0004]MDS在接收到客户端发送的针对目标对象的文件写入请求后，从OSD查询是否允许针对目标对象的文件写入。比如说，若目标对象的已用配额与当前申请配额之和大于目标对象的配额数量，则禁止针对目标对象的文件写入。若目标对象的已用配额与当前申请配额之和不大于目标对象的配额数量，则允许针对目标对象的文件写入。显然，在允许针对目标对象的文件写入时，MDS基于文件写入请求完成文件写入过程，反之，MDS禁止文件写入过程。
[0005]其中，OSD用于存储每个目标对象对应的配额数量和已用配额，因此，MDS每次接收到文件写入请求后，均需要从OSD查询是否允许针对目标对象的文件写入，这样，在高并发场景下，OSD可能会成为访问性能瓶颈，无法反馈目标对象的配额信息，导致MDS无法获知是否允许针对目标对象的文件写入。

技术实现思路

[0006]本申请提供一种文件存储方法，文件存储系统包括主配额设备和多个从配额设备，所述主配额设备用于存储目标对象的配额总数量，各从配额设备用于存储所述目标对象的配额分数量，且所有从配额设备存储的配额分数量之和为所述配额总数量，所述方法应用于任一从配额设备，所述方法包括：接收元数据服务器MDS发送的针对所述目标对象的配额申请请求，所述配额申请请求包括待写入的目标文件对应的申请配额数量；基于所述从配额设备存储的所述目标对象的配额分数量和所述目标对象的已用配额数量，确定所述目标对象的剩余配额数量；其中，所述已用配额数量表示所述从配额设备为所述目标对象分配的配额数量；若所述申请配额数量小于或等于所述剩余配额数量，则向所述MDS发送配额同意响应，以使所述MDS写入所述目标文件；
基于所述申请配额数量更新所述目标对象的已用配额数量。
[0007]本申请提供一种文件存储装置，文件存储系统包括主配额设备和多个从配额设备，所述主配额设备用于存储目标对象的配额总数量，各从配额设备用于存储所述目标对象的配额分数量，且所有从配额设备存储的配额分数量之和为所述配额总数量，所述装置应用于任一从配额设备，所述装置包括：接收模块，用于接收元数据服务器MDS发送的针对所述目标对象的配额申请请求，所述配额申请请求包括待写入的目标文件对应的申请配额数量；确定模块，用于基于所述从配额设备存储的所述目标对象的配额分数量和所述目标对象的已用配额数量，确定所述目标对象的剩余配额数量；其中，所述已用配额数量表示所述从配额设备为所述目标对象分配的配额数量；发送模块，用于若所述申请配额数量小于或等于所述剩余配额数量，则向所述MDS发送配额同意响应，以使所述MDS写入所述目标文件；处理模块，用于基于所述申请配额数量更新所述目标对象的已用配额数量。
[0008]本申请提供一种电子设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例的文件存储方法。
[0009]由以上技术方案可见，本申请实施例中，文件存储系统可以包括主配额设备和多个从配额设备，由多个从配额设备共同存储目标对象的配额分数量，且所有从配额设备存储的配额分数量之和为目标对象的配额总数量，从而由多个从配额设备共同实现配额查询功能，而不是由一个主配额设备单独实现配额查询功能，这样，MDS每次接收到文件写入请求后，可以从任意一个从配额设备查询是否允许针对目标对象的文件写入，在高并发场景下，多个从配额设备共同实现配额查询功能时，不会出现访问性能瓶颈，能够及时反馈目标对象的配额信息，使得MDS能够及时获知是否允许针对目标对象的文件写入，通过分布式配额管理解决配额性能瓶颈，可以有效的提升文件存储系统的存储性能。
附图说明
[0010]为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
[0011]图1是本申请一种实施方式中的文件存储方法的流程示意图；图2是本申请一种实施方式中的文件存储装置的结构示意图；图3是本申请一种实施方式中的电子设备的硬件结构图。
具体实施方式
[0012]在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
[0013]应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0014]本申请实施例中提出一种文件存储方法，文件存储系统可以包括主配额设备和多个从配额设备。其中，主配额设备用于存储目标对象的配额总数量，各从配额设备用于存储该目标对象的配额分数量，且所有从配额设备存储的配额分数量之和可以为配额总数量。参见图1所示，为该文件存储方法的流程示意图，该方法可以应用于任一从配额设备，该方法可以包括：步骤101、接收MDS发送的针对目标对象的配额申请请求，该配额申请请求可以包括待写入的目标文件对应的申请配额数量。
[0015]步骤102、基于本从配额设备存储的该目标对象的配额分数量和该目标对象的已用配额数量，确定该目标对象的剩余配额数量；其中，已用配额数量可以表示本从配额设备为该目标对象分配的配额数量。
[0016]步骤103、若该申请配额数量小于或等于该剩余配额数量，则向MDS发送配额同意响应，以使MDS基于该配额同意响应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件存储方法，其特征在于，文件存储系统包括主配额设备和多个从配额设备，所述主配额设备用于存储目标对象的配额总数量，各从配额设备用于存储所述目标对象的配额分数量，且所有从配额设备存储的配额分数量之和为所述配额总数量，所述方法应用于任一从配额设备，所述方法包括：接收元数据服务器MDS发送的针对所述目标对象的配额申请请求，所述配额申请请求包括待写入的目标文件对应的申请配额数量；基于所述从配额设备存储的所述目标对象的配额分数量和所述目标对象的已用配额数量，确定所述目标对象的剩余配额数量；其中，所述已用配额数量表示所述从配额设备为所述目标对象分配的配额数量；若所述申请配额数量小于或等于所述剩余配额数量，则向所述MDS发送配额同意响应，以使所述MDS写入所述目标文件；基于所述申请配额数量更新所述目标对象的已用配额数量。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述申请配额数量大于所述剩余配额数量，则向多个其它从配额设备发送针对所述目标对象的借用请求消息，所述借用请求消息包括借用配额数量，所述借用配额数量基于所述申请配额数量和所述剩余配额数量确定；若接收到至少一个候选从配额设备返回的借用响应消息，则选择一个候选从配额设备作为目标从配额设备；其中，各候选从配额设备是所述多个其它从配额设备中的剩余配额数量大于或等于所述借用配额数量的其它从配额设备；向所述目标从配额设备发送借用确认消息，以使所述目标从配额设备基于所述借用配额数量更新所述目标对象的已用配额数量；向所述MDS发送配额同意响应，以使所述MDS写入所述目标文件；基于所述借用配额数量更新所述目标对象的已用配额数量。3.根据权利要求2所述的方法，其特征在于，所述向其它从配额设备发送针对所述目标对象的借用请求消息后，所述方法还包括：若未接收到候选从配额设备返回的借用响应消息，则向所述MDS发送配额拒绝响应，以使所述MDS禁止写入所述目标文件。4.根据权利要求2所述的方法，其特征在于，所述选择一个候选从配额设备作为目标从配额设备，包括：若所述借用响应消息包括候选从配额设备存储的所述目标对象的配额分数量，基于各候选从配额设备对应的配额分数量，选择配额分数量与所述申请配额数量最接近的候选从配额设备作为所述目标从配额设备；或者，选择配额分数量最大的候选从配额设备作为所述目标从配额设备；或，若所述借用响应消息包括候选从配额设备针对所述目标对象的剩余配额数量，基于各候选从配额设备对应的剩余配额数量，选择剩余配额数量与所述借用配额数量最接近的候选从配额设备作为所述目标从配额设备；或者，选择剩余配额数量最大的候选从配额设备作为所述目标从配额设备。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，若所述配额总数量为文件数配额总数量M，从配额设备的数量为N，则前N
‑
1个从配额设
备存储的配额分数量均为M/N的向下取整值，第N个从配额设备存储的配额分数量为M减前N
‑
1个从配额设备的配额分数量之和；其中，所述MDS采用轮询策略从所有从配额设备中选择一个从配额设备，并将针对所述目标对象的配额申请请求发送给该从配额设备；若所述配额总数量为文件容量配额总数量M，则前N
‑
1个从配额设备存储的配额分数量为M*1/2 k
，k表示前N
‑
1个从配额设备中第k个从配额设备，第N个从配额设备存储的配额分数量为M减前N
‑
1个从配额设备的配额分数量之和；其中，所述MDS采用目标策略从所有从配额设备中选择一个从配额设备，并将针对所述目标对象的配额申请请求发送给该从配额设备；其中，所述目标策略为：选择配额分数量与申请配额数...

【专利技术属性】
技术研发人员：杨潇，金朴堃，
申请(专利权)人：新华三信息技术有限公司，
类型：发明
国别省市：