一种聚合小文件的操作请求的处理方法及装置制造方法及图纸

本申请公开了一种聚合小文件的操作请求的处理方法，在接收到针对聚合小文件的删除请求或修改请求之后，首先生成无效空间记录，然后利用元数据服务器完成元数据更新操作，在元数据服务器完成元数据更新操作后将无效空间记录加入目标队列，并在达到预设时间点时对目标队列中的无效空间记录进行批量落盘。可见，该方法能够避免每次执行删除请求或修改请求时都需要进行无效空间的落盘操作，提升了聚合小文件修改、删除性能，降低元数据服务器压力，且能够保证待落盘的无效空间的准确性。此外，本申请还提供了一种聚合小文件的操作请求的处理装置、分布式文件系统的终端设备和可读存储介质，其技术效果与上述方法的技术效果相对应。

【技术实现步骤摘要】
一种聚合小文件的操作请求的处理方法及装置
本申请涉及计算机
，特别涉及一种聚合小文件的操作请求的处理方法、装置、分布式文件系统的终端设备和可读存储介质。
技术介绍
在基于对象存储技术的分布式文件系统的小文件聚合场景中，若聚合小文件在聚合大文件中的映射位置发生改变，则会生成一个无效空间记录。为了保证后续能够清理垃圾对象，每次生成的无效空间记录都要进行落盘处理。因此，分布式文件系统每接收一个对聚合小文件的修改请求或删除请求时，元数据服务器不仅需要更新元数据，还需要执行一次无效空间的落盘操作，这严重影响聚合小文件的操作效率，降低分布式文件系统的性能。可见，如何避免每次接收到对聚合小文件的操作请求时，都需要执行一次无效空间的落盘操作，导致分布式文件系统性能受到影响，是亟待本领域技术人员解决的问题。
技术实现思路
本申请的目的是提供一种聚合小文件的操作请求的处理方法、装置、分布式文件系统的终端设备和可读存储介质，用以解决当前方案每次接收到对聚合小文件的操作请求时，都需要执行一次无效空间的落盘操作，导致分布式文件系统性能受到严重影响的问题。其具体方案如下：第一方面，本申请提供了一种聚合小文件的操作请求的处理方法，应用于客户端，包括：接收针对聚合小文件的操作请求，其中所述操作请求为删除请求或修改请求；将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录；执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求；在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列；在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作。优选的，所述将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录，包括：将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录，其中所述无效空间记录包括所述聚合小文件对应的聚合大文件的标识信息，还包括所述聚合小文件在聚合大文件中的偏移量和长度。优选的，所述执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求，包括：执行所述操作请求，对所述聚合小文件的元数据的编号进行更新，得到编号更新结果；向元数据服务器发送元数据更新请求，其中所述元数据更新请求包括所述编号更新结果；相应的，所述在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列，包括：在接收到所述元数据服务器反馈的元数据更新完成的消息后，若所述消息包括所述编号更新结果，则将与所述编号更新结果对应的无效空间记录添加至目标队列。优选的，在所述执行所述操作请求，对所述聚合小文件的元数据的编号进行更新，得到编号更新结果之后，还包括：在所述无效空间记录中添加所述编号更新结果。优选的，所述在接收到所述元数据服务器反馈的元数据更新完成的消息后，若所述消息包括所述编号更新结果，则将所述无效空间记录添加至目标队列，包括：在接收到所述元数据服务器反馈的元数据更新完成的消息后，确定所述消息所包括的目标编号更新结果，将编号更新结果小于等于所述目标编号更新结果的无效空间记录添加至目标队列。优选的，所述在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作，包括：周期性地对所述目标队列中的无效空间记录进行落盘操作。优选的，在所述在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作之前，还包括：根据所述目标队列中的无效空间记录，按照对象粒度对聚合大文件进行扫描，判断未记为无效空间的存储空间是否为无效空间；若是，则生成相应的无效空间记录，并添加至所述目标队列。第二方面，本申请提供了一种聚合小文件的操作请求的处理装置，包括：请求接收模块：用于接收针对聚合小文件的操作请求，其中所述操作请求为删除请求或修改请求；记录生成模块：用于将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录；请求更新模块：用于执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求；记录添加模块：用于在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列；记录落盘模块：用于在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作。第三方面，本申请提供了一种分布式文件系统的终端设备，包括：存储器：用于存储计算机程序；处理器：用于执行所述计算机程序，以实现如上所述的聚合小文件的操作请求的处理方法的步骤。第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的聚合小文件的操作请求的处理方法的步骤。本申请所提供的一种聚合小文件的操作请求的处理方法，包括：接收针对聚合小文件的操作请求，其中操作请求为删除请求或修改请求；将聚合小文件的存储空间记为无效空间，并生成无效空间记录；执行操作请求，根据操作请求的执行结果向元数据服务器发送元数据更新请求；在接收到元数据服务器反馈的元数据更新完成的消息后，将无效空间记录添加至目标队列；在达到预设时间点时，对目标队列中的无效空间记录进行落盘操作。可见，该方法在接收到针对聚合小文件的删除请求或修改请求之后，首先生成对应的无效空间记录，然后利用元数据服务器完成元数据更新操作，在元数据服务器完成元数据更新操作后将无效空间记录加入目标队列，并在达到预设时间点时对目标队列中的无效空间记录进行批量落盘。一方面，该方法避免每次执行删除请求或修改请求都需要进行无效空间的落盘操作，提升了聚合小文件修改性能删除性能，降低元数据服务器压力；另一方面，该方法只有在元数据服务器完成元数据更新操作之后才将无效空间记录加入目标队列，因此能够保证待落盘的无效空间的准确性。此外，本申请还提供了一种聚合小文件的操作请求的处理装置、分布式文件系统的终端设备和可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。附图说明为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请所提供的一种聚合小文件的操作请求的处理方法实施例一的实现流程图；图2为本申请所提供的一种聚合小文件的操作请求的处理方法实施例二的无效空间落盘过程的实现流程图；图3为本申请所提供的一种聚合小文件的操作请求的处理方法实施例二的扫描合并过程的实现流程图；图4为本申请所提供的一种聚合小文件的操作请求的处理装置实施例的功能框图。具体实施方式为了使本
的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然本文档来自技高网...

【技术保护点】
1.一种聚合小文件的操作请求的处理方法，其特征在于，应用于客户端，包括：/n接收针对聚合小文件的操作请求，其中所述操作请求为删除请求或修改请求；/n将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录；/n执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求；/n在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列；/n在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作。/n

【技术特征摘要】
1.一种聚合小文件的操作请求的处理方法，其特征在于，应用于客户端，包括：
接收针对聚合小文件的操作请求，其中所述操作请求为删除请求或修改请求；
将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录；
执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求；
在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列；
在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作。


2.如权利要求1所述的方法，其特征在于，所述将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录，包括：
将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录，其中所述无效空间记录包括所述聚合小文件对应的聚合大文件的标识信息，还包括所述聚合小文件在聚合大文件中的偏移量和长度。


3.如权利要求2所述的方法，其特征在于，所述执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求，包括：
执行所述操作请求，对所述聚合小文件的元数据的编号进行更新，得到编号更新结果；向元数据服务器发送元数据更新请求，其中所述元数据更新请求包括所述编号更新结果；
相应的，所述在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列，包括：
在接收到所述元数据服务器反馈的元数据更新完成的消息后，若所述消息包括所述编号更新结果，则将与所述编号更新结果对应的无效空间记录添加至目标队列。


4.如权利要求3所述的方法，其特征在于，在所述执行所述操作请求，对所述聚合小文件的元数据的编号进行更新，得到编号更新结果之后，还包括：
在所述无效空间记录中添加所述编号更新结果。


5.如权利要求4所述的方法，其特征在于，所述在接收到所述元数据服务器反馈的元数据更新完成的消息后，若所述消息包括所述编号更新结果，则将所述无...

【专利技术属性】
技术研发人员：王帅阳，李文鹏，张端，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32