一种文件删除方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种文件删除方法，该方法在客户端接收到文件删除请求进行文件删除响应时无需等待元数据服务的删除成功的回复，直接给用户返回删除成功。然后元数据服务依据已经接收到的删除任务，按照配置参数进行删除操作。该方法通过文件异步删除在接收到删除任务后将目标文件加入待删除队列中，后续再逐一删除，避免了文件同步删除过程需要对各删除任务进行实时一一响应对于元数据服务带来的瞬时高压，实现了删除操作响应速度控制，保证了业务正常运行同时减轻了元数据服务的压力，保证了客户端用户业务的正常运行。本发明专利技术还提供了一种文件删除装置、设备及一种可读存储介质，具有上述有益效果。

A File Delete Method, Device, Equipment and Readable Storage Media

【技术实现步骤摘要】
一种文件删除方法、装置、设备及可读存储介质
本专利技术涉及数据处理
，特别涉及一种文件删除方法、装置、设备及一种可读存储介质。
技术介绍
在文件场景中出于内存优化等需要经常会存在删除操作。例如交警卡口的专拍图片一般保存3个月左右就会删除掉，深度学习的数据集所有模型训练完毕之后也会进行删除操作。文件删除过程中，文件的查找lookup、获取文件属性getattr、删除unlink、更新forget等操作均是需要同元数据服务通信，同时需要元数据服务向下层的数据服务下达删除文件元数据信息的命令，文件删除过程会对存储的元数据服务产生一定的压力。其中，小文件一般为KB级别，在大量小文件删除时，对数据服务压力较，但需要高并发元数据服务来完成删除操作，这种情况下会对存储的元数据服务产生非常大的压力从而导致存储的上层业务无法正常运行。因此，如何在实现文件删除的同时减小对元数据服务的瞬间压力，是本领域技术人员需要解决的技术问题。
技术实现思路
本专利技术的目的是提供一种文件删除方法，该方法可以保证删除业务正常执行的同时减轻元数据服务的压力；本专利技术的另一目的是提供一种文件删除装置、设备及一种可读存储介质，具有上述有益效果。为解决上述技术问题，本专利技术提供一种文件删除方法，包括：客户端接收到删除目标文件请求时，向元数据服务发送删除回馈指令；输出删除成功的删除结果提示信息；将所述目标文件加入待删除队列；根据预设删除机制控制元数据服务对所述待删除队列中文件执行删除操作；当接收到元数据服务对所述目标文件的删除成功回馈信息时，将所述待删除队列中所述目标文件的记录信息删除。可选地，所述根据预设删除机制控制元数据服务对所述待删除队列中文件进行删除操作，包括：判断当前元数据服务压力是否达到预设值；如果未达到，将所述待删除队列中文件按第一速度进行删除请求的响应；如果已达到，将所述待删除队列中文件按第二速度进行删除请求的响应；其中，所述第一速度不低于所述第二速度。可选地，所述判断当前元数据服务压力是否达到预设值，包括：判断所述待删除队列中待删除的文件数量是否达到第一阈值；如果是，判定当前元数据服务压力是否达到预设值；如果否，判定当前元数据服务压力未达到预设值。可选地，所述根据预设删除机制控制元数据服务对所述待删除队列中文件进行删除操作，包括：将所述待删除队列中文件按加入顺序依次删除。可选地，在将所述目标文件加入待删除队列之前，还包括：判断所述待删除队列的剩余容量是否小于第二阈值；如果是，保留文件删除请求，当所述待删除队列的剩余容量不小于第二阈值时根据待处理的文件删除请求将所述目标文件加入所述待删除队列。为实现上述目的，本申请还公开了一种文件删除装置，包括：指令发送单元，用于接收到删除目标文件请求时，向元数据服务发送删除回馈指令；提示输出单元，用于输出删除成功的删除结果提示信息；队列填充单元，用于将所述目标文件加入待删除队列；文件删除单元，用于根据预设删除机制控制元数据服务对所述待删除队列中文件执行删除操作；记录删除单元，用于当接收到元数据服务对所述目标文件的删除成功回馈信息时，将所述待删除队列中所述目标文件的记录信息删除。可选地，所述文件删除单元包括：压力判断子单元，用于判断当前元数据服务压力是否达到预设值；第一判定子单元，用于若当前元数据服务压力未达到预设值，将所述待删除队列中文件按第一速度进行删除请求的响应；第二判定子单元，用于若当前元数据服务压力达到预设值，将所述待删除队列中文件按第二速度进行删除请求的响应；其中，所述第一速度不低于所述第二速度。可选地，所述压力判断子单元包括：判断子单元，用于判断所述待删除队列中待删除的文件数量是否达到第一阈值；第三判定子单元，用于当所述待删除队列中待删除的文件数量达到第一阈值时，判定当前元数据服务压力是否达到预设值；第四判定子单元，用于当所述待删除队列中待删除的文件数量未达到第一阈值时，判定当前元数据服务压力未达到预设值。为实现上述目的，本申请还提供了一种文件删除设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现所述的文件删除方法的步骤。为实现上述目的，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现所述文件删除方法的步骤。本专利技术所提供的文件删除方法，当客户端接收到文件删除请求进行文件删除响应时无需等待元数据服务的删除成功的回复，直接给用户返回删除成功。然后元数据服务依据已经接收到的删除任务，按照配置参数进行删除操作。该方法通过文件异步删除在接收到删除任务后将目标文件加入待删除队列中，后续再逐一删除，避免了文件同步删除过程需要对各删除任务进行实时一一响应对于元数据服务带来的瞬时高压，实现了删除操作响应速度控制，保证了业务正常运行同时减轻了元数据服务的压力，保证了客户端用户业务的正常运行。本专利技术还提供了一种文件删除装置、设备及一种可读存储介质，具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种文件删除方法的流程图；图2为本专利技术实施例提供的一种文件删除装置的结构框图；图3为本专利技术实施例提供的一种文件删除设备结构示意图。具体实施方式本专利技术的核心是提供一种文件删除方法，该方法可以保证删除业务正常执行的同时减轻元数据服务的压力；本专利技术的另一核心是提供一种文件删除装置、设备及一种可读存储介质。为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。文件删除过程中，文件的查找lookup、获取文件属性getattr、删除unlink、更新forget等操作均是需要同元数据服务通信，同时需要元数据服务向下层的数据服务下达删除文件元数据信息的命令。以小文件大量删除过程为例，大量小文件删除时，元数据服务需要高并发来完成删除操作。在执行小文件删除的时候会对存储的元数据服务产生非常大的压力从而导致存储的上层业务无法正常运行。本申请提供的文件删除方法可以实现文件删除的同时减少对元数据服务的压力，可以保证用户业务的正常运行。实施例一：请参考图1，图1为本实施例提供的文件删除方法的流程图；该方法主要包括以下步骤：步骤s110：客户端接收到删除目标文件请求时，向元数据服务发送删除回馈指令。步骤s120：输出删除成功的删除结果提示信息。用户执行删除操作时，客户端(client)会启动对目标文件的删除(unlink)操作。Unlink操作中客户端(client)会给元数据服务发送unlink命令，向元数据服务发送删除回馈指令(make_request)，传统文件删除过程中该命令是同步的，当元数据服务接收到unlink的reque本文档来自技高网...

【技术保护点】
1.一种文件删除方法，其特征在于，包括：客户端接收到删除目标文件请求时，向元数据服务发送删除回馈指令；输出删除成功的删除结果提示信息；将所述目标文件加入待删除队列；根据预设删除机制控制元数据服务对所述待删除队列中文件执行删除操作；当接收到元数据服务对所述目标文件的删除成功回馈信息时，将所述待删除队列中所述目标文件的记录信息删除。

【技术特征摘要】
1.一种文件删除方法，其特征在于，包括：客户端接收到删除目标文件请求时，向元数据服务发送删除回馈指令；输出删除成功的删除结果提示信息；将所述目标文件加入待删除队列；根据预设删除机制控制元数据服务对所述待删除队列中文件执行删除操作；当接收到元数据服务对所述目标文件的删除成功回馈信息时，将所述待删除队列中所述目标文件的记录信息删除。2.如权利要求1所示的文件删除方法，其特征在于，所述根据预设删除机制控制元数据服务对所述待删除队列中文件进行删除操作，包括：判断当前元数据服务压力是否达到预设值；如果未达到，将所述待删除队列中文件按第一速度进行删除请求的响应；如果已达到，将所述待删除队列中文件按第二速度进行删除请求的响应；其中，所述第一速度不低于所述第二速度。3.如权利要求2所示的文件删除方法，其特征在于，所述判断当前元数据服务压力是否达到预设值，包括：判断所述待删除队列中待删除的文件数量是否达到第一阈值；如果是，判定当前元数据服务压力是否达到预设值；如果否，判定当前元数据服务压力未达到预设值。4.如权利要求1所示的文件删除方法，其特征在于，所述根据预设删除机制控制元数据服务对所述待删除队列中文件进行删除操作，包括：将所述待删除队列中文件按加入顺序依次删除。5.如权利要求1至4任一项所示的文件删除方法，其特征在于，在将所述目标文件加入待删除队列之前，还包括：判断所述待删除队列的剩余容量是否小于第二阈值；如果是，保留文件删除请求，当所述待删除队列的剩余容量不小于第二阈值时根据待处理的文件删除请求将所述目标文件加入所述待删除队列。6.一种文件删除装置，其特征在于，包括：指令发送单元，用于接收到删...

【专利技术属性】
技术研发人员：李晓伟，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏,32