分布式集群系统大文件删除方法、装置、设备及存储介质制造方法及图纸

技术编号:20272300 阅读:26 留言:0更新日期:2019-02-02 03:35
本发明专利技术实施例公开了一种分布式集群系统大文件删除方法、装置、设备及计算机可读存储介质。其中,方法包括客户端在接收到大文件删除请求后,按照预设文件拆分策略将大文件拆分为多个删除单元,并将各删除单元放入待处理请求队列中;每次从待处理请求队列中选取预设个数的删除单元构建删除请求发送至后端进行删除处理,直至待处理请求队列为空。本申请采用异步发送删除请求,由客户端控制删除请求下发频率来间接调节删除速率,删除操作不会影响系统读写业务的正常运行,将同步等待删除完成而引发的高时延降到最低,解决了相关技术中大文件删除过程中占用大量内存存在的弊端,提高了分布式文件系统整体的删除性能,有利于提升前端响应速度。

【技术实现步骤摘要】
分布式集群系统大文件删除方法、装置、设备及存储介质
本专利技术实施例涉及分布式集群系统
,特别是涉及一种分布式集群系统大文件删除方法、装置、设备及计算机可读存储介质。
技术介绍
随着云计算、大数据的快速发展,数据呈现爆炸式增长,单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式,已经无法满足信息爆炸时代指数倍增长的数据的存储需求,分布式集群系统应用而生。分布式集群系统(DistributedFileSystem)为基于客户端/服务器模式的文件系统管理的物理存储资源,通过计算机网络与节点相连,可以有效解决数据的存储和管理难题。将固定于某个地点的某个文件系统,扩展到任意多个地点/多个文件系统,众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点,通过网络进行节点间的通信和数据传输。用户在使用分布式集群系统时,无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的,只需要像使用本地文件系统一样管理和存储文件系统中的数据。目前分布式文件系统在删除大文件(例如2TB的文件)时,为了确保文件被删除且释放空间,通常是选择同步等待删除,不仅时延较高,而且大文件占用大量内存,当删除的文件较多时,极易影响正常业务的运行,严重时甚至会导致系统崩溃。
技术实现思路
本公开实施例提供了一种分布式集群系统大文件删除方法、装置、设备及计算机可读存储介质,解决分布式文件系统大文件删除过程中内存占用的问题。为解决上述技术问题,本专利技术实施例提供以下技术方案:本专利技术实施例一方面提供了一种分布式集群系统大文件删除方法,基于客户端,包括:当接收到大文件删除请求,按照预设文件拆分策略将所述大文件拆分为多个删除单元,并将各删除单元放入待处理请求队列中;每次从所述待处理请求队列中选取预设个数的删除单元构建删除请求发送至后端进行删除处理,直至所述待处理请求队列为空。可选的,所述按照预设文件拆分策略将所述大文件拆分为多个删除单元包括:以预设第一容量值为单位将所述大文件拆分为多个子文件;将每个子文件拆分为多个容量值为第二容量值的删除单元。可选的,所述第二容量值为所述后端的存储单元容量值。可选的,所述接收到大文件删除请求之后,还包括:在同步落盘的日志中记录所述大文件删除请求的删除操作信息;其中,所述删除操作信息在接收到所述后端反馈的所有删除请求均完成后被删除。可选的,所述接收到大文件删除请求之后,还包括:向前端返回删除成功的信息。本专利技术实施例另一方面提供了一种分布式集群系统大文件删除装置,基于客户端,包括:文件拆分模块,用于当接收到大文件删除请求,按照预设文件拆分策略将所述大文件拆分为多个删除单元,并将各删除单元放入待处理请求队列中;文件分批删除模块,用于每次从所述待处理请求队列中选取预设个数的删除单元构建删除请求发送至后端进行删除处理,直至所述待处理请求队列为空。可选的,所述文件拆分模块为以预设第一容量值为单位将所述大文件拆分为多个子文件;将每个子文件拆分为多个容量值为第二容量值的删除单元的模块。可选的,还包括日志记录删除操作模块,用于在同步落盘的日志中记录所述大文件删除请求的删除操作信息。本专利技术实施例还提供了一种分布式集群系统大文件删除设备,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述分布式集群系统大文件删除方法的步骤。本专利技术实施例最后还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有分布式集群系统大文件删除程序,所述分布式集群系统大文件删除程序被处理器执行时实现如前任一项所述分布式集群系统大文件删除方法的步骤。本申请提供的技术方案的优点在于,客户端在接收到大文件删除请求后,将大文件首先进行拆分为多个小文件,降低了对大块内存的依赖性,然后对小文件进行多批次删除,采用异步发送删除请求,由客户端控制删除请求下发频率来间接调节删除速率,删除操作不会影响系统读写业务的正常运行,将同步等待删除完成而引发的高时延降到最低,解决了相关技术中大文件删除过程中占用大量内存存在的一些弊端,限制内存占用的同时,增加删除请求的并发率,提高了文件删除处理效率,提高了分布式文件系统整体的删除性能,还有利于提升前端的响应速度。此外,本专利技术实施例还针对分布式集群系统大文件删除方法提供了相应的实现装置、设备及计算机可读存储介质,进一步使得所述方法更具有实用性,所述装置、设备及计算机可读存储介质具有相应的优点。应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。附图说明为了更清楚的说明本专利技术实施例或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种分布式集群系统大文件删除方法的流程示意图;图2为本专利技术实施例提供的另一种分布式集群系统大文件删除方法的流程示意图;图3为本专利技术实施例提供的分布式集群系统大文件删除装置的一种具体实施方式结构图;图4为本专利技术实施例提供的分布式集群系统大文件删除装置的另一种具体实施方式结构图。具体实施方式为了使本
的人员更好地理解本专利技术方案,下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。在介绍了本专利技术实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。首先参见图1,图1为本专利技术实施例提供的一种分布式集群系统大文件删除方法的流程示意图,本专利技术实施例可包括以下内容:S101:当接收到大文件删除请求,按照预设文件拆分策略将大文件拆分为多个删除单元,并将各删除单元放入待处理请求队列中。S102:每次从待处理请求队列中选取预设个数的删除单元构建删除请求发送至后端进行删除处理,直至待处理请求队列为空。本专利技术实施例的执行主语可为客户端处理器。大文件为本领域技术人员约定俗成、大小超过一定容量值(例如2T)的文件均称为大文件,可根据判断文件的大小来确定当前删除文件是否为大文件。前端需要删除大文件时,将删除大文件的请求发送至客户端,客户端在收到大文件的删除请求后,可在同步落盘的日志中保存一条记录,该条记录记录当前大文件删除请求操作信息。为了避免阻塞前端后续请求,提升前端响应速度,客户端可向前端返回删除成功的信息,可以预设删除成功的状态值(例如1)和删除不成功的状态值(例如0),前端接收到客户端反馈的状态值,便可得知文件删除结果。文件拆分策略为预先设置的将大文件拆分为多个子文件的方法,该策略中可包含拆分后每个子文件的容量值。大文件按照一定的粒度加以拆分,从而降低了对大块内存的依赖性。本文档来自技高网
...

【技术保护点】
1.一种分布式集群系统大文件删除方法,其特征在于,基于客户端,包括:当接收到大文件删除请求,按照预设文件拆分策略将所述大文件拆分为多个删除单元,并将各删除单元放入待处理请求队列中;每次从所述待处理请求队列中选取预设个数的删除单元构建删除请求,并发送至后端进行删除处理,直至所述待处理请求队列为空。

【技术特征摘要】
1.一种分布式集群系统大文件删除方法,其特征在于,基于客户端,包括:当接收到大文件删除请求,按照预设文件拆分策略将所述大文件拆分为多个删除单元,并将各删除单元放入待处理请求队列中;每次从所述待处理请求队列中选取预设个数的删除单元构建删除请求,并发送至后端进行删除处理,直至所述待处理请求队列为空。2.根据权利要求1所述的分布式集群系统大文件删除方法,其特征在于,所述按照预设文件拆分策略将所述大文件拆分为多个删除单元包括:以预设第一容量值为单位将所述大文件拆分为多个子文件;将每个子文件拆分为多个容量值为第二容量值的删除单元。3.根据权利要求2所述的分布式集群系统大文件删除方法,其特征在于,所述第二容量值为所述后端的存储单元容量值。4.根据权利要求1至3任意一项所述的分布式集群系统大文件删除方法,其特征在于,所述接收到大文件删除请求之后,还包括:在同步落盘的日志中记录所述大文件删除请求的删除操作信息;其中,所述删除操作信息在接收到所述后端反馈的所有删除请求均完成后被删除。5.根据权利要求4所述的分布式集群系统大文件删除方法,其特征在于,所述接收到大文件删除请求之后,还包括:向前端返回删除成功的信息。6.一种分布式集群系统大文件...

【专利技术属性】
技术研发人员:魏盟
申请(专利权)人:浪潮电子信息产业股份有限公司
类型:发明
国别省市:山东,37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1