一种基于HDFS批量删除文件加速方法技术

本发明专利技术公开了一种基于HDFS批量删除文件加速方法，涉及大数据存储技术领域，通过为Client提供批量删除文件的方法，极大地减少Client与NameNode的交互次数，从而减少多次发起的网络延时开销。同时也会降低NameNode的CPU开销，以及减少writeLock的次数。Client通过JavaAPI调用FileSystem类批量删除方法，传入待删除的源文件列表，向NameNode发起RPC请求，申请batchDelete文件或目录；Client能够批量访问NameNode元数据方法，Client对大量文件进行删除时，通过batchDelete方法批量访问NameNode元数据，极大地提升删除文件的性能，通过以上步骤，能够解决在高并发场景下，有效缓解NameNode RPC压力、降低writeLock锁竞争以及提升Client删除文件的效率。

【技术实现步骤摘要】

本专利技术属于大数据存储，尤其涉及一种基于hdfs批量删除文件加速方法。

技术介绍

1、hdfs即hadoop分布式文件系统(hadoopdistributedfilesystem)，以面向数据追加和读取优化的开源分布式文件系统，具备可移植、高容错性和大规模水平扩展的特性。一个hadoop集群由两个namenode(名字节点)和若干个datanode(数据节点)组成，其中namenode为管理角色。client(客户端)与namenode之间的交互主要通过rpc(远程过程调用)协议实现，client向namenode发送rpc请求，请求执行如打开(open)、关闭(close)、删除(delete)文件或目录等操作；namenode处理client的请求，并将操作结果返回给client。

2、hdfs支持删除文件或目录的操作，其提供shell命令行的方式对文件或目录进行删除，也可以通过client直接调用hdfs的delete接口的方式删除文件或目录。

3、client调用javaapi访问集群进行delete操作流程如下：

本文档来自技高网...

【技术保护点】

1.一种基于HDFS批量删除文件加速方法，其特征在于：包含客户端Client和名字节点NameNode两部分；

2.根据权利要求1所述的一种基于HDFS批量删除文件加速方法，其特征在于：在步骤2中，向NameNode发起删除文件的RPC请求，支持传入源文件目录列表形式，具体包含如下步骤：

3.根据权利要求1所述的一种基于HDFS批量删除文件加速方法，其特征在于：在步骤3中，NameNode在接收到Client批量删除的操作请求后，拿到writeLock对文件进行删除操作，其具体步骤包括：

【技术特征摘要】

1.一种基于hdfs批量删除文件加速方法，其特征在于：包含客户端client和名字节点namenode两部分；

2.根据权利要求1所述的一种基于hdfs批量删除文件加速方法，其特征在于：在步骤2中，向namenode发起删除文件的rpc请求，支持...

【专利技术属性】
技术研发人员：臧高峰，曹俊亮，赵智峰，王刚，高超，陈超群，刘奕洋，
申请(专利权)人：西安烽火软件科技有限公司，
类型：发明
国别省市：