一种HDFS服务容量配额实现的方法、系统、设备及可读介质技术方案

本发明专利技术提供了一种分布式文件系统HDFS服务容量配额实现的方法、系统、设备及可读介质，该方法包括：响应于HDFS服务接收到addblock请求，申请block大小的配额并构建hdfsquota缓存结构和缓存记录；响应于HDFS服务接收到文件的写请求，基于文件的属性更新缓存记录；响应于文件写完成，判断缓存记录中预设属性大小是否大于文件大小；响应于缓存记录中预设属性大小大于文件大小，将申请配额中未使用的容量归还服务器。通过使用本发明专利技术的方案，能够实现HDFS协议过程的容量配额功能，能够及时归还未使用的配额，避免容量浪费，能够通过定时自检归还配额，增加功能可用性。增加功能可用性。增加功能可用性。

【技术实现步骤摘要】
一种HDFS服务容量配额实现的方法、系统、设备及可读介质


[0001]本专利技术涉及计算机领域，并且更具体地涉及一种分布式文件系统HDFS服务容量配额实现的方法、系统、设备及可读介质。

技术介绍

[0002]对于分布式文件系统(对象存储)在使用HDFS协议容量配额写入数据时，分布式文件常用配额是在实际写入时进行配额判断，无法很好支持HDFS协议过程中的容量配额接口的对接，HDFS协议配额以block(128M)为大小进行配额检查判断，但只有在block写入完成时才能感知block真实写入大小。

技术实现思路

[0003]有鉴于此，本专利技术实施例的目的在于提出一种分布式文件系统HDFS服务容量配额实现的方法、系统、设备及可读介质，通过使用本专利技术的技术方案，能够实现HDFS协议过程的容量配额功能，能够及时归还未使用的配额，避免容量浪费，能够通过定时自检归还配额，增加功能可用性。
[0004]基于上述目的，本专利技术的实施例的一个方面提供了一种分布式文件系统HDFS服务容量配额实现的方法，包括以下步骤：
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式文件系统HDFS服务容量配额实现的方法，其特征在于，包括以下步骤：响应于HDFS服务接收到addblock请求，申请block大小的配额并构建hdfsquota缓存结构和缓存记录；响应于HDFS服务接收到文件的写请求，基于文件的属性更新缓存记录；响应于文件写完成，判断缓存记录中预设属性大小是否大于文件大小；响应于缓存记录中预设属性大小大于文件大小，将申请配额中未使用的容量归还服务器。2.根据权利要求1所述的方法，其特征在于，响应于HDFS服务接收到addblock请求，申请block大小的配额并构建hdfsquota缓存结构和缓存记录包括：响应于HDFS服务接收到addblock请求，判断HDFS服务是否开启容量配额；响应于开启容量配额，向元数据服务器发送配额申请请求以申请block大小的配额；响应于配额申请成功构建hdfsquota缓存结构，并设置缓存记录；以待写文件的ino号为key将hdfsquota缓存结构插入到HDFS_quota_map全局记录中，将hdfsquota缓存结构插入到quota_hit_list链表的尾部。3.根据权利要求2所述的方法，其特征在于，响应于配额申请成功构建hdfsquota缓存结构，并设置缓存记录包括：在缓存记录中记录本次申请容量为alloc_size；文件将要写到的大小to_size＝文件当前大小+alloc_size，已写容量write_size＝0。4.根据权利要求3所述的方法，其特征在于，响应于HDFS服务接收到文件的写请求，基于文件的属性更新缓存记录包括：响应于HDFS服务接收到文件的写请求，判断文件是否存在hdfsquota缓存结构；响应于文件存在hdfsquota缓存结构，更新缓存记录的wite_size记录，其中，write_size增量为本地写入的数据量；更新hdfsquota缓存结构的访问时间，将hdfsquota缓存结构从quota_hit_list链表中的...

【专利技术属性】
技术研发人员：王帅阳，李文鹏，李旭东，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：