一种存储使用量的统计方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种存储使用量的统计方法、装置、电子设备及存储介质，涉及计算机技术领域，尤其涉及分布式存储技术。具体实现方案为：客户端向存储集群中的各个存储节点发送存储使用量的查询命令；接收存储集群中的各个存储节点响应于查询命令所返回的各个文件系统在各个存储节点上的存储使用量；基于各个文件系统在各个存储节点上的存储使用量，统计各个文件系统的总存储使用量。本申请实施例可以在任意时间实时精确地查询每个文件系统的存储使用量，并且具有耗时少、数据精确无误差、不影响线上正常服务的优点。线上正常服务的优点。线上正常服务的优点。

【技术实现步骤摘要】
一种存储使用量的统计方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，进一步涉及分布式存储技术，尤其是一种存储使用量的统计方法、装置、电子设备及存储介质。

技术介绍

[0002]分布式文件存储系统可以包括：客户端(Client)、存储集群、元数据管理集群和NewSQL数据库；其中，Client编译进业务进程里，对业务提供文件系统的相关访问接口。存储集群由多个存储节点(storage node)组成，用来存储文件数据。元数据管理集群由多个无状态的master服务组成，每个master服务完全对等，可水平扩容。NewSQL数据库用于持久化存储分布式文件系统的所有元数据。
[0003]用户在使用分布式文件存储系统前，首先需要创建一个文件系统，然后再上传文件到该文件系统里。为了对用户使用的存储量进行计费，需要统计每个文件系统的存储量。关于统计每个文件系统的存储量，目前主要有如下两种方案：
[0004]1)收集日志进行统计：用户每次上传或者删除文件时，分布式文件存储系统打印一条计费日志，日志里包含该文件所属的文件系统名本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储使用量的统计方法，应用于客户端，所述方法包括：向存储集群中的各个存储节点发送存储使用量的查询命令；接收所述存储集群中的各个存储节点响应于所述查询命令所返回的各个文件系统在各个存储节点上的存储使用量；基于各个文件系统在各个存储节点上的存储使用量，统计各个文件系统的总存储使用量。2.根据权利要求1所述的方法，在向存储集群中的各个存储节点发送存储使用量的查询命令之前，所述方法还包括：将文件数据水平切割为多个文件块；其中，每个文件块由块ID唯一标识；将各个文件块所属的文件系统的ID编码进各个文件块的块ID中；将各个文件块以及各个文件块的块ID发送至所述存储集群，使得所述存储集群将各个文件块以及各个文件块的块ID存储至预定数量的存储节点中。3.根据权利要求1所述的方法，向存储集群中的各个存储节点发送存储使用量的查询命令，包括：在任意时间向存储集群中的各个存储节点发送存储使用量的查询命令；或者，按照预定周期向存储集群中的各个存储节点发送存储使用量的查询命令。4.一种存储使用量的统计方法，应用于存储节点，所述方法包括：接收客户端发送的存储使用量的查询命令；响应于所述查询命令获取各个文件系统在所述存储节点上的存储使用量；向所述客户端返回各个文件系统在所述存储节点上的存储使用量，使得所述客户端基于各个文件系统在各个存储节点上的存储使用量，统计各个文件系统的总存储使用量。5.根据权利要求4所述的方法，获取各个文件系统在所述存储节点上的存储使用量，包括：对所述存储节点中的各个文件块的块ID进行解码，得到各个文件块所属的文件系统；其中，所述块ID包括：文件系统的ID和全局唯一的随机串；根据各个文件块所属的文件系统，确定各个文件系统在所述存储节点上的存储使用量。6.根据权利要求5所述的方法，所述方法还包括：将各个文件块的信息保存在所述存储节点的内存中；其中，所述文件块的信息包括但不限于：文件块的块ID、文件块的大小、创建时间。7.一种存储使用量的统计装置，所述装置包括：第一发送模块、第一接收模块和统计模块；其中，所述第一发送模块，用于向存储集群中的各个存储节点发送存储使用量的查询命令；所述第一接收模块，用于接收所述存储集群中的各个存储节点响应于所述查询命令所返回的各个文件系统在各个存储节点上的存储使用量；所述统计模块，用于基于各个文件系统在各个存储节点上的存储使用量，统计各个文件系统的总存储使用量。8.根据权利要求7所述的装置，所述装置还包括：切割模块和编码...

【专利技术属性】
技术研发人员：黎海兵，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：