存储量计量方法、装置及系统制造方法及图纸

本发明专利技术提供了一种存储量计量方法、装置及系统，涉及存储技术领域，对象存储服务中的API服务器当执行完来自客户端的文件操作请求对应的业务操作时，获取与文件操作请求对应的计量数据，并将计量数据写入预设的日志文件中，由对象存储服务中的数据服务器将日志文件中的计量数据发送至客户端。这样采用API服务器写本地日志方式进行对象存储服务的存储量计量，减小了客户端异常、服务端异常或客户端与服务端之间的网络异常对计量数据的影响，减少了计量数据丢失，并且可以实现实时存储量计量。量。量。

【技术实现步骤摘要】
存储量计量方法、装置及系统


[0001]本专利技术涉及存储
，尤其是涉及一种存储量计量方法、装置及系统。

技术介绍

[0002]对象存储服务(Object Storage Service，简称OSS)是一种海量、安全、低成本、高可靠的云存储服务。目前对象存储服务的存储量计量方式主要包括Nginx服务器写日志方式和API服务器计量数据写数据库方式。
[0003]Nginx服务器写日志方式的缺陷是：客户端异常、服务端异常或客户端与服务端之间的网络异常均导致计量数据丢失。API服务器计量数据写数据库方式的缺陷是：数据库的读写压力大，无法实现实时存储量计量。

技术实现思路

[0004]本专利技术的目的在于提供一种存储量计量方法、装置及系统，以减少计量数据丢失，实现实时存储量计量。
[0005]第一方面，本专利技术实施例提供了一种存储量计量方法，应用于对象存储服务中的API服务器，所述存储量计量方法包括：
[0006]当执行完来自客户端的文件操作请求对应的业务操作时，获取与所述文件操作请求对应的计量数据；
[0007]将所述计量数据写入预设的日志文件中，以使所述对象存储服务中的数据服务器将所述日志文件中的计量数据发送至所述客户端。
[0008]进一步地，所述日志文件中的日志字段包括用户标识字段、计量类型字段、文件大小字段、存储类型字段；所述获取与所述文件操作请求对应的计量数据，包括：
[0009]从所述文件操作请求中解析得到用户标识、操作类型、对象文件、存储类型和时间戳，其中，所述操作类型包括上传操作、删除操作或存储类型转换操作，所述存储类型包括标准存储、低频存储或归档存储；
[0010]根据所述操作类型确定计量类型，并计算得到所述对象文件的文件大小；
[0011]将所述用户标识、所述计量类型、所述文件大小、所述存储类型和所述时间戳确定为与所述文件操作请求对应的计量数据。
[0012]第二方面，本专利技术实施例还提供了一种存储量计量方法，应用于对象存储服务中的数据服务器，所述存储量计量方法包括：
[0013]实时获取预设的日志文件中的计量数据，所述计量数据为所述对象存储服务中的API服务器基于来自客户端的文件操作请求写入的；
[0014]将所述计量数据发送至相应的客户端。
[0015]进一步地，所述存储量计量方法还包括：
[0016]按照设定的时间粒度对获取的计量数据进行存储量统计，并将统计结果发送至相应的客户端。
[0017]第三方面，本专利技术实施例还提供了一种存储量计量装置，应用于对象存储服务中的API服务器，所述存储量计量装置包括：
[0018]第一获取模块，用于当执行完来自客户端的文件操作请求对应的业务操作时，获取与所述文件操作请求对应的计量数据；
[0019]日志写入模块，用于将所述计量数据写入预设的日志文件中，以使所述对象存储服务中的数据服务器将所述计量数据发送至所述客户端。
[0020]第四方面，本专利技术实施例还提供了一种存储量计量装置，应用于对象存储服务中的数据服务器，所述存储量计量装置包括：
[0021]第二获取模块，用于实时获取预设的日志文件中的计量数据，所述计量数据为所述对象存储服务中的API服务器基于来自客户端的文件操作请求写入的；
[0022]数据发送模块，用于将所述计量数据发送至相应的客户端。
[0023]第五方面，本专利技术实施例还提供了一种API服务器，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的存储量计量方法。
[0024]第六方面，本专利技术实施例还提供了一种数据服务器，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第二方面所述的存储量计量方法。
[0025]第七方面，本专利技术实施例还提供了一种存储量计量系统，包括至少一个第五方面所述的API服务器，还包括第六方面所述的数据服务器，所述数据服务器用于获取至少一个所述API服务器写入预设的日志文件中的计量数据。
[0026]第八方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面或第二方面所述的存储量计量方法。
[0027]本专利技术实施例提供的存储量计量方法、装置及系统中，对象存储服务中的API服务器当执行完来自客户端的文件操作请求对应的业务操作时，获取与文件操作请求对应的计量数据，并将计量数据写入预设的日志文件中，由对象存储服务中的数据服务器将日志文件中的计量数据发送至客户端。这样采用API服务器写本地日志方式进行对象存储服务的存储量计量，减小了客户端异常、服务端异常或客户端与服务端之间的网络异常对计量数据的影响，并且可以实现实时存储量计量。因此，本专利技术实施例提供的存储量计量方法、装置及系统，与Nginx服务器写日志方式相比，减少了计量数据丢失，与API服务器计量数据写数据库方式相比，提升了存储量计量的实时性。
附图说明
[0028]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]图1a为对象存储服务采用Nginx服务器写日志方式的通信示意图；
[0030]图1b为对象存储服务采用API服务器计量数据写数据库方式的通信示意图；
[0031]图2为本专利技术实施例提供的一种存储量计量系统的系统架构示意图；
[0032]图3为本专利技术实施例提供的一种存储量计量方法的流程示意图；
[0033]图4为本专利技术实施例提供的另一种存储量计量方法的流程示意图；
[0034]图5为本专利技术实施例提供的一种存储量计量装置的结构示意图；
[0035]图6为本专利技术实施例提供的另一种存储量计量装置的结构示意图；
[0036]图7为本专利技术实施例提供的一种服务端设备的结构示意图。
具体实施方式
[0037]下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]如图1a所示，Nginx服务器写日志方式涉及客户端101、Nginx服务器102和API服务器103，以用户上传文件为例，Nginx服务器写日志方式的通信过程如下：客户端101发送文件上传请求给Nginx服务器102；Nginx服务器102将文件上传请求转发给对象存储服务后端的API服务器103；API服务器103执行与文件上传请求对应的文件上传操本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储量计量方法，其特征在于，应用于对象存储服务中的API服务器，所述存储量计量方法包括：当执行完来自客户端的文件操作请求对应的业务操作时，获取与所述文件操作请求对应的计量数据；将所述计量数据写入预设的日志文件中，以使所述对象存储服务中的数据服务器将所述日志文件中的计量数据发送至所述客户端。2.根据权利要求1所述的存储量计量方法，其特征在于，所述日志文件中的日志字段包括用户标识字段、计量类型字段、文件大小字段、存储类型字段；所述获取与所述文件操作请求对应的计量数据，包括：从所述文件操作请求中解析得到用户标识、操作类型、对象文件、存储类型和时间戳，其中，所述操作类型包括上传操作、删除操作或存储类型转换操作，所述存储类型包括标准存储、低频存储或归档存储；根据所述操作类型确定计量类型，并计算得到所述对象文件的文件大小；将所述用户标识、所述计量类型、所述文件大小、所述存储类型和所述时间戳确定为与所述文件操作请求对应的计量数据。3.一种存储量计量方法，其特征在于，应用于对象存储服务中的数据服务器，所述存储量计量方法包括：实时获取预设的日志文件中的计量数据，所述计量数据为所述对象存储服务中的API服务器基于来自客户端的文件操作请求写入的；将所述计量数据发送至相应的客户端。4.根据权利要求3所述的存储量计量方法，其特征在于，所述存储量计量方法还包括：按照设定的时间粒度对获取的计量数据进行存储量统计，并将统计结果发送至相应的客户端。5.一种存储量计量装置，其特征在于，应用于对...

【专利技术属性】
技术研发人员：金玉玮，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：