一种分布式文件系统元数据处理延时统计方法技术方案

技术编号:12787722 阅读:53 留言:0更新日期:2016-01-28 16:16
本发明专利技术公开了一种分布式文件系统元数据处理延时统计方法,该方法包括:当客户端需要进行文件操作时,客户端在文件操作指令的作用下触发元数据请求操作,检测到元数据请求操作;客户端检测到元数据请求操作之时,记录检测到元数据请求操作的第一时间点t1,并向元数据服务器发送元数据请求操作;元数据服务器接收所述元数据请求操作进行相应的操作处理,操作处理结束后向客户端返回请求响应消息;客户端接收所述请求响应消息,并记录接收到所述请求响应消息的第二时间点t2;客户端利用所述第一时间点t1和第二时间点t2,获取元数据处理延时T1。该方法实现提高元数据处理延时的准确性。

【技术实现步骤摘要】

本专利技术涉及分布式文件系统
,特别是涉及。
技术介绍
目前,分布式文件系统已经普遍应用各种行业,从文件系统处理的文件来分,可以将应用分为大文件应用、小文件应用和混合应用,大文件应用主要考虑文件系统的吞吐量,主要是数据落盘操作,小文件应用主要会有大量的元数据操作,然后是落盘操作。分布式文件系统分为元数据服务器、数据服务器和客户端。针对小文件应用,对元数据性能要求较高,目前还没有统计元数据处理延时的方法。元数据的处理时间是小文件性能指标的主要部分,小文件性能指标一般用延时来衡量,即一个文件操作所需时间,则元数据处理时间也称为元数据处理延时。有了延时指标就能得出文件系统每秒处理的文件数,即OPS (operat1n per seconds,文件系统每秒处理的文件数)。现在统计文件系统元数据延时的一般方法是获取多个文件的元数据操作总时间,将总时间除以文件数目,得到平均的元数据处理延时,这种方法只能获取元数据处理延时的平均值,并不能获取准确的真实的每个文件操作的元数据处理延时,所以获取的元数据处理延时的准确性不高。
技术实现思路
本专利技术的目的是提供,以实现提高元数据处理延时的准确性。为解决上述技术问题,本专利技术提供,该方法包括:当客户端需要进行文件操作时,客户端在文件操作指令的作用下触发元数据请求操作,检测到元数据请求操作;客户端检测到元数据请求操作之时,记录检测到元数据请求操作的第一时间点tl,并向元数据服务器发送所述元数据请求操作;所述元数据服务器接收所述元数据请求操作进行相应的操作处理,操作处理结束后向所述客户端返回请求响应消息;所述客户端接收所述请求响应消息,并记录接收到所述请求响应消息的第二时间点t2 ;所述客户端利用所述第一时间点tl和第二时间点t2,获取元数据处理延时T1 ;其中,所述元数据处理延时T1的计算公式为:T1 = t2-tlo优选的,所述客户端利用所述第一时间点tl和第二时间点t2,获取元数据处理延时T1之后,还包括:所述客户端将所述元数据处理延时T1输出到文件系统日志中。优选的,所述客户端利用所述第一时间点tl和第二时间点t2,获取元数据处理延时T1之后,还包括:所述客户端将所述请求响应消息输出到文件系统日志中。优选的,所述客户端利用所述第一时间点tl和第二时间点t2,获取元数据处理延时T1之后,还包括:在所述第二时间点t2,客户端对文件操作中需要读取的数据进行数据处理,数据处理结束后,记录数据处理结束的第三时间点t3 ;客户端利用第一时间点tl和第三时间点t3,获取文件操作延时T2 ;其中,所述文件操作延时T2的计算公式为:T2 = t3-tl0优选的,所述客户端利用第一时间点tl和第三时间点t3,获取文件操作延时T2之后,还包括:所述客户端将所述文件操作延时T2输出到文件系统日志中。优选的,所述在所述第二时间点t2,客户端对文件操作中需要读取的数据进行数据处理,数据处理结束后,记录数据处理结束的第三时间点t3,包括:客户端向数据服务器发送数据请求操作;所述数据服务器接收所述数据请求操作进行相应的操作处理,操作处理结束后向所述客户端返回数据请求响应消息;所述客户端接收所述数据请求响应消息,并记录接收到所述数据请求响应消息的第三时间点t3。优选的,所述客户端接收所述数据请求响应消息,并记录接收到所述数据请求响应消息的第三时间点t3之后,还包括:所述客户端将所述数据请求响应消息输出到文件系统日志中。优选的,所述客户端检测到元数据请求操作之时,记录检测到元数据请求操作的第一时间点tl之后,还包括:所述客户端处理文件系统中多个文件操作,当所述多个文件操作的处理都结束时,记录所述多个文件操作的处理都结束的第四时间点t4 ;所述客户端依据所述第一时间点tl、第四时间点t4及所述多个文件操作的数目n,获取文件系统每秒处理的文件数0PS,所述文件系统每秒处理的件数0PS的计算公式为:OPS = (t4_tl)/η。本专利技术所提供的,当客户端需要进行文件操作时,客户端在文件操作指令的作用下触发元数据请求操作,检测到元数据请求操作;客户端检测到元数据请求操作之时,记录检测到元数据请求操作的第一时间点tl,并向元数据服务器发送所述元数据请求操作;所述元数据服务器接收所述元数据请求操作进行相应的操作处理,操作处理结束后向所述客户端返回请求响应消息;所述客户端接收所述请求响应消息,并记录接收到所述请求响应消息的第二时间点t2 ;所述客户端利用所述第一时间点tl和第二时间点t2,获取元数据处理延时T1 ;其中,所述元数据处理延时T1的计算公式为:T1 = t2-tlo可见,客户端通过检测到元数据请求操作之时,记录检测到元数据请求操作的第一时间点tl,并记录接收到请求响应消息的第二时间点t2,即记录了元数据处理过程的开始时间和结束时间,通过两个时间点的差值得到元数据处理延时,这样能够获取每次文件操作下元数据处理延时,得到真实的元数据处理延时,提高元数据处理延时的准确性。【附图说明】为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。图1为本专利技术所提供的的流程图。【具体实施方式】本专利技术的核心是提供,以实现提高元数据处理延时的准确性。为了使本
的人员更好地理解本专利技术方案,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。请参考图1,图1为本专利技术所提供的的流程图,该方法包括:步骤S11:当客户端需要进行文件操作时,客户端在文件操作指令的作用下触发元数据请求操作,检测到元数据请求操作;步骤S12:客户端检测到元数据请求操作之时,记录检测到元数据请求操作的第一时间点tl,并向元数据服务器发送元数据请求操作;步骤S13:元数据服务器接收元数据请求操作进行相应的操作处理,操作处理结束后向客户端返回请求响应消息;步骤S14:客户端接收请求响应消息,并记录接收到请求响应消息的第二时间点t2 ;步骤S15:客户端利用第一时间点tl和第二时间点t2,获取元数据处理延时T1。其中,元数据处理延时T1的计算公式为:T1 = t2-tlo其中,客户端在利用第一时间点tl和第二时间点t2,获取元数据处理延时T1之后,客户端将元数据处理延时T1输出到文件系统日志中。当然,客户端在利用第一时间点tl和第二时间点t2,获取元数据处理延时T1之后,客户端也能将请求响应消息输出到文件系统日志中。该方法主要是在分布式文件系统的客户端,即在客户端有元数据操作请求时记录元数据操作开始时间,当客户端收到请求回复时记录本次元数据操作结束时间,之间的差值就为本次元数据操作用时,即元数据处理延时。该方法提供了统计元数据处理延时的方法,通过该方法也可以得出每次元数据处理延时、一个文件操作延时和文件系统OPS,0PS即文件系统每秒处理本文档来自技高网
...

【技术保护点】
一种分布式文件系统元数据处理延时统计方法,其特征在于,包括:当客户端需要进行文件操作时,客户端在文件操作指令的作用下触发元数据请求操作,检测到元数据请求操作;客户端检测到元数据请求操作之时,记录检测到元数据请求操作的第一时间点t1,并向元数据服务器发送所述元数据请求操作;所述元数据服务器接收所述元数据请求操作进行相应的操作处理,操作处理结束后向所述客户端返回请求响应消息;所述客户端接收所述请求响应消息,并记录接收到所述请求响应消息的第二时间点t2;所述客户端利用所述第一时间点t1和第二时间点t2,获取元数据处理延时T1;其中,所述元数据处理延时T1的计算公式为:T1=t2‑t1。

【技术特征摘要】

【专利技术属性】
技术研发人员:张延良李雪生程瑶
申请(专利权)人:浪潮北京电子信息产业有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1