一种分布式文件系统元数据性能提升方法和装置制造方法及图纸

本申请公开了一种分布式文件系统元数据性能提升方法和装置，该方法包括响应客户端的元数据请求信息；将接收到的元数据保存到过渡存储装置中，并立即向所述客户端发送响应成功的回执；以预设时间间隔，将所述过渡存储装置中的元数据保存至元数据存储设备中。上述分布式文件系统元数据性能提升方法和装置，能够缩短元数据IO路径中的延时，提升元数据性能，满足海量小文件应用场景对元数据性能的要求。

【技术实现步骤摘要】
一种分布式文件系统元数据性能提升方法和装置
本专利技术属于分布式文件系统
，特别是涉及一种分布式文件系统元数据性能提升方法和装置。
技术介绍
现有的分布式文件系统有元数据服务、数据服务和客户端三大组成部分，每个部分之间都需要通过网络通信实现数据IO，这种存储架构就决定了元数据性能要比SAN架构性能要低。分布式文件系统一个有数据的文件会分为元数据和数据两部分存储，其存储流程为：首先，客户端和元数据建立通信保存文件元数据信息；然后，客户端和数据服务器建立通信，保存文件数据信息。分布式文件系统在海量小文件应用场景，对元数据性能要求较高，从而，分布式文件系统的元数据性能成为整个系统性能的瓶颈。
技术实现思路
为解决上述问题，本专利技术提供了一种分布式文件系统元数据性能提升方法和装置，能够缩短元数据IO路径中的延时，提升元数据性能，满足海量小文件应用场景对元数据性能的要求。本专利技术提供的一种分布式文件系统元数据性能提升方法，包括：响应客户端的元数据请求信息；将接收到的元数据保存到过渡存储装置中，并立即向所述客户端发送响应成功的回执；以预设时间间隔，将所述过渡存储装置中的元数据保存至元数据存储设备中。优选的，在上述分布式文件系统元数据性能提升方法中，所述将接收的元数据保存到过渡存储装置中为：将接收的元数据保存到NVDIMM中。优选的，在上述分布式文件系统元数据性能提升方法中，所述将接收的元数据保存到过渡存储装置中为：以日志的形式，将接收的元数据保存到所述过渡存储装置中。优选的，在上述分布式文件系统元数据性能提升方法中，所述将所述过渡存储装置中的元数据保存至元数据存储设备中为：将所述过渡存储装置中的元数据保存至固态硬盘中。本专利技术提供的一种分布式文件系统元数据性能提升装置，包括同时与客户端和元数据存储设备连接的过渡存储装置；所述过渡存储装置用于响应所述客户端的元数据请求信息，保存接收到的元数据，并立即向所述客户端发送响应成功的回执，而且以预设时间间隔将其中的元数据保存至所述元数据存储设备中。优选的，在上述分布式文件系统元数据性能提升装置中，所述过渡存储装置中为NVDIMM。优选的，在上述分布式文件系统元数据性能提升装置中，所述过渡存储装置具体用于以日志的形式，将接收的元数据保存到所述过渡存储装置中。优选的，在上述分布式文件系统元数据性能提升装置中，所述元数据存储设备为固态硬盘。通过上述描述可知，本专利技术提供的上述分布式文件系统元数据性能提升方法和装置，由于该方法包括响应客户端的元数据请求信息；将接收到的元数据保存到过渡存储装置中，并立即向所述客户端发送响应成功的回执；以预设时间间隔，将所述过渡存储装置中的元数据保存至元数据存储设备中，因此能够缩短元数据IO路径中的延时，提升元数据性能，满足海量小文件应用场景对元数据性能的要求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例提供的第一种分布式文件系统元数据性能提升方法的示意图；图2为本申请实施例提供的第一种分布式文件系统元数据性能提升装置的示意图。具体实施方式本专利技术的核心思想在于提供一种分布式文件系统元数据性能提升方法和装置，能够缩短元数据IO路径中的延时，提升元数据性能，满足海量小文件应用场景对元数据性能的要求。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请实施例提供的第一种分布式文件系统元数据性能提升方法如图1所示，图1为本申请实施例提供的第一种分布式文件系统元数据性能提升方法的示意图，该方法包括如下步骤：S1：响应客户端的元数据请求信息；S2：将接收到的元数据保存到过渡存储装置中，并立即向所述客户端发送响应成功的回执；需要说明的是，这里所采用的过渡存储装置可选取带有掉电保护的高速存储介质，能够实现快速回执响应，缩短客户端和元数据服务之间的IO延时，提升元数据性能。S3：以预设时间间隔，将所述过渡存储装置中的元数据保存至元数据存储设备中。需要说明的是，将元数据转移至元数据存储设备中以后，就能够腾出空间，以继续接收更多的元数据，保证过渡存储装置中有足够的剩余空间来存储元数据，不至于对IO性能形成阻碍，而且，该预设时间间隔可以依据介质大小和写入速度而定，只要能保证随时有可用的日志空间即可。通过上述描述可知，本申请实施例提供的第一种分布式文件系统元数据性能提升方法，由于包括响应客户端的元数据请求信息；将接收到的元数据保存到过渡存储装置中，并立即向所述客户端发送响应成功的回执；以预设时间间隔，将所述过渡存储装置中的元数据保存至元数据存储设备中，因此能够缩短元数据IO路径中的延时，提升元数据性能，满足海量小文件应用场景对元数据性能的要求。本申请实施例提供的第二种分布式文件系统元数据性能提升方法，是在上述第一种分布式文件系统元数据性能提升方法的基础上，还包括如下技术特征：所述将接收的元数据保存到过渡存储装置中为：将接收的元数据保存到NVDIMM中。在这种情况下，保存在NVDIMM中的元数据信息定时的保存到元数据存储设备上，这里的元数据存储设备可以是普通磁盘，保证NVDIMM介质可重复写，这样既降低了元数据操作延时，又不会导致异常情况下元数据信息丢失。本申请实施例提供的第三种分布式文件系统元数据性能提升方法，是在上述第一种分布式文件系统元数据性能提升方法的基础上，还包括如下技术特征：所述将接收的元数据保存到过渡存储装置中为：以日志的形式，将接收的元数据保存到所述过渡存储装置中。也就是说，客户端的每次元数据操作请求会记入log中，记入log后立即给客户端消息回执，该方式能更好的保证安全性和性能，当然此处并不构成限制，也可以采用其他方式，例如直接落盘方式。本申请实施例提供的第四种分布式文件系统元数据性能提升方法，是在上述第一种至第三种分布式文件系统元数据性能提升方法中任一种的基础上，还包括如下技术特征：所述将所述过渡存储装置中的元数据保存至元数据存储设备中为：将所述过渡存储装置中的元数据保存至固态硬盘中。需要说明的是，这种固态硬盘的存取速度更快，能够提高元数据的处理速度。本申请实施例提供的第一种分布式文件系统元数据性能提升装置如图2所示，图2为本申请实施例提供的第一种分布式文件系统元数据性能提升装置的示意图，该装置包括同时与客户端201和元数据存储设备202连接的过渡存储装置203；所述过渡存储装置203用于响应所述客户端201的元数据请求信息，保存接收到的元数据，并立即向所述客户端201发送响应成功的回执，而且以预设时间间隔将其中的元数据保存至所述元数据存储设备202中。需要说明的是，这里所采用的过渡存储装置可选取带有掉电保护的高速存储介质，能够实现快速回执响应，缩短客户端和元数据服务之间的IO延时，提升元数据性能。而且，以预设时间本文档来自技高网...

【技术保护点】
一种分布式文件系统元数据性能提升方法，其特征在于，包括：响应客户端的元数据请求信息；将接收到的元数据保存到过渡存储装置中，并立即向所述客户端发送响应成功的回执；以预设时间间隔，将所述过渡存储装置中的元数据保存至元数据存储设备中。

【技术特征摘要】
1.一种分布式文件系统元数据性能提升方法，其特征在于，包括：响应客户端的元数据请求信息；将接收到的元数据保存到过渡存储装置中，并立即向所述客户端发送响应成功的回执；以预设时间间隔，将所述过渡存储装置中的元数据保存至元数据存储设备中。2.根据权利要求1所述的分布式文件系统元数据性能提升方法，其特征在于，所述将接收的元数据保存到过渡存储装置中为：将接收的元数据保存到NVDIMM中。3.根据权利要求1所述的分布式文件系统元数据性能提升方法，其特征在于，所述将接收的元数据保存到过渡存储装置中为：以日志的形式，将接收的元数据保存到所述过渡存储装置中。4.根据权利要求1-3任一项所述的分布式文件系统元数据性能提升方法，其特征在于，所述将所述过渡存储装置中的元数据保存至元数据存储设备中为：...

【专利技术属性】
技术研发人员：张延良，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41