一种元数据缓存方法、系统及相关装置制造方法及图纸

本申请所提供的一种元数据缓存方法，包括：接收缓存元数据的请求指令；根据请求指令对元数据进行精简处理，得到精简元数据；将精简元数据缓存至存储节点中的预设缓存区。该方法先是接收缓存元数据的请求指令，再根据请求指令对元数据进行精简处理，得到精简元数据，最后将精简元数据缓存至存储节点中的预设缓存区。可见，该方法相比于相关技术对元数据进行了精简处理，能够在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度。本申请还提供一种元数据缓存系统、设备及计算机可读存储介质，均具有上述有益效果。

A Metadata Caching Method, System and Related Devices

A metadata caching method provided in this application includes: receiving request instructions for caching metadata; streamlining metadata according to request instructions to obtain streamlined metadata; and caching streamlined metadata into a preset cache in the storage node. This method first receives the request instructions for caching metadata, then simplifies the metadata according to the request instructions, and obtains the simplified metadata. Finally, the simplified metadata is cached into the preset cache in the storage node. Obviously, compared with related technologies, this method simplifies metadata, which can improve the total amount of cached metadata while the total memory of storage nodes remains unchanged, thus improving the speed of file reading. The application also provides a metadata caching system, device and computer readable storage medium, all of which have the above beneficial effects.

【技术实现步骤摘要】
一种元数据缓存方法、系统及相关装置
本申请涉及元数据缓存
，特别涉及一种元数据缓存方法、系统、设备及计算机可读存储介质。
技术介绍
分布式文件系统的海量小文件场景中的性能问题一直是个很难突破的技术难题。在分布式文件系统中，如果访问文件不能够在本地命中缓存，基于分布式文件系统的特征每次访问文件都需要在集群网络内部访问元数据，一次IO读写的执行过程也可能会跨网络读取元数据，每次文件操作都去跨网络获取元数据增大了文件读取的时延，故需要对元数据进行缓存，但是相关技术中直接对元数据进行缓存，在存储节点总内存不变的情况下缓存的元数据总量较少，导致在读取文件的时候，很难做到命中缓存，从而导致读取文件的时候需要遍历查找文件，大大增加了读取时延，降低的文件的读取速度。因此，如何在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度是本领域技术人员需要解决的技术问题。
技术实现思路
本申请的目的是提供一种元数据缓存方法、系统、设备及计算机可读存储介质，能够在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度。为解决上述技术问题，本申请提供一种元数据缓存方法，包括：接收缓存元数据的请求指令；根据所述请求指令对所述元数据进行精简处理，得到精简元数据；将所述精简元数据缓存至存储节点中的预设缓存区。优选地，将所述精简元数据缓存至存储节点中的预设缓存区之后，还包括：在读取目标元数据时，判断所述预设缓存区中是否存在所述目标元数据；若是，则从所述预设缓存区中读取所述目标元数据；若否，则从所述存储节点的内存中读取所述目标元数据。优选地，从所述存储节点的内存中读取所述目标元数据之后，还包括：对所述目标元数据进行所述精简处理，得到目标精简元数据；将所述目标精简元数据缓存至所述存储节点中的所述预设缓存区。优选地，所述根据所述请求指令对所述元数据进行精简处理，得到精简元数据，包括：根据所述请求指令，剔除所述元数据中的业务运行数据，得到所述精简元数据。本申请提供，接收缓存元数据的请求指令之后，还包括：判断所述元数据的数量是否达到预设阈值；若是，则执行所述根据所述请求指令对所述元数据进行精简处理，得到精简元数据的步骤。本申请还提供一种元数据缓存系统，包括：请求指令接收模块，用于接收缓存元数据的请求指令；精简处理模块，用于根据所述请求指令对所述元数据进行精简处理，得到精简元数据；元数据缓存模块，用于将所述精简元数据缓存至存储节点中的预设缓存区。优选地，该元数据缓存系统还包括：判断模块，用于在读取目标元数据时，判断所述预设缓存区中是否存在所述目标元数据；第一读取模块，用于若所述预设缓存区中存在所述目标元数据，则从所述预设缓存区中读取所述目标元数据；第二读取模块，用于若所述预设缓存区中不存在所述目标元数据，则从所述存储节点的内存中读取所述目标元数据。优选地，所述精简处理模块，包括：精简处理单元，用于根据所述请求指令，剔除所述元数据中的业务运行数据，得到所述精简元数据。本申请还提供一种设备，包括：存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现上述所述的元数据缓存方法的步骤。本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的元数据缓存方法的步骤。本申请所提供的一种元数据缓存方法，包括：接收缓存元数据的请求指令；根据所述请求指令对所述元数据进行精简处理，得到精简元数据；将所述精简元数据缓存至存储节点中的预设缓存区。该方法先是接收缓存元数据的请求指令，再根据所述请求指令对所述元数据进行精简处理，得到精简元数据，最后将所述精简元数据缓存至存储节点中的预设缓存区。可见，该方法相比于相关技术对元数据进行了精简处理，能够在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度。本申请还提供一种元数据缓存系统、设备及计算机可读存储介质，均具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例所提供的一种元数据缓存方法的流程图；图2为本申请实施例所提供的一种元数据缓存系统的结构框图。具体实施方式本申请的核心是提供一种元数据缓存方法，能够在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度。本申请的另一核心是提供一种元数据缓存系统、设备及计算机可读存储介质。为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。分布式文件系统的海量小文件场景中的性能问题一直是个很难突破的技术难题。在分布式文件系统中，如果访问文件不能够在本地命中缓存，基于分布式文件系统的特征每次访问文件都需要在集群网络内部访问元数据，一次IO读写的执行过程也可能会跨网络读取元数据，每次文件操作都去跨网络获取元数据增大了文件读取的时延，故需要对元数据进行缓存，但是相关技术中直接对元数据进行缓存，在存储节点总内存不变的情况下缓存的元数据总量较少，导致在读取文件的时候，很难做到命中缓存，从而导致读取文件的时候需要遍历查找文件，大大增加了读取时延，降低的文件的读取速度。本申请实施例能够在存储节点总内存不变的情况下提高缓存的元数据总量，进而提高文件的读取速度。具体请参考图1，图1为本申请实施例所提供的一种元数据缓存方法的流程图，该元数据缓存方法具体包括:S101、接收缓存元数据的请求指令；本申请实施例的执行主体为分布式存储系统中的任一存储节点，该存储节点先是接收缓存元数据的请求指令。在分布式存储系统中每一个存储节点通常都是存储服务器，存储服务器之间通过高速网络互连，即存储节点之间通过高速网络互连。在此对分布式存储节点中存储节点的数量不作具体限定，应由本领域技术人员根据实际情况作出相应的设定。在此对发送缓存元数据的请求指令的客户端也不作具体限定，例如可以为应用服务器，还可以为终端用户。进一步地，在接收缓存元数据的请求指令之后，通常还包括：判断元数据的数量是否达到预设阈值；若是，则执行根据请求指令对元数据进行精简处理，得到精简元数据的步骤。在此对于预设阈值的数值大小不作具体限定，应由本领域技术人员根据实际情况作出相应的设定。若元数据的数量达到预设阈值，本申请实施例可以统一对这些元数据进行精简处理，得到精简元数据。对于元数据的数量没有达到预设阈值这种情况，后续的执行操作不作具体限定，通常会继续等待直至元数据的数量达到预设阈值。S102、根据请求指令对元数据进行精简处理，得到精简元数据；本申请实施例中存储节点在接收缓存元数据的请求指令后，根据请求指令对元数据进行精简处理，得到精简元数据。在此对元数据进行简要说明：任何文件系统中的数据本文档来自技高网...

【技术保护点】
1.一种元数据缓存方法，其特征在于，包括：接收缓存元数据的请求指令；根据所述请求指令对所述元数据进行精简处理，得到精简元数据；将所述精简元数据缓存至存储节点中的预设缓存区。

【技术特征摘要】
1.一种元数据缓存方法，其特征在于，包括：接收缓存元数据的请求指令；根据所述请求指令对所述元数据进行精简处理，得到精简元数据；将所述精简元数据缓存至存储节点中的预设缓存区。2.根据权利要求1所述的元数据缓存方法，其特征在于，将所述精简元数据缓存至存储节点中的预设缓存区之后，还包括：在读取目标元数据时，判断所述预设缓存区中是否存在所述目标元数据；若是，则从所述预设缓存区中读取所述目标元数据；若否，则从所述存储节点的内存中读取所述目标元数据。3.根据权利要求2所述的元数据缓存方法，其特征在于，从所述存储节点的内存中读取所述目标元数据之后，还包括：对所述目标元数据进行所述精简处理，得到目标精简元数据；将所述目标精简元数据缓存至所述存储节点中的所述预设缓存区。4.根据权利要求1所述的元数据缓存方法，其特征在于，所述根据所述请求指令对所述元数据进行精简处理，得到精简元数据，包括：根据所述请求指令，剔除所述元数据中的业务运行数据，得到所述精简元数据。5.根据权利要求1所述的元数据缓存方法，其特征在于，接收缓存元数据的请求指令之后，还包括：判断所述元数据的数量是否达到预设阈值；若是，则执行所述根据所述请求指令对所述元数据进行精简处理，得到精简元数据的步骤。6....

【专利技术属性】
技术研发人员：李长春，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41