一种集群文件系统基于客户端的可传播缓存方法技术方案

本发明专利技术公开了一种集群文件系统基于客户端的可传播缓存方法，通过在所有访问集群文件系统的客户端内存及硬盘划分出一个区域用于缓存本客户端访问过的数据，同时通过消息的形式通知其它访问集群的客户端缓存内容，当其它客户端也需要访问相同数据时，可以不通过访问集群而直接访问相应的其它客户端；当某客户端读取数据时，先会尝试从本地缓存中读取，如果没有会在位于本机的其它客户端缓存列表查找，如果找到则直接从其它客户端读取；如果没有找到再向集群发出读取数据请求。本发明专利技术的优点是：提高了文件读取和传播的效率，降低集群文件系统的访问压力，提升数据读取的性能，网络占用率低。

A cluster file system based on client's propagation cache method

The invention discloses a cluster file system can transmit buffer method based on client, for the client cache through the accessed data access in all cluster file system client memory and hard disk is divided into an area at the same time, through the form of message informs the client cache access other clusters, when the other clients also need access to the same when the data can not access through the cluster and direct access to other clients accordingly; when a client reads data, first will attempt to read from the local cache, if not in the client cache list to find the other in the machine, if found directly from other client read; if a read data request to a cluster without find. The invention has the advantages that the efficiency of reading and transmitting files is improved, the access pressure of the cluster file system is lowered, the performance of data reading is improved, and the network occupation rate is low.

【技术实现步骤摘要】
一种集群文件系统基于客户端的可传播缓存方法
本专利技术涉及集群文件系统基于客户端可传播的缓存技术,具体的说是一种通过集群文件系统客户端缓存并将缓存信息传播到其它客户端使用的方法。
技术介绍
集群文件系统是指运行在多个计算机之上，之间通过某种方式相互连通从而使集群内所有计算机上的可用磁盘的空间整合并虚拟为统一的空间，并通过某种方式对外提供存储空间的系统。集群文件系统分为多类，按照对存储空间的访问方式，可分为共享存储型集群文件系统和分布式集群文件系统，前者是多台计算机识别到同样的存储空间，并相互协调共同管理其上的文件，又被称为共享文件系统；后者则是每台计算机各自提供自己的存储空间，并各自协调管理所有；按照元数据的管理方式，可分为对称式集群文件系统和非对称式集群文件系统。前者每个节点的角色均等，共同管理文件元数据，节点间通过高速网络进行信息同步和互斥锁等操作。而非对称式集群文件系统中，有专门的一个或者多个节点负责管理元数据，其他节点需要频繁与元数据节点通信以获取最新的元数据比如目录列表文件属性等等。按照文件访问方式来分类，集群文件系统可分为串行访问式和并行访问式。串行访问是指客户端只能从集群中的某个节点来访问集群内的文件资源，而并行访问则是指客户端可以直接从集群中任意一个或者多个节点同时收发数据，做到并行数据存取，加快速度。集群文件系统是由多个集群节点对外提供统一的文件系统，客户端节点可以通过任意一个集群节点读取到文件系统中的保存的数据，通常情况下客户端访问某个集群节点时，集群节点会在集群内节点中读取数据，并返回给客户端，对于客户端而言每次访问都会有较长的访问路径，需要通过多个网络才可以把数据得到，并且一般集群文件系统会同时有多个客户端访问，这样的访问方式增加了集群负载，降低了集群的性能。
技术实现思路
本专利技术针对目前技术发展的需求和不足之处，提供一种集群文件系统基于客户端的可传播缓存方法，提高了客户端读取数据的速度，降低了集群中所有节点及网络的负载。为实现上述目的，本专利技术提供的技术方案是：一种集群文件系统基于客户端的可传播缓存方法，通过在所有访问集群文件系统的客户端内存及硬盘划分出一个区域用于缓存本客户端访问过的数据，同时通过消息的形式通知其它访问集群的客户端缓存内容，当其它客户端也需要访问相同数据时，可以不通过访问集群而直接访问相应的其它客户端；当某客户端读取数据时，先会尝试从本地缓存中读取，如果没有会在位于本机的其它客户端缓存列表查找，如果找到则直接从其它客户端读取；如果没有找到再向集群发出读取数据请求。进一步，所述客户端的缓存由二部分组成：内存、磁盘中划分的一个分区；有数据需要缓存时，先存储在内存，当内存使用到阀值时，将数据写到分区，并回收内存。进一步，所述集群文件系统读取文件流程如下：客户端上层应用程序发起读取文件请求；客户端检查本地缓存中是否包括需要读取的文件，如果包括需要读取的文件，则读取缓存中的文件，返回上层应用程序；如果不包括需要读取的文件，则读取位于本地的其他客户端缓存列表，检查列表中是否存在需要读取的文件；如果存在需要读取的文件，向其他客户端发出读取缓存文件的指令，向其他客户端返回缓存文件，本客户端缓存文件，返回上层应用程序；如果不包括需要读取的文件，则从集群读取文件，将文件缓存在本地，通过消息通知其它客户端新缓存的文件，返回上层应用程序。进一步，所述客户端缓存内存大小由用户配置。进一步，所述客户端缓存磁盘由用户指定。进一步，所述客户端缓存内存默认为5GB。进一步，在客户端启动时，将位于专用分区中的数据读取到缓存内存，客户端进行过程中有新的缓存内容时，如果有缓存内存空间则将内容缓存在缓存内存中；如果可用的缓存内存空间不足时，会清空已回写到专用分区的内容，如果这时专用分区空间不足，会删除最老的缓存数据。进一步，在客户端程序运行过程中，当已用缓存内存达到阀值1时，客户端会将缓存内存中的缓存数据回写到专用分区，阀值1用户可配置，默认为0.5，即已用缓存内存占可用缓存内存的50％。进一步，当已用缓存内存达到阀值1时，系统会开始按从老到新的顺序清除缓存内存中的数据，如果清除时，发现数据没有回写到专用分区，则会先回写到专用分区，阀值1用户可配置，默认为0.7，即已用缓存内存占可用缓存内存的70％。本专利技术所述专用分区是指由用户指定的客户端缓存磁盘分区。本专利技术通过减少不必要的向集群文件系统读取和写入数据，达到降低集群文件系统的访问压力，通过本地缓存方式提高数据读取的效率，提升数据读取的性能，同时降低了网络占用率。本专利技术的优点是：提高了文件读取和传播的效率，降低集群文件系统的访问压力，提升数据读取的性能，网络占用率低。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术原理框图；图2为本专利技术集群文件系统读取文件流程。具体实施方式下面可以参照附图1以及文字内容理解本专利技术的内容以及本专利技术与现有技术之间的区别点。下文通过附图以及列举本专利技术的一些可选实施例的方式，对本专利技术的技术方案(包括优选技术方案)做进一步的详细描述。需要说明的是：本实施例中的任何技术特征、任何技术方案均是多种可选的技术特征或可选的技术方案中的一种或几种，为了描述简洁的需要本文件中无法穷举本专利技术的所有可替代的技术特征以及可替代的技术方案，也不便于每个技术特征的实施方式均强调其为可选的多种实施方式之一，所以本领域技术人员应该知晓：可以将本专利技术提供的任意技术手段进行替换或将本专利技术提供的任意两个或更多个技术手段或技术特征互相进行组合而得到新的技术方案。本实施例内的任何技术特征以及任何技术方案均不限制本专利技术的保护范围，本专利技术的保护范围应该包括本领域技术人员不付出创造性劳动所能想到的任何替代技术方案以及本领域技术人员将本专利技术提供的任意两个或更多个技术手段或技术特征互相进行组合而得到的新的技术方案。下面结合图1-2对本专利技术提供的技术方案进行更为详细的阐述。客户端上层应用程序发起读取文件请求；客户端检查本地缓存中是否包括需要读取的文件，客户端本地缓存包括二部分：缓存内存及一个专用分区，a)可用于缓存的内存大小由用户配置，默认为5GB；b)可用于缓存的专用分区由用户指定；专用分区是指由用户指定的客户端缓存磁盘分区；在客户端启动时，将位于专用分区中的数据读取到缓存内存，客户端进行过程中有新的缓存内容时，如果有缓存内存空间则将内容缓存在缓存内存中；如果可用的缓存内存空间不足时，会清空已回写到专用分区的内容，如果这时专用分区空间不足，会删除最老的缓存数据。在客户端程序运行过程中，当已用缓存内存达到阀值1时，客户端会将缓存内存中的缓存数据回写到专用分区，阀值1用户可配置，默认为0.5，即已用缓存内存占可用缓存内存的50％；当已用缓存内存达到阀值1时，系统会开始按从老到新的顺序清除缓存内存中的数据，如果清除时，发现数据没有回写到专用分区，则会先回写到专用分区，阀值1用户可配置，默认为0.7，即已用缓存内存占可用缓存内存的70％；当文件存在时直接从本地缓存中读取文件，并返回给上层应用程序；当本地缓存中不存在需要读取的文件内容时，检查位于本客户端的“其本文档来自技高网...

【技术保护点】
一种集群文件系统基于客户端的可传播缓存方法，其特征是，通过在所有访问集群文件系统的客户端内存及硬盘划分出一个区域用于缓存本客户端访问过的数据，同时通过消息的形式通知其它访问集群的客户端缓存内容，当其它客户端也需要访问相同数据时，可以不通过访问集群而直接访问相应的其它客户端；当某客户端读取数据时，先会尝试从本地缓存中读取，如果没有会在位于本机的其它客户端缓存列表查找，如果找到则直接从其它客户端读取；如果没有找到再向集群发出读取数据请求。

【技术特征摘要】
1.一种集群文件系统基于客户端的可传播缓存方法，其特征是，通过在所有访问集群文件系统的客户端内存及硬盘划分出一个区域用于缓存本客户端访问过的数据，同时通过消息的形式通知其它访问集群的客户端缓存内容，当其它客户端也需要访问相同数据时，可以不通过访问集群而直接访问相应的其它客户端；当某客户端读取数据时，先会尝试从本地缓存中读取，如果没有会在位于本机的其它客户端缓存列表查找，如果找到则直接从其它客户端读取；如果没有找到再向集群发出读取数据请求。2.根据权利要求1所述集群文件系统基于客户端的可传播缓存方法，其特征是，所述客户端的缓存由二部分组成：内存、磁盘中划分的一个分区；有数据需要缓存时，先存储在内存，当内存使用到阀值时，将数据写到分区，并回收内存。3.根据权利要求1或2所述集群文件系统基于客户端的可传播缓存方法，其特征是，所述集群文件系统读取文件流程如下：客户端上层应用程序发起读取文件请求；客户端检查本地缓存中是否包括需要读取的文件，如果包括需要读取的文件，则读取缓存中的文件，返回上层应用程序；如果不包括需要读取的文件，则读取位于本地的其他客户端缓存列表，检查列表中是否存在需要读取的文件；如果存在需要读取的文件，向其他客户端发出读取缓存文件的指令，向其他客户端返回缓存文件，本客户端缓存文件，返回上层应用程序；如果不包括需要读取的文件，则从集群读取文件，将文件缓存在本地，通过消...

【专利技术属性】
技术研发人员：李发明，张勤，
申请(专利权)人：深圳市中博睿存科技有限公司，
类型：发明
国别省市：广东,44