一种基于集群文件系统的全局共享读缓存方法技术方案

技术编号:13677415 阅读:37 留言:0更新日期:2016-09-08 04:02
本发明专利技术所述基于集群文件系统的全局共享读缓存方法,涉及集群文件系统全局共享缓存技术,通过在所有集群节点保存一份全局读缓存中数据所在的节点,并在客户端节点增加一个监听端口,当客户端访问某个集群节点进行数据访问时,该节点可以通过本地保存的全局读缓存所在节点查询该数据是否在全局缓存中,如果在本地节点则直接通过本地缓存直接返回数据,如果在其他节点则转发客户端读请求到其他节点,由其他节点直接回复数据到客户端的监听端口,如果未在缓存中命中,则直接从磁盘中读取数据。通过该方法可以大大提高集群缓存的利用率及读缓存命中率,从而提高读性能。

【技术实现步骤摘要】

本专利技术涉及集群文件系统全局共享缓存技术,具体的说是一种基于集群文件系统的全局共享读缓存方法
技术介绍
集群文件系统是指运行在多台计算机之上,之间通过某种方式相互通信从而将集群内所有存储空间资源整合、虚拟化并对外提供文件访问服务的文件系统。集群文件系统分为多类,按照对存储空间的访问方式,可分为共享存储型集群文件系统和分布式集群文件系统,前者是多台计算机识别到同样的存储空间,并相互协调共同管理其上的文件,又被称为共享文件系统;后者则是每台计算机各自提供自己的存储空间,并各自协调管理所有计算机节点中的文件。按照元数据的管理方式,可分为对称式集群文件系统和非对称式集群文件系统。前者每个节点的角色均等,共同管理文件元数据,节点间通过高速网络进行信息同步和互斥锁等操作。而非对称式集群文件系统中,有专门的一个或者多个节点负责管理元数据,其他节点需要频繁与元数据节点通信以获取最新的元数据比如目录列表文件属性等等。按照文件访问方式来分类,集群文件系统可分为串行访问式和并行访问式。串行访问是指客户端只能从集群中的某个节点来访问集群内的文件资源,而并行访问则是指客户端可以直接从集群中任意一个或者多个节点同时收发数据,做到并行数据存取,加快速度。集群文件系统是由多个集群节点对外提供统一的文件系统,客户端节点可以通过任意一个集群节点读取到文件系统中的保存的数据,通常情况下客户端访问某个集群节点时,集群节点会查取本地缓存,如果缓存命中则直接返回,如果没有命中则向磁盘发起读数据指令,并缓存到本地,如果多个客户端分别从不同的节点读同一份文件,则在整个集群中会缓存多份该数据,降低了集群缓存使用率,且缓存的命中率也无法提高。
技术实现思路
本专利技术针对目前技术发展的需求和不足之处,提供一种基于集群文件系统的全局共享读缓存方法。本专利技术所述一种基于集群文件系统的全局共享读缓存方法,解决上述技术问题采用的技术方案如下:所述一种基于集群文件系统的全局共享读缓存方法,通过在所有集群节点保存一份全局读缓存中数据所在的节点,并在客户端节点增加一个监听端口;当客户端访问某个集群节点进行数据访问时,该节点能够通过本地保存的全局读缓存所在节点查询该数据是否在全局缓存中,允许接收由其他服务节点应答的消息。优选的,客户端发送读数据请求到某个集群节点,集群节点查询全局读缓存中数据所在的节点,如果在本节点,直接回复客户端所需要的数据。优选的,客户端发送读数据请求到某个集群节点,集群节点查询全局读缓存中数据所在的节点,如果在其他节点,转发读请求到相应的集群节点,由其他节点通过客户端监听端口回复客户端所需要的数据。优选的,客户端发送读数据请求到某个集群节点,集群节点查询全局读缓存中数据所在的节点,如果查询不到,从磁盘读取数据,缓存客户端所需要的数据,并回复客户端。优选的,当集群节点中读缓存有变化时,集群节点通过组播的方式通知其他节点本节点缓存的数据。本专利技术所述一种基于集群文件系统的全局共享读缓存方法与现有技术相比具有的有益效果是:本专利技术在所有集群节点保存读缓存中数据所在节点,保证数据在整个集群只保留一份,并在客户端增加监听端口,允许接收由其他服务节点应答的消息;如果该数据在本地节点则直接通过本地缓存直接返回数据,如果在其他节点则转发客户端读请求到其他节点,由其他节点直接回复数据到客户端的监听端口,如果未在缓存中命中,则直接从磁盘中读取数据;通过该方法可以大大提高集群缓存的利用率及读缓存命中率,从而提高读性能。说明书附图附图1为所述基于集群文件系统的全局共享读缓存方法的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白,以下结合具体实施例,对本专利技术所述一种基于集群文件系统的全局共享读缓存方法进一步详细说明。实施例:本实施例所述基于集群文件系统的全局共享读缓存方法,通过在所有集群节点保存一份全局读缓存中数据所在的节点,并在客户端节点增加一个监听端口;当客户端访问某个集群节点进行数据访问时,该节点能够通过本地保存的全局读缓存所在节点查询该数据是否在全局缓存中,允许接收由其他服务节点应答的消息。采用该基于集群文件系统的全局共享读缓存方法,当客户端访问某个集群节点进行数据访问时,如果该数据在本地节点则直接通过本地缓存直接返回数据,如果在其他节点则转发客户端读请求到其他节点,由其他节点直接回复数据到客户端的监听端口,如果未在缓存中命中,则直接从磁盘中读取数据。通过该方法可以大大提高集群缓存的利用率及读缓存命中率,从而提高读性能。本实施例所述基于集群文件系统的全局共享读缓存方法,其具体实施步骤如下:步骤一,客户端发送读数据请求到某个集群节点;步骤二,集群节点查询全局读缓存中数据所在的节点,如果在本节点,则执行步骤3,如果在其他节点则执行步骤4,如果查询不到则执行步骤5;步骤三,直接回复客户端所需要的数据;步骤四,转发读请求到相应的集群节点,由其他节点通过客户端监听端口回复客户端所需要的数据;步骤五,从磁盘读取数据,缓存客户端所需要的数据,并回复客户端。附图1为所述基于集群文件系统的全局共享读缓存方法的示意图,如附图1所示,基于集群文件系统的全局共享读缓存的流程为:假设集群节点A缓存数据E,集群节点B缓存数据D,集群节点C缓存数据F,客户端A访问集群节点A,客户端B访问集群节点B,客户端C访问集群节点C;对于一次具体客户端A需要获取数据D的过程来说,需要经过以下几个步骤:a)客户端A发送读数据D请求到集群节点A,b)集群节点A查询全局共享读缓存的数据所在节点为集群节点B,c)集群节点A转发请求到集群节点B,d)集群节点B根据请求内容从本地缓存中读取数据D,通过客户端A的监听端口回复客户端A的请求数据。通过本实施例所述基于集群文件系统的全局共享读缓存方法,在所有集群节点保存一份全局读缓存中数据所在节点,保证数据在整个集群中只保留一份,同时在客户端增加监听端口,允许向本节点请求的数据,由其他节点进行回复。此外,当集群节点中读缓存有变化时,集群节点通过组播的方式通知其他节点本节点缓存的数据。上述具体实施方式仅是本专利技术的具体个案,本专利技术的专利保护范围包括但不限于上述具体实施方式,任何符合本专利技术的权利要求书的且任何所属
的普通技术人员对其所做的适当变化或替换,皆应落入本专利技术的专利保护范围。本文档来自技高网
...

【技术保护点】
一种基于集群文件系统的全局共享读缓存方法,其特征在于, 通过在所有集群节点保存一份全局读缓存中数据所在的节点,并在客户端节点增加一个监听端口;当客户端访问某个集群节点进行数据访问时,该节点能够通过本地保存的全局读缓存所在节点查询该数据是否在全局缓存中,允许接收由其他服务节点应答的消息。

【技术特征摘要】
1.一种基于集群文件系统的全局共享读缓存方法,其特征在于, 通过在所有集群节点保存一份全局读缓存中数据所在的节点,并在客户端节点增加一个监听端口;当客户端访问某个集群节点进行数据访问时,该节点能够通过本地保存的全局读缓存所在节点查询该数据是否在全局缓存中,允许接收由其他服务节点应答的消息。2.根据权利要求1所述一种基于集群文件系统的全局共享读缓存方法,其特征在于, 客户端发送读数据请求到某个集群节点,集群节点查询全局读缓存中数据所在的节点,如果在本节点,直接回复客户端所需要的数据。3.根据权利要求1所述一种基于集群文件系统的全局共享读缓存方法,其特征在...

【专利技术属性】
技术研发人员:王志华吴丙涛徐艳秋
申请(专利权)人:浪潮电子信息产业股份有限公司
类型:发明
国别省市:山东;37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1