一种支持分布式存储的多客户端缓存方法及系统技术方案

本发明专利技术提供了一种支持分布式存储的多客户端缓存系统及方法，包括：模块M1：缓存客户端将缓存数据同步加载到本地缓存设备并生成相应的缓存元数据文件提交缓存服务端；模块M2：缓存服务端对缓存元数据文件进行统一管理，为整个分布式存储系统提供集中式的状态监视、配置管理和全局缓存数据定位的元数据服务。本发明专利技术利用本地化缓存数据读取，降低网络数据读取时延，释放带宽，提升分布式存储的整体读写效率。

【技术实现步骤摘要】
一种支持分布式存储的多客户端缓存方法及系统
本专利技术涉及分布式存储领域，具体地，涉及一种支持分布式存储的多客户端缓存方法及系统。
技术介绍
在分布式存储系统中，数据存放在服务器端的不同物理节点，通过SSD、内存等高速存储设备实现服务端数据缓存加速，但多数场景下，需要远程客户端通过网络进行跨节点数据访问。此时，通过网络进行远程数据读取的时延远高于在本地存储设备中直接对数据的访问。另外一个方面，通过网络进行数据传输一般都要经过网络协议栈，处理开销非常大，特别是针对IO密集型的应用，这将严重影响应用的读写和处理效率。因此本专利技术提出一种在分布式存储系统上实现多客户端分布式缓存，通过提高本地数据访问，降低访问延迟和与网络相关的系统资源开销，从而提升分布式存储系统的整体性能。专利文献CN102541983B(申请号：201110326365.X)公开了一种分布式文件系统中多客户端缓存同步的方法，将元数据服务器作为客户端缓存信息的控制节点，对该元数据服务器上维护的索引节点，记录各个客户端在该元数据服务器上的存储状态；将元数据信息按照客户端缓存属本文档来自技高网...

【技术保护点】
1.一种支持分布式存储的多客户端缓存系统，其特征在于，包括：/n模块M1：缓存客户端将缓存数据同步加载到本地缓存设备并生成相应的缓存元数据文件提交缓存服务端；/n模块M2：缓存服务端对缓存元数据文件进行统一管理，为整个分布式存储系统提供集中式的状态监视、配置管理和全局缓存数据定位的元数据服务。/n

【技术特征摘要】
1.一种支持分布式存储的多客户端缓存系统，其特征在于，包括：
模块M1：缓存客户端将缓存数据同步加载到本地缓存设备并生成相应的缓存元数据文件提交缓存服务端；
模块M2：缓存服务端对缓存元数据文件进行统一管理，为整个分布式存储系统提供集中式的状态监视、配置管理和全局缓存数据定位的元数据服务。


2.根据权利要求1所述的支持分布式存储的多客户端缓存系统，其特征在于，所述模块M1包括：通过键值对的方式对缓存数据建立缓存元数据文件。


3.根据权利要求1所述的支持分布式存储的多客户端缓存系统，其特征在于，所述模块M1包括：缓存客户端通过包括共享内容方式与同一节点内的缓存服务端进行交互，也满足通过socket与其他节点上的缓存服务端进行交互。


4.根据权利要求1所述的支持分布式存储的多客户端缓存系统，其特征在于，所述元数据文件包括缓存数据的数据分布、数据副本、数据内容校验和数据版本。


5.根据权利要求1所述的支持分布式存储的多客户端缓存系统，其特征在于，模块M2包括：
模块M2.1：缓存服务端对缓存元数据文件进行元数据文件的写入、读取、更新和删除，
模块M2.2：缓存服务端对缓存元数据文件执行节点内缓存数据分布、缓存选择和替换。
模块M2.3：缓存服务端持续监听预设端口，为来自其他缓存客户端的跨节点请求提供响应服务。


6.根据权利要求5所述的支持分布式存储的多客户端缓存系统，其特征在于，所述模块M2.1包括：当通过posix方式读写文件时，通过读写过滤器捕获具体的文件操作。


7.根据权利要求5所述的支持分布式存储...

【专利技术属性】
技术研发人员：沈晨，王敬平，黄子君，杜真真，徐文远，褚少鹤，辛逸杰，
申请(专利权)人：华东计算技术研究所中国电子科技集团公司第三十二研究所，
类型：发明
国别省市：上海;31