分布式对象存储系统及数据读写方法技术方案

本申请实施例提供了分布式对象存储系统及数据读写方法，该分布式对象存储系统，包括：存储服务器集群，多个Cache组成的Cache集群及多个API客户端；其中，各API客户端均能够访问Cache集群中任一Cache。每个API客户端均能够访问Cache集群中的任一Cache，因此对于相同的数据文件，Cache集群仅缓存一份即可，能够节约Cache的存储资源。同时能够解决多个客户端访问同一数据的一致性问题，使用相同的资源做Cache，整体的Cache缓存数据的命中率相比于单节点会更高。Cache采用集群的方式部署，可以按照需求调整Cache集群的规模，具有较好的容错性和可扩展性。

【技术实现步骤摘要】
分布式对象存储系统及数据读写方法
本申请涉及数据存储
，特别是涉及分布式对象存储系统及数据读写方法。
技术介绍
分布式对象存储系统可以在一个持久稳固且高度可用的系统中存储任意的对象，用户和应用可以在对象存储中使用API(ApplicationProgrammingInterface，应用程序编程接口)访问数据。分布式对象存储系统大多是通过在多个磁盘上存储多个副本来保证数据的安全性，多个副本之间数据保持一致。对于强一致性的分布式对象系统，读取任意的副本是等价的，因此当热点访问时客户端会随机访问多个副本来均衡不同副本的压力，为了提高吞吐和性能客户端通常采用Cache(高速缓存存储器)来缓存读取到的数据。相关技术中的分布式对象存储系统如图1所示，包括API客户端、元数据服务器集群及数据服务器集群，其中，各API客户端分别内置有Cache。其数据读写过程如图2所示，在API客户端获取到针对待读取数据的读取请求时，该API客户端首先检查自身的Cache中是否缓存有该待读取数据。若该API客户端自身的Cache中不包含该待读取数据，则该API客户端通本文档来自技高网...

【技术保护点】
1.一种分布式对象存储系统，其特征在于，所述系统包括：/n存储服务器集群、多个高速缓冲存储器Cache组成的Cache集群及多个应用程序编程接口API客户端；其中，各所述API客户端均能够访问所述Cache集群中任一所述Cache；/n所述Cache，用于缓存数据；/n所述存储服务器集群，用于存储数据；/n所述API客户端，用于在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述...

【技术特征摘要】
1.一种分布式对象存储系统，其特征在于，所述系统包括：
存储服务器集群、多个高速缓冲存储器Cache组成的Cache集群及多个应用程序编程接口API客户端；其中，各所述API客户端均能够访问所述Cache集群中任一所述Cache；
所述Cache，用于缓存数据；
所述存储服务器集群，用于存储数据；
所述API客户端，用于在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述Cache中。


2.根据权利要求1所述的系统，其特征在于，所述API客户端，还用于：在所述Cache集群中缓存有所述目标数据时，从所述Cache集群中获取所述目标数据以响应所述访问请求。


3.根据权利要求1所述的系统，其特征在于，所述存储服务集群包括元数据服务器集群及数据服务器集群；
所述数据服务器集群，用于存储数据；
所述元数据服务器集群，用于管理所述数据服务器集群中的数据。


4.根据权利要求1所述的系统，其特征在于，所述API客户端，还用于：在获取到指定数据写入请求时，向所述存储服务器集群中写入所述指定数据，并将所述指定数据缓存到所述Cache集群中的一所述Cache中。


5.根据权利要求1所述的系统，其特征在于，所述查询所述Cache集群的各所述Cache中是否存在所述目标数据，包括：
获取所述目标数据标识；
按照所述目标数据标识，查询所述Cache集群的数据表，确定所述目标数据标识对应的各数据块的存储位置标识key；
根据各数据块的存储位置标识key，利用一致性哈希算法对key值进行计算，确定目标Cache标识；
按照所述目标Cache标识，查询所述目标Cache，判断所述目标数据是否存在。


6.一种分布式对象存储系统，其特征在于，所述系统包括：
存储服务器集群及多个缓存服务器，所述缓存服务器包括Cache及API客户端，多个所述Cache组成Cache集群；其中，各所述API客户端均能够访问所述Cache集群中任一所述Cache；
所述Cache，用于缓存数据；
所述存储服务器集群，用于存储数据；
所述API客户端，用于在获取到针对目标数据的访问请求时，查询所述Cache集群的各所述Cache中是否存在所述目标数据；在所述Cache集群的各所述Cache中均不包含所述目标数据时，从所述存储服务器集群中获取所述目标数据以响应所述访问请求，并将所述目标数据缓存到所述Cache集群中的一所述Cache中。


7.一种分...

【专利技术属性】
技术研发人员：甘红星，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京;11