一种分布式存储多客户端异步写的方法及系统技术方案

技术编号:31487325 阅读:37 留言:0更新日期:2021-12-18 12:23
本发明专利技术提供了一种分布式存储多客户端异步写的方法及系统,方法包括接收客户端的写操作请求,解析当前写的偏移量和长度,并将为当前请求分配的版本号作为键值,所述偏移量和长度作为值,将键值对进行保存;对于同一文件的写操作,检查所述键值对中值的重合程度;进行过滤整合;客户端将数据写入存储系统,并查找对应的版本号,若当前版本号不存在,则丢掉数据,否则按照当前版本号对应的值,将数据进行落盘。本发明专利技术对多客户端同时写一个文件时,采用异步写的方式,且对写数据分配版本号,并基于版本号检查不同写操作的偏移量和长度,对版本号进行整合,避免数据冗余,且充分利用客户端的本地缓存,进行缓存写操作,提高客户端的写效率。写效率。写效率。

【技术实现步骤摘要】
一种分布式存储多客户端异步写的方法及系统


[0001]本专利技术涉及存储
,尤其是一种分布式存储多客户端异步写的方法及系统。

技术介绍

[0002]在分布式存储系统中,多客户端写同一个文件时,为了保证数据一致性,绕过了客户端本地缓存,采用同步写的方式将数据写入存储系统。
[0003]因此当前对于多客户端写同一文件时,由于绕过了本地缓存,导致写时延相较于写缓存较高,使得写效率较低。

技术实现思路

[0004]本专利技术提供了一种分布式存储多客户端异步写的方法及系统,用于解决现有同步写效率低的问题。
[0005]为实现上述目的,本专利技术采用下述技术方案:
[0006]本专利技术第一方面提供了一种分布式存储多客户端异步写的方法,所述方法包括以下步骤:
[0007]接收客户端的写操作请求,解析当前写的偏移量和长度,并将为当前请求分配的版本号作为键值,所述偏移量和长度作为值,将键值对进行保存;
[0008]对于同一文件的写操作,检查所述键值对中值的重合程度;
[0009]当值完全重合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储多客户端异步写的方法,其特征是,所述方法包括以下步骤:接收客户端的写操作请求,解析当前写的偏移量和长度,并将为当前请求分配的版本号作为键值,所述偏移量和长度作为值,将键值对进行保存;对于同一文件的写操作,检查所述键值对中值的重合程度;当值完全重合时,进行版本号过滤,保留最新的版本号;当值部分重合时,进行版本号整合,保留最新的版本号,删除旧版本号或修改旧版本号对应的值;客户端将数据写入存储系统,并查找对应的版本号,若当前版本号不存在,则丢掉数据,否则按照当前版本号对应的值,将数据进行落盘。2.根据权利要求1所述分布式存储多客户端异步写的方法,其特征是,所述方法在所述接收客户端的写操作请求之前还包括步骤:客户端向服务端请求本次写操作对应的版本号,同时将本次写操作的偏移量和长度发送给服务端。3.根据权利要求2所述分布式存储多客户端异步写的方法,其特征是,所述方法还包括以下步骤:所述客户端在接收到服务端分配的版本号后,将当前写操作的数据写入本地缓存。4.根据权利要求1

3任一项所述分布式存储多客户端异步写的方法,其特征是,所述值部分重合包括后一写操作的偏移量小于前一写操作的偏移量,且后一写操作的数据终点在前一写操作之内,所述进行版本号整合具体为:将前一写操作的偏移量修改为offset2+length2

offset1,其中offset2、length2和offset1分别表示后一写操作的偏移量、后一写操作的长度和前一写操作的偏移量。5.根据权利要求1

3任一项所述分布式存储多客户端异步写的方法,其特征是,所述值部分重合包括后一写操作的偏移量大于前一写操作的偏移量,且前一写操作的数据终点在后一写操作之内,所述进行版本号整合具体为:将前一写操作的长度修改为offset2

offset1,其中offset2和offset1分别表示后一写操作的偏移量和前一写操作的偏移量。6.根据权利要求1

3任一项所述分布式存储多客户端异步写的方法,其特征是,所述值部分重合包括后一写操作的偏移量小于前一写操作的偏移量,且前一写操作的终点在后一写操作之内,所述进行版本号整合具体为:删除前一写操作对应的版本号。7.根据权利要求1<...

【专利技术属性】
技术研发人员:刘欢
申请(专利权)人:济南浪潮数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1