System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 分布式数据存储控制方法、装置、可读介质及电子设备制造方法及图纸_技高网

分布式数据存储控制方法、装置、可读介质及电子设备制造方法及图纸

技术编号:41133257 阅读:4 留言:0更新日期:2024-04-30 18:03
本公开涉及一种分布式数据存储控制方法、装置、可读介质及电子设备,其中,方法包括工作节点接收到写锁并根据写锁对文件大小进行修改后,先将修改后的文件大小缓存在工作节点中,直到响应分布式锁管控节点发送的用于收回写锁的写锁请求时,再将修改后的文件大小传输给分布式锁管控节点,以使分布式管控节点进行文件大小的更新。由此可以避免在高并发修改文件大小的场景下,导致同步文件大小到分布式管控节点的请求量过大,影响分布式锁管控节点的性能和并发度。

【技术实现步骤摘要】

本公开涉及计算机,具体地,涉及一种分布式数据存储控制方法、装置、可读介质及电子设备


技术介绍

1、随着计算机技术的快速发展,分布式系统得到了广泛的应用。相关技术中,分布式系统中的工作节点在对获取的共享资源进行修改后,需要将修改后的共享资源实时传输至共享资源的管理节点,以保证共享资源的一致性。


技术实现思路

1、提供该
技术实现思路
部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、第一方面,本公开提供一种分布式数据存储控制方法,所述方法包括:

3、响应于客户端发送的对目标文件的第一修改请求,向分布式锁管控节点发送用于获取第一写锁、第一索引节点标识和第一文件大小的第一获取请求,所述第一写锁用于控制节点对所述目标文件的写操作,所述第一索引节点标识用于标识所述目标文件的索引节点,所述第一文件大小为所述目标文件的文件大小;

4、接收所述分布式管控节点响应于所述第一获取请求发送的所述第一写锁、所述第一文件大小和所述第一索引节点标识,根据所述第一修改请求中的第一修改信息对所述第一文件大小进行修改,得到第二文件大小,并根据所述第一索引节点标识将所述第二文件大小缓存到第一索引数据表中的目标位置,所述第一索引数据表存储在当前节点;

5、响应于所述分布式管控节点发送的用于收回所述第一写锁的收回请求,向所述分布式锁管控节点发送所述第一写锁、所述第一索引节点标识以及所述第二文件大小,以使所述分布式锁管控节点将第二索引数据表中与所述第一索引节点标识对应的第一文件大小更新为所述第二文件大小,所述第二索引数据表存储在所述分布式管控节点。

6、第二方面,本公开提供一种分布式数据存储控制方法,所述方法包括:

7、响应于节点发送的用于获取第一写锁、第一索引节点标识和第一文件大小的第一获取请求,向所述节点发送所述第一写锁、所述第一文件大小和所述第一索引节点标识,所述第一写锁用于控制所述节点对目标文件的写操作,所述第一索引节点标识用于标识所述目标文件的索引节点,所述第一文件大小为所述目标文件的文件大小;

8、响应于其余节点发送的所述第一获取请求,向所述节点发送用于收回所述第一写锁的收回请求;

9、接收所述节点响应于所述收回请求发送的所述第一写锁、所述第一索引节点标识以及第二文件大小,根据所述第一索引节点标识获取第二索引数据表中的第一文件大小,并将所述第二索引数据表中的第一文件大小更新为所述第二文件大小,所述第二索引数据表存储在当前节点,所述第二文件大小是所述节点根据第一修改请求中的第一修改信息对所述分布式管控节点发送的所述第一文件大小进行修改得到的,所述第一修改请求是客户端发送的。

10、第三方面,本公开提供一种分布式数据存储控制装置,所述装置包括:

11、第一发送模块,用于响应于客户端发送的对目标文件的第一修改请求,向分布式锁管控节点发送用于获取第一写锁、第一索引节点标识和第一文件大小的第一获取请求,所述第一写锁用于控制对所述目标文件的写操作,所述第一索引节点标识用于标识所述目标文件的索引节点,所述第一文件大小为所述目标文件的文件大小;

12、第一接收模块,用于接收所述分布式管控节点响应于所述第一获取请求发送的所述第一写锁、所述第一文件大小和所述第一索引节点标识,根据所述第一修改请求中的第一修改信息对所述第一文件大小进行修改,得到第二文件大小,并根据所述第一索引节点标识将所述第二文件大小缓存到第一索引数据表中的目标位置,所述第一索引数据表存储在当前节点;

13、第二发送模块,用于响应于所述分布式管控节点发送的用于收回所述第一写锁的收回请求,向所述分布式锁管控节点发送所述第一写锁、所述第一索引节点标识以及所述第二文件大小,以使所述分布式锁管控节点将第二索引数据表中与所述第一索引节点标识对应的第一文件大小更新为所述第二文件大小,所述第二索引数据表存储在所述分布式管控节点。

14、第四方面,本公开提供一种分布式数据存储控制装置,所述装置包括:

15、第八发送模块,用于响应于节点发送的用于获取第一写锁、第一索引节点标识和第一文件大小的第一获取请求,向所述节点发送所述第一写锁、所述第一文件大小和所述第一索引节点标识,所述第一写锁用于控制所述节点对目标文件的写操作,所述第一索引节点标识用于标识所述目标文件的索引节点,所述第一文件大小为所述目标文件的文件大小;

16、第九发送模块,用于响应于其余节点发送的所述第一获取请求,向所述节点发送用于收回所述第一写锁的收回请求;

17、更新模块,用于接收所述节点响应于所述收回请求发送的所述第一写锁、所述第一索引节点标识以及第二文件大小,根据所述第一索引节点标识获取第二索引数据表中的第一文件大小,并将所述第二索引数据表中的第一文件大小更新为所述第二文件大小,所述第二索引数据表存储在当前节点,所述第二文件大小是所述节点根据第一修改请求中的第一修改信息对所述分布式管控节点发送的所述第一文件大小进行修改得到的,所述第一修改请求是客户端发送的。

18、第五方面,本公开提供一种计算机可读介质,其上存储有计算机程序,该程序被处理装置执行时实现第一方面或第二方面中任一项所述方法的步骤。

19、第六方面,本公开提供一种电子设备,包括:

20、存储装置,其上存储有计算机程序;

21、处理装置,用于执行所述存储装置中的所述计算机程序,以实现第一方面或第二方面中任一项所述方法的步骤。

22、通过上述技术方案,工作节点可以在从分布式锁管控节点接收到写锁、索引节点标识以及文件大小以后,根据修改请求中的修改信息对文件大小进行修改,并将修改得到的文件大小缓存到第一索引数据表中索引节点标识对应的目标位置,以及在响应对写锁的收回请求时,向分布式锁管控节点发送索引节点标识和第一索引数据表中该索引节点标识对应的文件大小,以使分布式锁管控节点将第二索引数据表中与该索引节点标识对应的文件大小更新为接收到的文件大小。由于工作节点在对文件大小进行修改后,并不是立即将修改后的文件大小发送给分布式管控节点,而是将修改后的文件大小缓存在第一索引数据表中,并在响应收回请求时将修改后的文件大小传输给分布式锁管控节点,由此可以避免在高并发修改文件大小的场景下,导致同步文件大小到分布式管控节点的请求量过大,影响分布式锁管控节点的性能和并发度。

23、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

本文档来自技高网...

【技术保护点】

1.一种分布式数据存储控制方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述向资源管理节点发送读取请求,包括:

7.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:

9.一种分布式数据存储控制方法,其特征在于,所述方法包括:

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

11.根据权利要求9或10所述的方法,其特征在于,所述方法还包括:

12.根据权利要求11所述的方法,其特征在于,所述获取索引节点标识的写锁信息和节点有效性标志,根据所述写锁信息和所述节点有效性标志确定第二索引节点标识,包括:

13.根据权利要求9或10所述的方法,其特征在于,所述方法还包括:

14.根据权利要求13所述的方法,其特征在于,所述文件大小更正请求包括用于确定本次更正起点的目标信息,所述响应于第二工作节点发送的文件大小更正请求,确定待更正文件的第三索引节点标识,包括:

15.一种分布式数据存储控制装置,其特征在于,所述装置包括:

16.一种分布式数据存储控制装置,其特征在于,所述装置包括:

17.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现权利要求1-14中任一项所述方法的步骤。

18.一种电子设备,其特征在于,包括:

...

【技术特征摘要】

1.一种分布式数据存储控制方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述向资源管理节点发送读取请求,包括:

7.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:

9.一种分布式数据存储控制方法,其特征在于,所述方法包括:

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:

11.根据权利要求9或10所述的方法,其特征...

【专利技术属性】
技术研发人员:田杨锋王杰李鹏杨金峰
申请(专利权)人:北京火山引擎科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1