System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据存储方法、装置、计算机设备和存储介质制造方法及图纸_技高网

数据存储方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:40551187 阅读:8 留言:0更新日期:2024-03-05 19:10
本申请涉及一种数据存储方法、装置、计算机设备、存储介质和计算机程序产品,可以实现文件存储。所述方法包括:接收至少两个工作节点发送的空间申请请求,各个空间申请请求携带各个工作节点各自的待存储数据所需的存储空间容量;获取存储节点的剩余空间容量,基于剩余空间容量为至少一个工作节点分配存储空间,并向已分配存储空间的工作节点返回空间块标识;在空间块标识成功保存的情况下,基于已分配的存储空间更新存储节点的剩余空间容量;在更新后的剩余空间容量小于剩余工作节点各自所需的存储空间容量的情况下,向各个剩余工作节点返回用于表征存储节点处于对剩余工作节点屏蔽数据写入状态的通知信息。采用本方法能够有效避免数据写入失败。

【技术实现步骤摘要】

本申请涉及数据存储,特别是涉及一种数据存储方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、随着计算机技术的发展,出现了云存储技术,云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。

2、在云存储系统中,通常由多个工作节点并行处理数据写入任务,为节省成本,可以使用存储速度小于预设阈值的慢设备作为存储节点,例如可以是以磁带、蓝光光碟等作为存储介质的设备,然而这些慢设备由于对数据的存储速度慢,和工作节点之间的交互时间较长,导致容量更新滞后,当多个工作节点并发进行数据写入时,容易造成部分工作节点存储失败的情况。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够有效避免多个工作节点并发进行数据写入的情况下存储失败的数据存储方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、一方面,本申请提供了一种数据存储方法。所述方法包括:接收至少两个工作节点发送的空间申请请求,各个空间申请请求携带各个工作节点各自需要写入存储节点的待存储数据所需的存储空间容量,所述存储节点对待存储数据的存储速度小于预设阈值;获取存储节点的剩余空间容量,基于所述存储节点的剩余空间容量为至少一个工作节点分配存储空间,并向已分配存储空间的工作节点返回空间块标识,所述空间块标识用于在所述存储节点中唯一标识所述已分配存储空间的工作节点所写入的待存储数据;在所述已分配存储空间的工作节点成功保存所述空间块标识的情况下,基于已分配的存储空间更新所述存储节点的剩余空间容量;在更新后的剩余空间容量小于各个剩余工作节点各自所需的存储空间容量的情况下,向各个剩余工作节点返回用于表征所述存储节点处于对各个剩余工作节点屏蔽数据写入状态的通知信息。

3、另一方面,本申请还提供了一种数据存储装置。所述装置包括:请求接收模块,用于接收至少两个工作节点发送的空间申请请求,各个空间申请请求携带各个工作节点各自需要写入存储节点的待存储数据所需的存储空间容量,所述存储节点对待存储数据的存储速度小于预设阈值;空间分配模块,用于获取存储节点的剩余空间容量,基于所述存储节点的剩余空间容量为至少一个工作节点分配存储空间,并向已分配存储空间的工作节点返回空间块标识,所述空间块标识用于在所述存储节点中唯一标识所述已分配存储空间的工作节点所写入的待存储数据;容量更新模块,用于在所述已分配存储空间的工作节点成功保存所述空间块标识的情况下,基于已分配的存储空间更新所述存储节点的剩余空间容量;通知发送模块,用于在更新后的剩余空间容量小于各个剩余工作节点各自所需的存储空间容量的情况下,向各个剩余工作节点返回用于表征所述存储节点处于对各个剩余工作节点屏蔽数据写入状态的通知信息。

4、另一方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:接收至少两个工作节点发送的空间申请请求,各个空间申请请求携带各个工作节点各自需要写入存储节点的待存储数据所需的存储空间容量,所述存储节点对待存储数据的存储速度小于预设阈值;获取存储节点的剩余空间容量,基于所述存储节点的剩余空间容量为至少一个工作节点分配存储空间,并向已分配存储空间的工作节点返回空间块标识,所述空间块标识用于在所述存储节点中唯一标识所述已分配存储空间的工作节点所写入的待存储数据;在所述已分配存储空间的工作节点成功保存所述空间块标识的情况下,基于已分配的存储空间更新所述存储节点的剩余空间容量;在更新后的剩余空间容量小于各个剩余工作节点各自所需的存储空间容量的情况下,向各个剩余工作节点返回用于表征所述存储节点处于对各个剩余工作节点屏蔽数据写入状态的通知信息。

5、另一方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:接收至少两个工作节点发送的空间申请请求,各个空间申请请求携带各个工作节点各自需要写入存储节点的待存储数据所需的存储空间容量,所述存储节点对待存储数据的存储速度小于预设阈值;获取存储节点的剩余空间容量,基于所述存储节点的剩余空间容量为至少一个工作节点分配存储空间,并向已分配存储空间的工作节点返回空间块标识,所述空间块标识用于在所述存储节点中唯一标识所述已分配存储空间的工作节点所写入的待存储数据;在所述已分配存储空间的工作节点成功保存所述空间块标识的情况下,基于已分配的存储空间更新所述存储节点的剩余空间容量;在更新后的剩余空间容量小于各个剩余工作节点各自所需的存储空间容量的情况下,向各个剩余工作节点返回用于表征所述存储节点处于对各个剩余工作节点屏蔽数据写入状态的通知信息。

6、另一方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:接收至少两个工作节点发送的空间申请请求,各个空间申请请求携带各个工作节点各自需要写入存储节点的待存储数据所需的存储空间容量,所述存储节点对待存储数据的存储速度小于预设阈值;获取存储节点的剩余空间容量,基于所述存储节点的剩余空间容量为至少一个工作节点分配存储空间,并向已分配存储空间的工作节点返回空间块标识,所述空间块标识用于在所述存储节点中唯一标识所述已分配存储空间的工作节点所写入的待存储数据;在所述已分配存储空间的工作节点成功保存所述空间块标识的情况下,基于已分配的存储空间更新所述存储节点的剩余空间容量;在更新后的剩余空间容量小于各个剩余工作节点各自所需的存储空间容量的情况下,向各个剩余工作节点返回用于表征所述存储节点处于对各个剩余工作节点屏蔽数据写入状态的通知信息。

7、上述数据存储方法、装置、计算机设备、存储介质和计算机程序产品,通过接收至少两个工作节点发送的空间申请请求,各个空间申请请求携带各个工作节点各自需要写入存储节点的待存储数据所需的存储空间容量,存储节点对待存储数据的存储速度小于预设阈值,获取存储节点的剩余空间容量,基于存储节点的剩余空间容量为至少一个工作节点分配存储空间,并向已分配存储空间的工作节点返回空间块标识,空间块标识用于在存储节点中唯一标识已分配存储空间的工作节点所写入的待存储数据,在已分配存储空间的工作节点成功保存空间块标识的情况下,基于已分配的存储空间更新存储节点的剩余空间容量,在更新后的剩余空间容量小于各个剩余工作节点各自所需的存储空间容量的情况下,向各个剩余工作节点返回用于表征存储节点处于对各个剩余工作节点屏蔽数据写入状态的通知信息,实现了对存储节点的存储空间进行预分配,并在预分配阶段判断出可能写入失败的工作节点,向该工作节点返回表征存储空间不足的通知信息,从而有效避免了这些工本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,应用于协调节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述存储节点的剩余空间容量为至少一个工作节点分配存储空间,包括:

3.根据权利要求2所述的方法,其特征在于,对于每一个空间申请请求,所述空间申请请求所对应的待存储数据包括多个数据块,所述空间申请请求所携带的存储空间容量包括各个数据块各自所需的存储空间子容量;

4.根据权利要求1所述的方法,其特征在于,所述存储节点包括至少两个数据存储容器;所述获取存储节点的剩余空间容量,包括:

5.根据权利要求1所述的方法,其特征在于,所述在所述已分配存储空间的工作节点成功保存所述空间块标识的情况下,基于已分配的存储空间更新所述存储节点的剩余空间容量,包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述存储节点包括多个磁带库组,所述磁带库组中的存储介质包括磁带。

8.一种数据存储方法,其特征在于,应用于至少两个工作节点中的其中一个工作节点,所述方法包括:

9.根据权利要求8所述的方法,其特征在于,所述方法还包括:

10.根据权利要求8所述的方法,其特征在于,在所述向协调节点发送空间申请请求之前,所述方法还包括:

11.一种数据存储装置,其特征在于,所述装置包括:

12.一种数据存储装置,其特征在于,所述装置包括:

13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7或者8至10中任一项所述的方法的步骤。

14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7或者8至10中任一项所述的方法的步骤。

15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7或者8至10中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种数据存储方法,其特征在于,应用于协调节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述存储节点的剩余空间容量为至少一个工作节点分配存储空间,包括:

3.根据权利要求2所述的方法,其特征在于,对于每一个空间申请请求,所述空间申请请求所对应的待存储数据包括多个数据块,所述空间申请请求所携带的存储空间容量包括各个数据块各自所需的存储空间子容量;

4.根据权利要求1所述的方法,其特征在于,所述存储节点包括至少两个数据存储容器;所述获取存储节点的剩余空间容量,包括:

5.根据权利要求1所述的方法,其特征在于,所述在所述已分配存储空间的工作节点成功保存所述空间块标识的情况下,基于已分配的存储空间更新所述存储节点的剩余空间容量,包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述存储节点包括多个磁带库组,所述磁带库组中的存储介质包括磁带。...

【专利技术属性】
技术研发人员:杨骥秦凯悦
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1