System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据存储方法、装置、电子设备及存储介质制造方法及图纸_技高网

一种数据存储方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40601747 阅读:3 留言:0更新日期:2024-03-12 22:06
本申请实施例公开了一种数据存储方法、装置、电子设备及存储介质。该方法包括:根据候选存储节点的实际存储容量和储数据片的数据量,确定候选存储节点的可轮询存储次数;从候选存储节点中确定参考存储节点,根据参考存储节点的可轮询次数,以及其他各候选存储节点的可轮询存储次数,确定相对可轮询次数数据;根据参考存储节点的被选次数,与其他各候选存储节点的被选次数,确定相对选中次数数据;根据相对可轮询次数数据以及相对选中次数数据,确定目标存储节点,用于对待存储数据进行存储。通过上述技术方案,能够在存储节点部分容量异常的情况下,保证数据的正常存储。

【技术实现步骤摘要】

本申请实施例涉及数据存储,尤其涉及一种数据存储方法、装置、电子设备及存储介质


技术介绍

1、分布式存储在视频数据存储的场景中被广泛应用。各个图像采集器的图像数据以数据片的形式均匀分散地存储在集群中的各个存储节点上,各存储节点按照已使用容量和配额容量来维护新老数据更迭。

2、当分布式存储集群中一个存储节点或者多个存储节点上发生资源异常离线时,存储节点上的容量可能会失效,此时按照原有的调度方案进行数据存储,会造成异常存储节点上没有足够的容量存储新数据,导致数据存储失败,或者异常存储节点因为部分存储容量失效,使得剩余存储容量依然承担正常情况下的存储读写压力,造成存储io的增大,从而导致一系列异常情况。


技术实现思路

1、本申请提供了一种数据存储方法、装置、电子设备及存储介质,以在存储节点存在异常导致部分容量失效的情况下,保证数据的正常存储。

2、在一个实施例中,本申请实施例提供了一种数据存储方法,包括:

3、根据候选存储节点的实际存储容量,以及单次存储数据片的数据量,确定候选存储节点的可轮询存储次数;

4、从所述候选存储节点中确定参考存储节点,根据所述参考存储节点的可轮询次数,以及其他各候选存储节点的可轮询存储次数,确定所述参考存储节点与其他各候选存储节点的相对可轮询次数数据;

5、根据所述参考存储节点的被选次数,与其他各候选存储节点的被选次数,确定所述参考存储节点与其他各候选存储节点的相对选中次数数据;其中,被选次数为在轮询中被选中用于进行数据存储的次数;

6、根据所述相对可轮询次数数据以及所述相对选中次数数据,确定目标存储节点,用于对待存储数据进行存储。

7、在一个实施例中,本申请实施例提供了一种数据存储装置,包括:

8、可轮询存储次数确定模块,用于根据候选存储节点的实际存储容量,以及单次存储数据片的数据量,确定候选存储节点的可轮询存储次数;

9、第一相对数据确定模块,用于从所述候选存储节点中确定参考存储节点,根据所述参考存储节点的可轮询次数,以及其他各候选存储节点的可轮询存储次数,确定所述参考存储节点与其他各候选存储节点的相对可轮询次数数据;

10、第二相对数据确定模块,用于根据所述参考存储节点的被选次数,与其他各候选存储节点的被选次数,确定所述参考存储节点与其他各候选存储节点的相对选中次数数据;其中,被选次数为在轮询中被选中用于进行数据存储的次数;

11、目标存储节点确定模块,用于根据所述相对可轮询次数数据以及所述相对选中次数数据,确定目标存储节点,用于对待存储数据进行存储。

12、在一个实施例中,本申请实施例提供了一种电子设备,包括:

13、一个或多个处理器;

14、存储装置,用于存储一个或多个程序;

15、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述任一实施例中所述的数据存储方法。

16、在一个实施例中,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述任一实施例中所述的数据存储方法。

17、本申请实施例提供了一种数据存储方法、装置、电子设备及存储介质,实现方案为,根据候选存储节点的实际存储容量和储数据片的数据量,确定候选存储节点的可轮询存储次数;从候选存储节点中确定参考存储节点,根据参考存储节点的可轮询次数,以及其他各候选存储节点的可轮询存储次数,确定相对可轮询次数数据;根据参考存储节点的被选次数,与其他各候选存储节点的被选次数,确定相对选中次数数据;根据相对可轮询次数数据以及相对选中次数数据,确定目标存储节点,用于对待存储数据进行存储。通过上述技术方案,能够结合候选存储节点的实际存储容量,确定候选存储节点的可轮询存储次数,进而根据相对可轮询次数数据和相对选中次数数据确定目标存储节点,结合实际存储容量进行分布式存储,保证了数据的正常存储,提高了数据存储的稳定性和高效性。

本文档来自技高网...

【技术保护点】

1.一种数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,从所述候选存储节点中确定参考存储节点,包括:

3.根据权利要求1或2所述的方法,其特征在于,根据所述参考存储节点的可轮询次数,以及其他各候选存储节点的可轮询存储次数,确定所述参考存储节点与其他各候选存储节点的相对可轮询次数数据,包括:

4.根据权利要求1或2所述的方法,其特征在于,根据所述参考存储节点的被选次数,与其他各候选存储节点的被选次数,确定所述参考存储节点与其他各候选存储节点的相对选中次数数据,包括:

5.根据权利要求1或2所述的方法,其特征在于,根据所述相对可轮询次数数据以及所述相对选中次数数据,确定目标存储节点,包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,根据所述相对可轮询次数数据以及所述相对选中次数数据,确定目标存储节点,包括:

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:

9.一种数据存储装置,其特征在于,所述装置包括:

10.一种电子设备,其特征在于,包括:

11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的数据存储方法。

...

【技术特征摘要】

1.一种数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,从所述候选存储节点中确定参考存储节点,包括:

3.根据权利要求1或2所述的方法,其特征在于,根据所述参考存储节点的可轮询次数,以及其他各候选存储节点的可轮询存储次数,确定所述参考存储节点与其他各候选存储节点的相对可轮询次数数据,包括:

4.根据权利要求1或2所述的方法,其特征在于,根据所述参考存储节点的被选次数,与其他各候选存储节点的被选次数,确定所述参考存储节点与其他各候选存储节点的相对选中次数数据,包括:

5.根据权利要求1或2所述的方法,其特征在于,根据所...

【专利技术属性】
技术研发人员:寇毅
申请(专利权)人:西安宇视信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1