System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 栅格数据分片存储方法、装置、设备及存储介质制造方法及图纸_技高网

栅格数据分片存储方法、装置、设备及存储介质制造方法及图纸

技术编号:40946588 阅读:4 留言:0更新日期:2024-04-18 20:19
本公开的实施例提供了一种栅格数据分片存储方法、装置、设备及存储介质。所述方法包括:获取栅格数据;对所述栅格数据进行切分,生成分片栅格数据;对所述分片栅格数据进行无中心分布式存储。以此方式,可以通过无中心分片存储栅格数据的存储方式,克服了高并发场景下的栅格数据存储及读写易发生单点故障等问题,并且由于采用计算存储节点的方式,将块数据分发到不同的机器上来做存储,同时分片的算法兼顾了栅格数据的特点,使相邻的块尽可能的分布在同一个节点上,便于栅格数据的读取。

【技术实现步骤摘要】

本公开一般涉及遥感影像信息处理,并且更具体地,涉及一种栅格数据分片存储方法、装置、设备及存储介质


技术介绍

1、将栅格数据存储到数据库中,通用的方案是将栅格数据划分成256*256的小块,然后分别按照行、列存入到数据库中。而数据库所使用的存储一般都在特定的磁盘上,随着数据的增多,对磁盘的占用空间也会越来越大。这种处理方式导致的以下问题:所有的读写压力都集中在特定磁盘上,当数据库访问并发比较大的时候,磁盘的读写速度将会成为瓶颈;磁盘空间很容易超限,需要不定期的扩容磁盘来保证需要;容易出现单点故障,即磁盘损坏,数据则丢失。

2、同时市面上已存在中心节点管理元数据、分布式管理元数据、无元数据设计等方式解决存储问题,但都存在相应的缺点,并没有完全解决该问题,并且关于遥感影像领域的栅格数据存储存在优化的空间。


技术实现思路

1、本公开提供了一种栅格数据分片存储方法、装置、设备及存储介质。

2、根据本公开的第一方面,提供了一种栅格数据分片存储方法。该方法包括:

3、获取栅格数据;

4、对栅格数据进行切分,生成分片栅格数据;

5、对分片栅格数据进行无中心分布式存储。

6、优选的,获取栅格数据包括:对原始栅格数据进行预处理,即对栅格数据的图像进行去重、去噪、归一化。

7、优选的,对栅格数据进行切分包括:

8、对原始栅格数据进行分块,按照预设分片规则生成具有确定大小的分片栅格数据。

9、优选的,对分片栅格数据进行无中心分布式存储包括:

10、根据分片栅格数据在原始栅格数据的行、列号对其进行编号;

11、根据各编号结果确定各分片栅格数据的存储节点;

12、数据库存储引擎根据存储节点对分片栅格数据进行分发,分发至各设备。

13、优选的,通过以下公式确定分片栅格数据所在的存储节点:

14、

15、其中,index为存储节点标识,w为原始栅格的宽,h为原始栅格的高,r为各分片栅格数据在原始栅格中对应的行号,c为对应的列号是,m同时规定为存储节点的数量,offset为代表冗余节点偏移量,取值为[1,3]。

16、优选的,响应于用户获取数据请求确定获取数据请求的区域对应的分片栅格数据,生成数据返回指令,

17、其中,数据返回指令包括获取数据请求的区域对应的多个分片栅格数据,及各分片栅格数据在原始栅格数据对的行、列编号;

18、存储引擎根据接收到的数据返回指令确定数据返回指令对应的存储节点;

19、并根据存储节点确定各存储节点对应的分片栅格数据,对得到各分片栅格数据返回至用户。

20、根据本公开的第二方面,提供了一种栅格数据分片存储装置。该装置包括:

21、获取模块,用于获取栅格数据;

22、切分模块,用于对栅格数据进行切分,生成分片栅格数据;

23、存储模块,用于对分片栅格数据进行无中心分布式存储。

24、根据本公开的第三方面,提供了一种电子设备。该电子设备包括:存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如以上所述的方法。

25、根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如以上所述的方法。

26、本公开中,通过无中心分片存储栅格数据的存储方式,克服了高并发场景下的栅格数据存储及读写易发生单点故障等问题,并且由于采用计算存储节点的方式,将块数据分发到不同的机器上来做存储,同时分片的算法兼顾了栅格数据的特点,使相邻的块尽可能的分布在同一个节点上,便于栅格数据的读取。

27、应当理解,
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种栅格数据分片存储方法,应用于数据库存储引擎,其特征在于,所述方法包括:

2.根据权利要求1所述的存储方法,其特征在于,所述获取栅格数据包括:

3.根据权利要求1所述的存储方法,其特征在于,所述对所述栅格数据进行切分包括:

4.根据权利要求1所述的存储方法,其特征在于,所述对所述分片栅格数据进行无中心分布式存储包括:

5.根据权利要求1所述的存储方法,其特征在于,通过以下公式确定所述分片栅格数据所在的存储节点:

6.根据权利要求5所述的存储方法,其特征在于,还包括:

7.一种栅格数据分片存储装置,其特征在于,所述装置包括:

8.一种电子设备,其特征在于,包括:至少一个处理器;以及

9.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

【技术特征摘要】

1.一种栅格数据分片存储方法,应用于数据库存储引擎,其特征在于,所述方法包括:

2.根据权利要求1所述的存储方法,其特征在于,所述获取栅格数据包括:

3.根据权利要求1所述的存储方法,其特征在于,所述对所述栅格数据进行切分包括:

4.根据权利要求1所述的存储方法,其特征在于,所述对所述分片栅格数据进行无中心分布式存储包括:

5.根据权利要求1所述的存储方法,其特征...

【专利技术属性】
技术研发人员:熊兆李小飞
申请(专利权)人:中科星图数字地球合肥有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1