大数据量遥感影像数据的存储方法和装置制造方法及图纸

技术编号:38629545 阅读:27 留言:0更新日期:2023-08-31 18:29
本申请涉及大数据领域,尤其涉及一种大数据量遥感影像数据的存储方法和装置,其包括大数据量遥感影像数据的存储方法,包括:将数据划分为N个片段;将存储空间划分为M个节点;将所述M个节点中的一个节点设置为配置节点,剩余的M

【技术实现步骤摘要】
大数据量遥感影像数据的存储方法和装置


[0001]本申请涉及大数据的领域,尤其是涉及一种大数据量遥感影像数据的存储方法和装置。

技术介绍

[0002]目前在遥感空间数据存储领域,当库中数据量达到上千万甚至上亿时,数据检索(属性检索和空间检索、空间聚合等)会耗时较久,导致系统响应变慢、接口超时。传统的分库分表是一种在关系型数据库中对数据进行水平分割的技术。在这种情况下,主要目标是将大量空间数据划分为较小的数据块,然后将其分配到不同的数据库中,以提高数据库的性能和可扩展性。一般情况下,当数据量达到一个可承受的范围时,就需要进行分库分表。这种技术是基于数据分散的概念,将一个大型的数据库拆分为多个更小的数据库,然后将空间数据分散到这些数据库中。分库分表会增加系统中的组件数量,导致了更多的管理和配置工作,这会增加整个系统开发、部署和维护的难度。目标数据可能分散在各个库中,空间操作如聚合等需要进行多次运算才能得到结果,存储效率提升并不明显。

技术实现思路

[0003]为了解决存储过程中效率提升不明显的技术问题,本申请提供了一种大数据量遥感影本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据量遥感影像数据的存储方法,其特征在于,包括:将所述数据划分为N个片段;将存储空间划分为M个节点;将所述M个节点中的一个节点设置为配置节点,剩余的M

1个节点设置为存储大数据量遥感影像数据的工作节点;利用配置节点将N个片段的所述数据存储到对应的存储大数据量遥感影像数据的M

1个工作节点。2.根据权利要求1所述的方法,其特征在于,还包括:增加K个工作节点;配置节点分配增加工作节点后的M+K

1个节点的数据存储。3.根据权利要求1所述的方法,其特征在于,还包括:将所述N个片段复制P份,分配到M

1个工作节点中。4.根据权利要求1所述的方法,其特征在于,所述将数据划分为N个片段,包括:创建分布式索引;根据分布式索引的结构,将表分为多个片段;将所述大数据量遥感影像数据划分为N个片段,并加入到对应的分为多个片段的表中。5.根据权利要求4所述的方法,其特征在于,所述分布式索引,包括:分布式B

Tree和/或哈希索引。6.一种大数据量遥感影像数据的存储装置,其特征在于,包括:第一划分模块:用于将大数据量遥...

【专利技术属性】
技术研发人员:周宁杨毅钟普天刘宁山徐斌
申请(专利权)人:北京捷泰云际信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1