在线即分析影像与格网立方体数据存储管理方法及系统技术方案

本发明专利技术涉及一种在线即分析影像与格网立方体数据存储管理方法及系统。该方法包括：将影像与格网立方体以多种瓦片分割方案存储，每种存储方案对应一个配置，通过匹配规则比较每种配置的I/O数及数据大小，获得顾及数据量条件下的I/O最少的瓦片分割存储方案，访问相应瓦片分割存储方案的目标数据块，以提升立方体在线即分析性能。本发明专利技术提供的基于MongoDB的立方体数据存储方法提高了在线即分析应用条件下立方体目标数据块的访问效率，减少了无效数据块的传输及相应算力的消耗，提升在线即分析应用性能。析应用性能。析应用性能。

【技术实现步骤摘要】
在线即分析影像与格网立方体数据存储管理方法及系统


[0001]本专利技术属于大数据
，具体涉及一种在线即分析影像与格网立方体数据存储管理方法及系统。

技术介绍

[0002]当今已进入大数据时代，特别是对地观测应用不断发展，对多维格网的在线即分析应用提出了新的需求，多维格网数据量随维度增加数据量呈几何增长，在线即分析应用往往仅需要部分数据，传统影像与格网的全量数据访问方式，浪费带宽，无法满足在线即分析应用的性能需求。随着NoSQL数据库的不断发展和成熟，可以较好地解决海量存储和在线即分析方面的应用需求。NoSQL数据库MongoDB的一个重要的特色在于提供了GridFS用于存储大小超过 16MB 的文件，默认使用fs.chunks和fs.files来存储文件，其中fs.files集合存放文件的信息，fs.chunks存放文件的数据。GridFS已有不少学者已将GridFS应用于影像与格网数据存储，如将遥感影像数据文件存储到GridFS中，并利用其分布式机制以提升数据访问性能。相比较单个二维影像数据的分割存储，影像与格网立方体的数据量比二维影本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在线即分析影像与格网立方体数据存储管理方法，其特征在于，包括：将影像与格网立方体以多种瓦片分割方案存储，每种存储方案对应一个配置，通过匹配规则比较每种配置的I/O数及数据大小，获得顾及数据量条件下的I/O最少的瓦片分割存储方案，再获取相应瓦片分割存储方案的目标数据块索引，完成相应瓦片分割存储方案的目标数据块访问。2.根据权利要求1所述的在线即分析影像与格网立方体数据存储管理方法，其特征在于，具体包括：将影像与格网立方体以多种瓦片分割方案存储，设置基于MongoDB的瓦片分割存储方案的配置，每种存储方案对应一个配置，包括瓦片大小、轴序列、瓦片尺寸参数；设置在线即分析应用中立方体的目标数据块访问的匹配规则，用于比较每种方案配置的I/O数及数据量，并获得顾及请求数据量及其系数条件下I/O最少的瓦片分割存储方案；获得在线即分析应用中立方体请求索引范围，根据匹配规则，以确定顾及请求数据量及其系数条件下I/O数最少的瓦片分割存储方案，再获取目标数据块索引，完成相应瓦片分割存储方案的目标数据块访问。3.根据权利要求1或2所述的在线即分析影像与格网立方体数据存储管理方法，其特征在于，所述立方体以多种瓦片分割方案存储，一个立方体存在多个GridFS中，每种瓦片分割存储方案对应一个配置，记为p
i
(1≤i≤n)，立方体的n种瓦片分割方案存储表示为{p1,p2,...,p
n
}。4.根据权利要求1或2所述的在线即分析影像与格网立方体数据存储管理方法，其特征在于，所述立方体的瓦片分割方案存储为基于MongoDB的瓦片分割存储方案，将立方体沿给定的轴序列，按固定瓦片尺寸参数进行分割，每轴末端不足部分用固定值null填充获得的固定大小的瓦片，每一个瓦片为MongoDB的一个GridFS；相应瓦片分割存储方案的配置包括瓦片大小、轴序列、瓦片尺寸信息，参数记录格式为{v,<A>,<t>}，v表示MongoDB的GridFS瓦片大小，<A>表示瓦片轴序列，用<x,y,z&...

【专利技术属性】
技术研发人员：余劲松弟，
申请(专利权)人：福州大学，
类型：发明
国别省市：