基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法技术

本发明专利技术公开了一种基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，包括：通过Google S2算法实现遥感数据的格网化裁剪，用于将大范围整幅遥感影像进行分区、分片及地面空间离散化，方便影像数据的存储管理；Hbase数据库的表存储模型的建立，实现了对分区遥感影像在多个维度的属性表述，并通过数据波段离散存储的方式实现多源异构遥感影像数据的数据结构整合。本发明专利技术充分考虑了不同种类遥感影像数据的特点，实现了遥感大数据的高效存储，满足了用户不同应用场景下的需求，并有效地兼顾了系统的可扩展性和数据均衡。

Design method of Hbase database remote sensing large data storage model based on Google S2

The invention discloses a design method for realizing large remote sensing data storage model of Hbase database based on Google S2, which includes: realizing grid clipping of remote sensing data through Google S2 algorithm for partitioning, fragmentation and ground space discretization of a wide range of remote sensing images to facilitate the storage and management of image data; establishing table storage model of Hbase database and realizing it. The attributes of partitioned remote sensing images are expressed in multiple dimensions, and data structure integration of multi-source heterogeneous remote sensing image data is realized by data band discrete storage. The invention fully considers the characteristics of different types of remote sensing image data, realizes efficient storage of large remote sensing data, meets the needs of users in different application scenarios, and effectively takes into account the scalability of the system and data balance.

【技术实现步骤摘要】
基于GoogleS2实现Hbase数据库遥感大数据入库模型的设计方法
本专利技术涉及数据库管理
，尤其涉及一种基于GoogleS2实现Hbase数据库遥感大数据入库模型的设计方法。
技术介绍
遥感数据具有海量、多源、异构、分布式存储的特点，遥感数据的存储管理方式主要包括数据库管理方式、基于文件的管理方式以及基于文件和数据库的混合管理方式三种。国内外遥感影像存储管理系统的开发不断涌现，例如武汉大学研制的多分辨率无缝影像数据库系统Geo-ImageDB，采用文件管理方式来存储管理多尺度遥感影像数据；加拿大遥感图像中心(CCRS)建立的遥感影像数据库，利用数据库存储卫星图像的相关元数据信息，卫星图像则利用文件系统来管理。传统的基于文件管理和文件与关系数据库混合的遥感影像数据库管理方式中遥感影像都是以文件形式存在，不利于影像数据的管理、分发，且系统的安全性很低。同时，获取遥感影像的途径各异，遥感影像的数据格式也是各式各样，多数基于数据库的遥感影像管理系统都没有一个统一的标准存储各类数据，其格式、种类、数目各异，这无疑加大了系统开发成本和建设周期。面对海量数据的发展，遥感数据的管理精细化管理变得尤为重要，传统的元数据+图像文件形式的数据管理方式在海量数据面前变得越来越无法适用。其凸显出的问题包括：数据提供方式过于单一，数据管理精度不够；同一数据，多个使用方需要进行相同预处理操作，且无法有效共享；在一次数据传输中存在有大量的无效信息，浪费带宽资源；跨卫星体系的同类型卫星数据无法同层使用；数据分析后信息无法直接还原的对应空间区域，需要另建数据库管理。因此，现在亟须一种利用Hbase分布式数据库系统，通过在对影像的分片、分层处理影像数据资源化，实现多源多格式遥感数据的精细化组织管理。
技术实现思路
本专利技术要解决的技术问题在于针对现有技术中的缺陷，提供一种基于GoogleS2实现Hbase数据库遥感大数据入库模型的设计方法。本专利技术解决其技术问题所采用的技术方案是：本专利技术提供一种基于GoogleS2实现Hbase数据库遥感大数据入库模型的设计方法，该方法包括以下步骤：遥感影像数据的格网化裁剪：获取遥感影像，通过GoogleS2算法裁剪遥感影像；依据遥感影像的分辨率选取对应的格网级别，划定遥感影像的覆盖范围，计算影像覆盖范围内所覆盖的格网，根据网格裁剪遥感影像原图得到影像块，并对影像块进行序列化转化；Hbase数据库表存储模型的建立：创建Hbase表，不同卫星的遥感影像对应一张Hbase表，将卫星及其对应的传感器名称作为Hbase表名；建立包含RowKey的表存储模型，根据影像块属性计算对应的RowKey；通过对分区遥感影像在多个维度的属性表述，并通过数据波段离散存储的方式实现多源异构遥感影像数据的数据结构整合，将序列化后的影像块按照对应的Rowkey存储到Hbase数据库中。进一步地，本专利技术的该方法中对遥感影像进行格网化裁剪的方法具体为：格网化裁剪包括GoogleS2的多级格网与不同遥感影像的分辨率间的映射：当遥感影像分辨率为60米时，GoogleS2对应的裁切格网级别为9级；当遥感影像分辨率为30米时，GoogleS2对应的裁切格网级别为10级；当遥感影像分辨率范围为20-10米时，GoogleS2对应的裁切格网级别为11级；当遥感影像分辨率范围为8-5米时，GoogleS2对应的裁切格网级别为12级；当遥感影像分辨率范围为4-3.5米时，GoogleS2对应的裁切格网级别为13级；当遥感影像分辨率范围为2.5-2米时，GoogleS2对应的裁切格网级别为14级；当遥感影像分辨率为1米时，GoogleS2对应的裁切格网级别为15级。进一步地，本专利技术的该方法中的裁剪遥感影像的覆盖范围为：裁切影像范围为GoogleS2菱形格网的最大外接矩形，大于GoogleS2裁切的菱形格网范围，切分后的遥感影像将完整填充GoogleS2菱形格网空间，保证像素对格网的饱和填充，实现了对遥感大范围影像的空间离散化。进一步地，本专利技术的该方法中Hbase数据库的表存储模型具体包括：1个RowKey、1个TimeStamp和2个ColumnsFamily。进一步地，本专利技术的该方法中的RowKey用于唯一标识一行记录，实现数据的快速定位和表达。进一步地，本专利技术的该方法中的RowKey共由24个字节构成，其中前8个字节用于表述GoogleS2格网的ID，long8字节；然后4个字节分别表达卫星id，short2字节及传感器id，short2字节；继续8个字节为遥感影像拍摄时间戳，long8字节；最后剩余4字节用于记录影像唯一ID，int4字节，RowKey通过将上述属性编译为不同的字节组成，从而实现对多源空间分块影像数据的唯一表达。进一步地，本专利技术的该方法中的2个ColumnsFamily包括QueryConditions和GEOimageinformation列族，并通过自由地控制列族中的Column属性信息量来实现对不同遥感数据信息的统一管理和多源空间分块影像数据的唯一表达。进一步地，本专利技术的该方法中2个ColumnsFamily中，两组列族信息分别用于记录空间描述条件的QueryConditions列族和记录图像波段及纹理信息的GEOimageinformation列族。进一步地，本专利技术的该方法中的QueryConditions列族的属性包括以下描述信息：遥感影像卫星生产ID、产品ID、影像源名称、影像源描述xml名称、来源卫星、来源传感器、图像拍摄时间、波段名称、格网级别、对应格网名称、影像分辨率、影像云量，用于从多个维度描述空间信息。进一步地，本专利技术的该方法中的GEOimageinformation列族的属性包括用于描述影像描述还原信息的影像头信息属性字段；影像本体信息以分波段形式记录在不同的数据属性字段中，每个波段使用独立的属性字段进行存储；记录影像属性字段的数量将根据影像数据属性的不同而调整。本专利技术产生的有益效果是：本专利技术的基于GoogleS2实现Hbase数据库遥感大数据入库模型的设计方法，结合了遥感影像数据的格网化裁剪和Hbase数据库表存储模型的建立的方法，充分考虑了不同种类遥感影像数据的特点，实现了遥感大数据的高效存储，满足了用户不同应用场景下的需求，并有效地兼顾了系统的可扩展性和数据均衡。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1为本专利技术实施例的GoogleS2裁切流程图；图2为本专利技术实施例的数据库表结构示意图；图3为本专利技术实施例的RowKey结构图；图4为本专利技术实施例的的方法流程示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例的基于GoogleS2实现Hbase数据库遥感大数据入库模型设计方法，适用于所用以空间描述信息+多层波段矩阵形式组成的影像结构，是一种通用的遥感影像数据存储管理方法，具体内容包括：遥感数据的格网化裁剪和Hbase数据库表存储模型的建立；遥感数据的格网化裁剪，用于将大范围整幅遥感影像进行分区、分片及地面空间离散化，方便影像本文档来自技高网...

【技术保护点】
1.一种基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法包括以下步骤：遥感影像数据的格网化裁剪：获取遥感影像，通过Google S2算法裁剪遥感影像；依据遥感影像的分辨率选取对应的格网级别，划定遥感影像的覆盖范围，计算影像覆盖范围内所覆盖的格网，根据网格裁剪遥感影像原图得到影像块，并对影像块进行序列化转化；Hbase数据库表存储模型的建立：创建Hbase表，不同卫星的遥感影像对应一张Hbase表，将卫星及其对应的传感器名称作为Hbase表名；建立包含RowKey的表存储模型，根据影像块属性计算对应的RowKey；通过对分区遥感影像在多个维度的属性表述，并通过数据波段离散存储的方式实现多源异构遥感影像数据的数据结构整合，将序列化后的影像块按照对应的Rowkey存储到Hbase数据库中。

【技术特征摘要】
1.一种基于GoogleS2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法包括以下步骤：遥感影像数据的格网化裁剪：获取遥感影像，通过GoogleS2算法裁剪遥感影像；依据遥感影像的分辨率选取对应的格网级别，划定遥感影像的覆盖范围，计算影像覆盖范围内所覆盖的格网，根据网格裁剪遥感影像原图得到影像块，并对影像块进行序列化转化；Hbase数据库表存储模型的建立：创建Hbase表，不同卫星的遥感影像对应一张Hbase表，将卫星及其对应的传感器名称作为Hbase表名；建立包含RowKey的表存储模型，根据影像块属性计算对应的RowKey；通过对分区遥感影像在多个维度的属性表述，并通过数据波段离散存储的方式实现多源异构遥感影像数据的数据结构整合，将序列化后的影像块按照对应的Rowkey存储到Hbase数据库中。2.根据权利要求1所述的基于GoogleS2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中对遥感影像进行格网化裁剪的方法具体为：格网化裁剪包括GoogleS2的多级格网与不同遥感影像的分辨率间的映射：当遥感影像分辨率为60米时，GoogleS2对应的裁切格网级别为9级；当遥感影像分辨率为30米时，GoogleS2对应的裁切格网级别为10级；当遥感影像分辨率范围为20-10米时，GoogleS2对应的裁切格网级别为11级；当遥感影像分辨率范围为8-5米时，GoogleS2对应的裁切格网级别为12级；当遥感影像分辨率范围为4-3.5米时，GoogleS2对应的裁切格网级别为13级；当遥感影像分辨率范围为2.5-2米时，GoogleS2对应的裁切格网级别为14级；当遥感影像分辨率为1米时，GoogleS2对应的裁切格网级别为15级。3.根据权利要求1所述的基于GoogleS2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中的裁剪遥感影像的覆盖范围为：裁切影像范围为GoogleS2菱形格网的最大外接矩形，大于GoogleS2裁切的菱形格网范围，切分后的遥感影像将完整填充GoogleS2菱形格网空间，保证像素对格网的饱和填充，实现了对遥感大范围影像的空间离散化。4.根据权利要求1所述的基于GoogleS2实现Hbase数据库遥感大数据入库模型的设计方法，其特征在于，该方法中Hbase数据库的表存储模型具体包括：1个RowKey、1个TimeStamp和...

【专利技术属性】
技术研发人员：孟令奎，崔长露，张文，王锐，杨倍倍，孟诣卓，高子文，王一松，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42