异构结构下的空间科学卫星大数据组织及查询方法技术

本发明专利技术公开了一种异构结构下的空间科学卫星大数据组织及查询方法，涉及空间科学卫星数据组织与存储技术领域，能够在统一时空下进行多源数据组织，存储管理海量特征参数，同时实现了统一的查询方式。其中数据组织方法是：首先解析空间科学卫星数据文件，抽取特征参数时间序列数据，并且构建时空索引数据，将特征参数时间序列数据纳入到统一的时空框架中。采用分布式非关系型数据库分表分区的方式，存储特征参数时间序列数据。采用关系型数据库分表的方式，存储时空索引数据。然后基于非关系型数据库和关系型数据库联合存储机制，构建以观测时间、观测目标位置、参数类型为查询条件的数据查询服务，从而建立统一的数据查询服务。从而建立统一的数据查询服务。从而建立统一的数据查询服务。

【技术实现步骤摘要】
异构结构下的空间科学卫星大数据组织及查询方法


[0001]本专利技术涉及空间科学卫星数据组织与存储
，具体涉及异构结构下的空间科学卫星大数据组织及查询方法。

技术介绍

[0002]2015年以来，我国陆续发射了暗物质粒子探测卫星、硬X射线调制望远镜、量子科学实验卫星、引力波暴高能电磁对应体全天监测器等空间科学卫星，持续获取了大量空间科学探测数据。这些数据是空间科学卫星在一定观测时间范围内，对指定目标进行探测的成果，数据内容包含能段、粒子数量、粒子沉积能量等表征观测目标的信息，以及卫星姿态、轨道、温度、压力等表征卫星平台、有效载荷工作状况的信息。按照每秒一条记录进行估算，每颗卫星每年每类数据产生3000多万条记录，按照卫星寿命5年、每颗卫星35类数据估算，单星寿命期内产生数据量约50多亿条。空间科学卫星数据总量达百亿甚至千亿数量级，迫切需要构建一种针对海量多源数据的高效组织方法。
[0003]现有的空间科学先导专项卫星数据地面管理系统中，按照国家空间科学中心提出的空间科学数据模型，卫星数据以FITS(Flexible Image Transport System)、ROOT(欧洲核子研究中心开发的一种数据格式)等学科专用数据格式保存在文件中，观测时间、观测目标空间信息、数据类型等文件元数据信息采用关系型数据库进行存储。获取数据时，首先需要检索文件元数据，获得数据文件存储地址；然后解析专用数据格式，从中抽取所需特征参数。由于各型卫星数据产品存储格式不同，获取特征参数的过程也不同，处理过程复杂且耗时；而且随着数据量的不断增长，元数据检索时间越来越长，数据获取的实时性越来越难以保证。目前以文件为粒度进行数据组织和存储的系统难以满足数据实时获取的要求。
[0004]随着非关系型数据库的发展，近年来发展出基于网格模型和非关系型数据库组织海量科学探测数据的方法。这类方法的主要步骤为：a基于网格剖分的思想，构建天球时空网格模型；b建立编码规则，对时空网格单元进行编码；c以网格单元编码作为行键，将海量科学探测数据存入HBase等非关系型数据库中。康栋贺等(支持时空耦合的HTM
‑
ST日地空间系统数据组织模型[J].地球信息科学学报,2017,19(6):735
‑
743.)提出建立HTM
‑
ST离散化时空数据组织模型，采用时间、空间离散剖分的方式建立时空耦合编码，并以该编码构建行键，将日地空间数据存入HBase数据库。
[0005]以上基于网格模型和非关系型数据库的数据组织方法，存在以下缺点：
[0006]1、为确保HBase数据库行键的唯一性，每个行键(通常对应一个时空网格单元)不允许存在多条数据，因此需要按照最高分辨率来构建时空网格，而实际数据往往在时间或空间分辨率上存在差异，甚至存在一定的不确定性，该方法存在一定的操作难度；
[0007]2、由于HBase数据库行键采用字典序方式存储，采用时间、空间多重属性构建行键的方式，在点查询场景具备优势；针对范围查询场景，则需要逐层判断各个时空网格与查询范围的关系，在剖分细化的过程中不断逼近查询条件中的时空范围，或者进行全表扫描，查询耗时明显。
[0008]因此，在海量多源空间科学卫星数据组织领域，面对需要按照观测时间、观测目标位置进行联合查询和实时获取数据的需求，以上技术无法满足。

技术实现思路

[0009]有鉴于此，本专利技术提供了一种异构结构下的空间科学卫星大数据组织及查询方法，能够在统一时空下进行多源数据组织；采用关系型数据库分表的方式存储时空索引信息，同时采用分布式数据库分区分表的方式，构建空间科学卫星HBase集群数据库，对海量特征参数进行存储管理，并且实现了统一的查询方式，支持按照观测时间、观测目标位置多重条件快速获取数据。
[0010]为达到上述目的，本专利技术的技术方案为：异构结构下的空间科学卫星大数据组织方法，包括如下步骤：
[0011]S1、解析空间科学卫星数据文件，抽取特征参数时间序列数据，并且构建时空索引数据，将特征参数时间序列数据纳入到统一的时空框架中。
[0012]S2、采用分布式非关系型数据库分表分区的方式，存储特征参数时间序列数据。
[0013]S3、采用关系型数据库分表的方式，存储时空索引数据。
[0014]进一步地，解析空间科学卫星数据文件，抽取特征参数时间序列数据，构建时空索引，具体为：
[0015]调用专用的数据文件格式解析框架，解析空间科学卫星数据文件，从中抽取观测目标信息、卫星平台姿态轨道数据、卫星平台工况参数及有效载荷工况参数及其观测时间信息，形成特征参数时间序列数据。
[0016]基于抽取出的逐时刻卫星姿态数据构建逐时刻时空索引数据，逐时刻时空索引数据包括三列，分别为观测时间、观测目标赤经和观测目标赤纬。
[0017]基于特征参数时间序列数据、逐时刻时空索引数据，进一步建立观测时间、观测目标位置与特征参数的关联，将特征参数时间序列数据纳入到统一的时空框架中。
[0018]进一步地，采用分布式数据库分表分区的方式，存储特征参数时间序列数据，具体为：
[0019]采用HBase集群构建分布式数据库，存储步骤S1得到的特征参数时间序列数据，即基于HBase数据库以字典序排序方式存储行键的特点，以观测时间YYYYMMDDHHMMSS[UUU]作为行键建立参数表，一个参数表中包含单个特征参数或一组特征参数；其中YYYY表示年份，MM表示月份，DD表示日期，HH表示小时数，MM表示分钟数，SS表示秒数，UUU表示毫秒数，[]表示毫秒数根据数据的时间分辨率可选。
[0020]基于各特征参数的数据量对参数表建立时间分区索引，按照时间范围对参数表进行分区。
[0021]进一步地，采用关系型数据库分表的方式，存储时空索引数据，具体为：
[0022]时空索引数据表示观测时间Time与观测目标赤经RA和观测目标赤纬DEC之间的关系。
[0023]采用关系型数据库MySQL，建立时空索引表。
[0024]时空索引表的库表字段包括Time、RA、DEC，其中Time具备唯一性，作为时空索引表主键，取值为YYYYMMDDHHMMSS[UUU]；YYYY表示年份，MM表示月份，DD表示日期，HH表示小时
数，MM表示分钟数，SS表示秒数，UUU表示毫秒数，[]表示毫秒数根据数据的时间分辨率可选。
[0025]基于观测时间Time字段值对时空索引表进行分表存储。
[0026]本专利技术的另外一个实施例还提供了异构结构下的空间科学卫星大数据组织查询方法，包括如下步骤：
[0027]构建数据层，数据层包括时空索引数据库和特征参数时间序列数据库，即采用对异构结构下的空间科学卫星大数据进行组织，得到时空索引数据库和特征参数时间序列数据库，二者组成数据层。
[0028]采用Webservice查询服务技术构建服务层，用于执行查询请求的接收、查询请求的解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.异构结构下的空间科学卫星大数据组织方法，其特征在于，包括如下步骤：S1、解析空间科学卫星数据文件，抽取特征参数时间序列数据，并且构建时空索引数据，将特征参数时间序列数据纳入到统一的时空框架中；S2、采用分布式非关系型数据库分表分区的方式，存储所述特征参数时间序列数据；S3、采用关系型数据库分表的方式，存储所述时空索引数据。2.如权利要求1所述的方法，其特征在于，所述解析空间科学卫星数据文件，抽取特征参数时间序列数据，构建时空索引，具体为：调用专用的数据文件格式解析框架，解析空间科学卫星数据文件，从中抽取观测目标信息、卫星平台姿态轨道数据、卫星平台工况参数及有效载荷工况参数及其观测时间信息，形成特征参数时间序列数据；基于抽取出的逐时刻卫星姿态数据构建逐时刻时空索引数据，所述逐时刻时空索引数据包括三列，分别为观测时间、观测目标赤经和观测目标赤纬；基于特征参数时间序列数据、逐时刻时空索引数据，进一步建立观测时间、观测目标位置与特征参数的关联，将特征参数时间序列数据纳入到统一的时空框架中。3.如权利要求2所述的方法，其特征在于，所述采用分布式非关系型数据库分表分区的方式，存储特征参数时间序列数据，具体为：采用HBase集群构建分布式数据库，存储步骤S1得到的特征参数时间序列数据，即基于HBase数据库以字典序排序方式存储行键的特点，以观测时间YYYYMMDDHHMMSS[UUU]作为行键建立参数表，一个参数表中包含单个特征参数或一组特征参数；其中YYYY表示年份，MM表示月份，DD表示日期，HH表示小时数，MM表示分钟数，SS表示秒数，UUU表示毫秒数，[]表示毫秒数根据数据的时间分辨率可选；基于各特征参数的数据量对参数表建立时间分区索引，按照时间范围对参数表进行分区。4.如权利要求1～3任一所述的方法，其特征在于，所述采用关系型数据库分表的方式，存储所述时空索引数据，具体为：所述时空索引数据表示观测时间Time与观测目标赤经RA和观测目标赤纬DEC之间...

【专利技术属性】
技术研发人员：杨晓艳，孙小涓，石涛，孟令通，李冰，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：