一种基于时空编码的空管数据分布式存储与快速查询方法技术

本发明专利技术公开了一种基于时空编码的空管数据分布式存储与快速查询方法。该方法首先对时间和全球航空运行范围内的空间进行离散化，细化了统一嵌套递归的数字化表达方式，构建了全球范围内的时空编码模型；设计了基于时空编码的空管监视和气象数据分布式数据库；进一步建立了基于空间编码和时间编码的二级索引方法；完善了时间和空间双重耦合条件下的查询方法，大大提高了空管海量数据的分布式存储和查询效率。效率。效率。

【技术实现步骤摘要】
一种基于时空编码的空管数据分布式存储与快速查询方法


[0001]本专利技术涉及一种数据分布式存储与快速查询方法，特别是一种基于时空编码的空管数据分布式存储与快速查询方法。

技术介绍

[0002]随着经济增长和国民收入水平的提高，航空运输量不断增长。为了进一步保障航班安全水平和运行效率，新的信息化集成系统不断引入空管中，全国流量、气象和情报服务中心相继成立并正式启动，实现全国范围内航班整体协同决策。与此同时，空管运行产生的业务数据总量呈现指数级增长，为了支撑海量运行数据采集、存储和处理，大数据相关技术与平台不断引入到空中交通管理领域中。
[0003]然而，目前这些数据一部分是以表的形式存储在结构化数据库(如oracle，mysql)中，另一部分仅是利用了大数据平台进行分布式存储备份。一方面传统结构型数据库无法满足海量数据的处理，另一方面大数据平台仅是用来作为数据存储功能，尚未对数据检索和关联做进一步优化，导致调取数据很慢，难以满足秒级相应需求，无法充分挖掘海量历史数据的价值。目前，针对海量时空数据的分布式存储和快速查询已经有大量研究，但是针对空管数据特性的存储查询和关联融合研究成果仍然较少。

技术实现思路

[0004]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于时空编码的空管数据分布式存储与快速查询方法。
[0005]为了解决上述技术问题，本专利技术公开了一种基于时空编码的空管数据分布式存储与快速查询方法，包括以下步骤：
[0006]步骤1：对地表空间和时间进行离散化划分，分别建立空间和时间的编码模型，包括：
[0007]步骤1
‑
1：将全球地表空间的经纬度点投影至地球外切立方体中，得到六个正方形平面；对每一个投影面采用2*2等分逐级剖面；在每一个等级的离散平面上，采用Hilbert曲线顺序串联，形成各层级嵌套的全球经纬度离散编码模型，共30级；经纬度编码使用UNIT64存储，前三位表征当前经纬度点所在的投影面，后每两位表征一个层级；此外，还采用16进制对UNIT64编码从最高位开始进行字符解析，形成字符表征，得到经纬度编码字符串；
[0008]步骤1
‑
2：对高度范围[
‑
1,60km]进行二等分逐层剖分，最高剖分16级，至米级，形成二进制序列，并将其等价转为16进制字符串表征，得到高度编码字符串；
[0009]步骤1
‑
3：对一年的时间跨度进行二等分逐层剖分，最高剖分25层级，至秒级，形成二进制序列，并将其等价转为Base32进制字符串表征，得到时间编码字符串。
[0010]步骤2：建立空管监视数据和气象数据的分布式存储数据库，并设计主键规则；
[0011]所述的分布式存储数据库为基于HBase的分布式数据库，分别为基于HBase的分布式空管监视数据库和基于HBase的分布式气象数据库。
[0012]所述的设计主键规则，包括：
[0013]步骤2
‑
1：基于HBase的分布式空管监视数据库的主键设置如下：
[0014]Rowkey1＝Prefix1+T
c
+L
c
+H
c
[0015]其中，Rowkey1为所述的分布式空管监视数据库的主键，+为字符串拼接操作；T
c
为时间，采用步骤1
‑
3中得到的时间编码字符串；L
c
为经纬度，采用步骤1
‑
1中得到的经纬度编码字符串，在此最高分辨率设定为十米级；H
c
为高度，采用步骤1
‑
2中得到的高度编码字符串；Prefix1为第一前缀字符，用于解决热点数据的问题；
[0016]所述的第一前缀字符Prefix1，设计如下：
[0017]Prefix1＝mod(|Hash(T
c
+L
c
+H
c
)|，n
b
)
[0018]其中，n
b
为空管监视数据库或气象数据库中表的预分区数；Hash是对字符串T
c
+L
c
+H
c
取哈希值，||表示取绝对值，mod(，n
b
)表示对预分区数n
b
取余后转为字符串。
[0019]步骤2
‑
2：基于HBase的分布式气象数据库的主键设置如下：
[0020]Rowkey2＝Prefix2+S
c
+T
c0
+L
c0
+H
c
[0021]其中，Rowkey2为所述的分布式气象数据库的主键，S
c
为气象物理属性，；T
c0
为气象表中的时间字符串编码；L
c0
为气象数据中的经纬度编码；Prefix2为第二前缀字符。
[0022]所述的第二前缀字符Prefix2，设计如下：
[0023]Prefix2＝mod(|Hash(S
c
+T
c0
+L
c0
+H
c
)|，n
b
)。
[0024]步骤3：建立空管监视数据、气象数据和计划数据的关联关系，建立时空编码平面，构建空管监视数据和气象数据的时空索引树；
[0025]所述的建立空管监视数据、气象数据和计划数据的关联关系，具体方法包括：
[0026]通过相同时空编码字符串建立空管监视数据和气象数据在固定时空编码层级上的关联索引关系；空管监视数据和计划数据的关联关系由航班号、起降时间和机场唯一确定，并在空管监视数据和对应计划数据中通过采用16位UUID方式建立唯一标识符。
[0027]所述的构建空管监视数据和气象数据的时空索引树，包括：
[0028]步骤3
‑
1：将经纬度编码字符串的值作为x轴，时间编码字符串的值作为y轴，建立时空编码平面，时空编码平面中的点包含空管监视数据和气象数据，点值的属性为数据库中的主键；
[0029]步骤3
‑
2：在时空编码平面上，基于KD树建立时空索引树，具体步骤如下：
[0030]步骤3
‑2‑
1，初始化分割轴：选取表征经纬度编码值的x轴为初始分割轴；
[0031]步骤3
‑2‑
2，确定当前节点：对当前数据按照分割轴的维度进行检索，找到中位数数据，并将其放到当前节点上；
[0032]步骤3
‑2‑
3，对数据进行左右支划分：将在所有当前分割轴维度上小于当前节点的数据划分至左支，将当前分割轴维度上大于当前节点的数据划分至右支；
[0033]步骤3
‑2‑
4，更新分割轴：若上一次分割是x轴，则将分割轴更为y轴；若上次分割本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空编码的空管数据分布式存储与快速查询方法，其特征在于，包括以下步骤：步骤1：对地表空间和时间进行离散化划分，分别建立空间和时间的编码模型；步骤2：建立空管监视数据和气象数据的分布式存储数据库，并设计主键规则；步骤3：建立空管监视数据、气象数据和计划数据的关联关系，建立时空编码平面，构建空管监视数据和气象数据的时空索引树；步骤4：根据时间范围和空域范围双重查询，设计查询步骤，获取空管数据。2.根据权利要求1所述的一种基于时空编码的空管数据分布式存储与快速查询方法，其特征在于，步骤1中所述的分别建立空间和时间编码模型，包括：步骤1
‑
1：将全球地表空间的经纬度点投影至地球外切立方体中，得到六个正方形平面；对每一个投影面采用2*2等分逐级剖面；在每一个等级的离散平面上，采用Hilbert曲线顺序串联，形成各层级嵌套的全球经纬度离散编码模型，共30级；经纬度编码使用UNIT64存储，前三位表征当前经纬度点所在的投影面，后每两位表征一个层级；此外，还采用16进制对UNIT64编码从最高位开始进行字符解析，形成字符表征，得到经纬度编码字符串；步骤1
‑
2：对高度范围[
‑
1,60km]进行二等分逐层剖分，最高剖分16级，至米级，形成二进制序列，并将其等价转为16进制字符串表征，得到高度编码字符串；步骤1
‑
3：对一年的时间跨度进行二等分逐层剖分，最高剖分25层级，至秒级，形成二进制序列，并将其等价转为Base32进制字符串表征，得到时间编码字符串。3.根据权利要求2所述的一种基于时空编码的空管数据分布式存储与快速查询方法，其特征在于，步骤2中所述的分布式存储数据库为基于HBase的分布式数据库，分别为基于HBase的分布式空管监视数据库和基于HBase的分布式气象数据库。4.根据权利要求3所述的一种基于时空编码的空管数据分布式存储与快速查询方法，其特征在于，步骤2中所述的设计主键规则，包括：步骤2
‑
1：基于HBase的分布式空管监视数据库的主键设置如下：Rowkey1＝Prefix1+T
c
+L
c
+H
c
其中，Rowkey1为所述的分布式空管监视数据库的主键，+为字符串拼接操作；T
c
为时间，采用步骤1
‑
3中得到的时间编码字符串；L
c
为经纬度，采用步骤1
‑
1中得到的经纬度编码字符串，在此最高分辨率设定为十米级；H
c
为高度，采用步骤1
‑
2中得到的高度编码字符串；Prefix1为第一前缀字符，用于解决热点数据的问题；步骤2
‑
2：基于HBase的分布式气象数据库的主键设置如下：Rowkey2＝Prefix2+S
c
+T
c0
+L
c0
+H
c
其中，Rowkey2为所述的分布式气象数据库的主键，S
c
为气象物理属性，；T
c0
为气象表中的时间字符串编码；L
c0
为气象数据中的经纬度编码；Prefix2为第二前缀字符。5.根据权利要求4所述的一种基于时空编码的空管数据分布式存储与快速查询方法，其特征在于，步骤2
‑
1中所述的第一前缀字符Prefix1，设计如下：Prefix1＝mod(|Hash(T
c
+L
c
+H
c
)|,n
b
)步骤2
‑
2中所述的第二前缀字符Prefix2，设计如下：...

【专利技术属性】
技术研发人员：王小乐，田云钢，王斌，梅亚伦，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：