一种气象网格数据存储方法和查询方法技术

本发明专利技术提出了一种气象网格数据存储方法和查询方法，该存储方法包括以下步骤：S1，获取待入库的整片网格数据；S2，将获取的待入库的整片网格数据进行入库存储；该查询方法包括以下步骤：S1，获取待查询的数据信息；S2，根据获取的待查询的数据信息进行数据查询。本发明专利技术通过对网格数据的存储分块，实现了对其数据的高效存储和查询，特别是对于查询的优化，能很大限度的节约内存使用，可以广泛用于气象经纬度组成的模式数据存储，或者其他空间坐标组成的网格数据存储。网格数据存储。网格数据存储。

【技术实现步骤摘要】
一种气象网格数据存储方法和查询方法


[0001]本专利技术涉及一种空间网格数据
，特别是涉及一种气象网格数据存储方法和查询方法。

技术介绍

[0002]空间网格数据是一类典型的大数据，具有数据量大、数据种类丰富等特点。空间网格数据中大量的数据是时空数据，记录了时间和空间范围内各个点的各个物理量的值，数据量大，且在爆发性增长。如何存储和高效的查询这些空间网格数据越来越成为一个难题。
[0003]传统的方案常常采用关系型数据库加文件系统的方式实现这类空间网格数据的存储和实时查询，此种方案通过对各个数据文件进行一对一关系映射到数据库，并保存每个文件的相关描述信息，在查询时，先查询满足条件的相关文件信息，然后再去一个一个的读取相关文件，做数据解析，筛选后返回最终的满足条件的数据。
[0004]这种方案在可扩展性、可维护性和性能上都有一些缺陷，随着数据规模的增大缺点越来越明显。最近几年，学界和业界开始不约而同的转向利用分布式NoSQL存储来解决海量空间网格数据的存储和实时查询问题，相比之前的方案，可以支撑更大规模的数据量并提供更好的查询性能，并且在稳定性、可管理性等方面，也得到了显著的提升。
[0005]越来越多的科研人员，开始了解分布式存储，并思考如何基于这些服务，进行海量空间网格数据的存储和查询方案设计。基于这样的网格数据特点，我们设计了基于分布式存储NoSQL数据库HBase的海量空间网格数据的存储和实时查询方案。
[0006]采用关系型数据库加文件系统的方式实现的这类空间网格数据的存储和实时查询，这种方案在可扩展性、可维护性和性能上都有一些缺陷，随着数据规模的增大缺点越来越明显。首先是对海量文件的管理维护，比较复杂；然后是对数据进行统计，多范围的查询，需要遍历很多文件，这种情况下会有明显的性能问题。

技术实现思路

[0007]本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种气象网格数据存储方法和查询方法。
[0008]为了实现本专利技术的上述目的，本专利技术提供了一种气象网格数据存储方法，包括以下步骤：
[0009]S1，获取待入库的整片网格数据；
[0010]S2，将获取的待入库的整片网格数据进行入库存储。
[0011]在本专利技术的一种优选实施方式中，在步骤S2中，包括以下步骤：
[0012]S21，查询要素数据元信息，判断是否查询到元信息：
[0013]若未查询到元信息，则返回插入网格数据错误；
[0014]若查询到要素数据元信息，则执行下一步；
[0015]S22，通过元信息拆分整片网格数据，并构造主键，生成多个数据块；
[0016]S23，对生成的多个数据块进行入库。
[0017]在本专利技术的一种优选实施方式中，在步骤S22中，包括：
[0018]将列整片网格数据切分成多个范围区域；
[0019]将每块区域第一个点的在网格中的下标表示数据块名称；
[0020]将数据块名称Data_m_n存储的数据映射到网格下标矩阵：
[0021][0022]其中，m,n分别为被拆分后的数据块的第一个数据在原始网格中的横纵坐标，x为横轴的数据量，p为被切分之后的数据块的横轴数据量，q为被拆分之后的数据块的纵轴数据量。
[0023]在本专利技术的一种优选实施方式中，在步骤S1中待入库的整片网格数据为气象数据。
[0024]本专利技术还公开了一种气象网格数据查询方法，包括以下步骤：
[0025]S1，获取待查询的数据信息；
[0026]S2，根据获取的待查询的数据信息进行数据查询。
[0027]在本专利技术的一种优选实施方式中，在步骤S2中包括以下步骤：
[0028]S21，判断本地是否含有要素元信息：
[0029]若本地含有要素元信息，则执行步骤S23；
[0030]若本地不含有要素元信息，则执行下一步；
[0031]S22，调用API查询要素元信息，判断是否查询到元信息数据：
[0032]若查询到元信息数据，则将查询到的元信息加入到本地要素元信息缓存中，执行下一步；
[0033]若未查询到元信息数据，则返回未查询到数据；
[0034]S23，带入元信息，定位存储数据列，查询网格数据；判断是否查询到数据：
[0035]若查询到数据，则执行下一步；
[0036]若未查询到数据，则返回未查询到数据；
[0037]S24，对查询到的数据进行解析合并，返回最终数据。
[0038]在本专利技术的一种优选实施方式中，在步骤S23中，拆分之后的小数据块下标和原始网格下标的转换关系为：
[0039]拆分之后的小数据块任意一点在其小数据块中横纵下标为(h,k)，即可计算出此点在原始网格中的下标，设此点在原始网格展开后的一维数据下标为θ,则有
[0040]θ＝(n+k)x+m+h
[0041]又因为原始网格一维下标θ与二维下标(t,u)对于关系如下：
[0042]θ＝t*x+u。
[0043]综上所述，由于采用了上述技术方案，本专利技术通过对网格数据的存储分块，实现了对其数据的高效存储和查询，特别是对于查询的优化，能很大限度的节约内存使用，可以广泛用于气象经纬度组成的模式数据存储，或者其他空间坐标组成的网格数据存储。
[0044]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0045]本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0046]图1是本专利技术系统架构示意图。
[0047]图2是本专利技术入库流程示意图。
[0048]图3是本专利技术查询流程示意图。
[0049]图4是本专利技术时序示意图。
具体实施方式
[0050]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0051]2.1.架构描述
[0052]网格大数据服务主要由API接口层，数据处理层，存储层构成；
[0053]API接口层：主要提供数据源入库的接口，其他微服务各种查询的接口；
[0054]数据处理层：在入库流程时主要是对数据进行加工，主要是通过HBase的RowKey策略和自定义的数据切分存储策略，让数据在底层存储和查询时变得更高效；在查询流程时则相反，通过对切分后的多个小块数据做数据解析合并生成原始网格数据返回。
[0055]存储层：主要由HBase和MySQL组成，HBase主要存储具体的网格数据，MySQL则存储相关的元信息。
[0056]2.1.1.架构图如图1所示。
[0057]2.2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种气象网格数据存储方法，其特征在于，包括以下步骤：S1，获取待入库的整片网格数据；S2，将获取的待入库的整片网格数据进行入库存储。2.根据权利要求1所述的气象网格数据存储方法，其特征在于，在步骤S2中，包括以下步骤：S21，查询要素数据元信息，判断是否查询到元信息：若未查询到元信息，则返回插入网格数据错误；若查询到要素数据元信息，则执行下一步；S22，通过元信息拆分整片网格数据，并构造主键，生成多个数据块；S23，对生成的多个数据块进行入库。3.根据权利要求2所述的气象网格数据存储方法，其特征在于，在步骤S22中，包括：将列整片网格数据切分成多个范围区域；将每块区域第一个点的在网格中的下标表示数据块名称；将数据块名称Data_m_n存储的数据映射到网格下标矩阵：其中，m,n分别为被拆分后的数据块的第一个数据在原始网格中的横纵坐标，x为横轴的数据量，p为被切分之后的数据块的横轴数据量，q为被拆分之后的数据块的纵轴数据量。4.根据权利要求1所述的气象网格数据存储方法，其特征在于，在步骤S1中待入库的整片网格数据为气象数据。5.一种气象网格数据查询方法，其特征在于，包括以下步骤：S1，获取待查询...

【专利技术属性】
技术研发人员：贺晓冬，张展，牟维超，罗振，普鸿武，
申请(专利权)人：易天气北京科技有限公司，
类型：发明
国别省市：