海量多源气象观测数据分布式存储方法及装置制造方法及图纸

本发明专利技术实施例提供一种海量多源气象观测数据分布式存储方法及装置，所述方法包括：在获取到的目标区域内的每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据；将所有的经过格式重组后的气象观测数据存储到预设HBase表中。本发明专利技术实施例提供的海量多源气象观测数据分布式存储方法及装置，通过将气象观测数据重组到对应的格网编码中，使用Hadoop分布式框架进行气象观测数据多节点存储，并行自动化写入HBase表中，可使用多台廉价计算机上分布式存储大规模气象观测数据，只需要在一张HBase表上同时存储气象信息和相关站点元信息，避免了因跨表访问气象观测数据而存在资源的竞争和带宽限制的问题，加大了气象观测数据的吞吐量和访问效率。

【技术实现步骤摘要】
海量多源气象观测数据分布式存储方法及装置
本专利技术实施例涉及气象观测数据存储
，尤其涉及一种海量多源气象观测数据分布式存储方法及装置。
技术介绍
近年来，随着多源气象观测数据的广泛应用，大量相应的气象观测数据存储方法相继被提出，但人们研究时空维度上如何存储多源气象观测数据，仍处于初步探索阶段。一方面，时空表征的精确性要求存储气象观测数据的时间粒度更小，气象信息暴增的同时要求数据管理更加精细。另一方面，随着气象观测数据气象观测数据变得越来越多样化，并且实时地持续增长，如何有效快速存储大规模气象观测数据已成为时空数据存储领域迫切需要解决的问题。目前，网络发布了各种气象观测数据，但由于发布的气象观测数据来源不同，观测数据突出的重点的差异，观测字段的差异，导致很难统一存储到某一个存储数据库中进行管理。现有技术中，即使将不同来源的气象观测数据组织到同一个存储数据库中，也需要建立大量的关联表将观测数据统一整理到一起，在跨表访问数据时会存在资源的竞争和带宽的限制，因关联表的增加使得查询效率大大降低，计算机硬件也会因数据量的增加而加大了存储和查询难度。因此，如何高效且高可拓展的情况下统一存储和管理多源大规模气象观测数据，成为了一个亟待解决的问题。
技术实现思路
本专利技术实施例的目的是提供一种克服上述问题或者至少部分地解决上述问题的海量多源气象观测数据分布式存储方法及装置。为了解决上述技术问题，一方面，本专利技术实施例提供一种海量多源气象观测数据分布式存储方法，包括：在获取到的目标区域内的每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据，其中，所述目标区域被划分成若干个子区域，一个子区域为一个格网，每个格网的编号为格网编码，一个格网内包含若干个观测站点，每一观测站点对应一个格网编码，每一观测站点采集到的每一气象观测数据对应一个格网编码；将所有的经过格式重组后的气象观测数据存储到预设HBase表中。另一方面，本专利技术实施例提供一种海量多源气象观测数据分布式存储装置，包括：重组模块，用于在获取到的目标区域内的每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据，其中，所述目标区域被划分成若干个子区域，一个子区域为一个格网，每个格网的编号为格网编码，一个格网内包含若干个观测站点，每一观测站点对应一个格网编码，每一观测站点采集到的每一气象观测数据对应一个格网编码；存储模块，用于将所有的经过格式重组后的气象观测数据存储到预设HBase表中。再一方面，本专利技术实施例提供一种电子设备，包括：存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。又一方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。本专利技术实施例提供的海量多源气象观测数据分布式存储方法及装置，通过将气象观测数据重组到对应的格网编码中，使用Hadoop分布式框架进行气象观测数据多节点存储，并行自动化写入HBase表中，可使用多台廉价计算机上分布式存储大规模气象观测数据，只需要在一张HBase表上同时存储气象信息和相关站点元信息，避免了因跨表访问气象观测数据而存在资源的竞争和带宽限制的问题，加大了气象观测数据的吞吐量和访问效率。附图说明图1为本专利技术实施例提供的海量多源气象观测数据分布式存储方法示意图；图2为本专利技术实施例提供的海量多源气象观测数据分布式存储装置示意图；图3为本专利技术实施例提供的电子设备的结构示意图。具体实施方式为了使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的海量多源气象观测数据分布式存储方法示意图，如图1所示，本专利技术实施例提供一种海量多源气象观测数据分布式存储方法，其执行主体为海量多源气象观测数据分布式存储装置，所述方法包括：步骤S101、在获取到的目标区域内的每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据，其中，所述目标区域被划分成若干个子区域，一个子区域为一个格网，每个格网的编号为格网编码，一个格网内包含若干个观测站点，每一观测站点对应一个格网编码，每一观测站点采集到的每一气象观测数据对应一个格网编码；步骤S102、将所有的经过格式重组后的气象观测数据存储到预设HBase表中。具体来说，首先，建立时空气象存储模型，将目标区域划分成若干个子区域，一个子区域为一个格网，并对每个格网编号，每个格网的编号为格网编码，一个格网内包含若干个观测站点，每一观测站点对应一个格网编码，每一观测站点采集到的每一气象观测数据对应一个格网编码，每一气象观测数据对应一个观测站点。然后，获取目标区域内的若干个来源不同的气象观测数据，由于不同来源的气象观测数据的格式存在一定的差异，所以需要进行格式统一，在获取到的目标区域内的每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据。最后，将所有的经过格式重组后的气象观测数据存储到预设HBase表中，HBase分布式数据库是非关系型数据库，无需建立多张数据表就能实现数据的存储和管理。本专利技术实施例提供的海量多源气象观测数据分布式存储方法，通过将气象观测数据重组到对应的格网编码中，使用Hadoop分布式框架进行气象观测数据多节点存储，并行自动化写入HBase表中，可使用多台廉价计算机上分布式存储大规模气象观测数据，只需要在一张HBase表上同时存储气象信息和相关站点元信息，避免了因跨表访问气象观测数据而存在资源的竞争和带宽限制的问题，加大了气象观测数据的吞吐量和访问效率。在上述实施例的基础上，进一步地，所述在获取到的目标区域内的每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据，具体包括：获取所述目标区域内的若干个来源不同的气象观测数据；针对任一气象观测数据，根据所述气象观测数据对应的观测站点的位置信息，获取所述气象观测数据对应的格网编码；在每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据。具体来说，在获取到的目标区域内的每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据的具体方法如下：首先，获取目标区域内的若干个来源不同的气象观测数据，由于不同来源的气象观测数据的格式存在一定的差异，所以需要进行格式统一。针对任一气象观测数据，根据气象观测数据对应的观测站点的位置信息，获取该气象观测数据对应的格网编码。然后，在每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据。本专利技术实施例提供的海量多源气象观测数据分布式存储方法，通过将气象观测数据重组到对应的格网编码中，使用Hadoop分布式框架进行气象观测数据多节点存储，并行自动化写入HBase表中，可使用多台廉价计算机上分布式存储大规模气象观测数据，只需要在一张HBase表上同时存储气象本文档来自技高网...

【技术保护点】
1.一种海量多源气象观测数据分布式存储方法，其特征在于，包括：在获取到的目标区域内的每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据，其中，所述目标区域被划分成若干个子区域，一个子区域为一个格网，每个格网的编号为格网编码，一个格网内包含若干个观测站点，每一观测站点对应一个格网编码，每一观测站点采集到的每一气象观测数据对应一个格网编码；将所有的经过格式重组后的气象观测数据存储到预设HBase表中。

【技术特征摘要】
1.一种海量多源气象观测数据分布式存储方法，其特征在于，包括：在获取到的目标区域内的每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据，其中，所述目标区域被划分成若干个子区域，一个子区域为一个格网，每个格网的编号为格网编码，一个格网内包含若干个观测站点，每一观测站点对应一个格网编码，每一观测站点采集到的每一气象观测数据对应一个格网编码；将所有的经过格式重组后的气象观测数据存储到预设HBase表中。2.根据权利要求1所述的方法，其特征在于，所述在获取到的目标区域内的每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据，具体包括：获取所述目标区域内的若干个来源不同的气象观测数据；针对任一气象观测数据，根据所述气象观测数据对应的观测站点的位置信息，获取所述气象观测数据对应的格网编码；在每一气象观测数据的格式中添加对应的格网编码，获取格式重组后的气象观测数据。3.根据权利要求1所述的方法，其特征在于，所述将所有的经过格式重组后的气象观测数据存储到预设HBase表中，具体包括：将所有的经过格式重组后的气象观测数据存储到Hadoop分布式文件系统中；利用MapReduce编程模型，将所有的经过格式重组后的气象观测数据导入到所述预设HBase表中。4.根据权利要求1所述的方法，其特征在于，所述预设HBase表的行键至少包括气象观测数据对应的格网编码和气象观测数据对应的观测时间中的任一种。5.根据权利要求1所述的方法，其特征在于，所述预设HBase表的列族至少包括日观测数据列族、时观测数据列族和观测站点列族中的任一种。6.根据权...

【专利技术属性】
技术研发人员：刘哲，姚远，胡鑫磊，刘玮，熊全，刘帝佑，张琳，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：北京,11