分布式存储网格气象数据读取方法及读取系统技术方案

本发明专利技术涉及网络数据读取技术领域，公开了一种分布式存储网格气象数据读取方法及读取系统，基于网格气象平台获取的网格气象数据，包括如下步骤：存储服务器前端均部署有分布式数据服务，分布式数据服务启动后，向数据网关注册自己支持的网格气象数据类型；注册完成后，分布式数据服务与数据网关之间建立长连接，并通过心跳机制与数据网关同步连接状态；数据网关接收客户端的网格气象数据请求参数后，从存储服务器中读取对应的网格气象数据文件；读取的网格气象数据文件转换成数据流返回到客户端；通过将网格气象数据进行分类，使得客户端读取网格气象数据时能够有针对性，精简数据调用过程，提高数据的调用效率。

Meteorological Data Reading Method and Reading System of Distributed Storage Grid

【技术实现步骤摘要】
分布式存储网格气象数据读取方法及读取系统
本专利技术涉及网络数据读取
，更具体地说，它涉及一种分布式存储网格气象数据读取方法及读取系统。
技术介绍
网格借鉴了电力网的思想，利用互联网或者专用网络，把地理上广泛分布的各种计算资源互连在一起，使得分布在各地的计算资源相互连接，组成充分共享的资源集成。以气象应用网格为例，它是由中国气象科学研究院发起，许多相关单位参加的科研应用网格。主要研制基于网络技术的数值天气预报软件及其支持软件，研究观测资料和数值预报气象数据的海量处理技术，实现应用网格对海量气象数据集成的远程访问和智能请求管理。利用气象局已有的卫星气象通信网络和高性能计算资源，在2005年，建立包括国家气象中心、气象科学研究院、广州区域气象中心、北京区域气象中心和上海区域气象中心的气象网格平台，为行业内的研究人员提供一个资源共享、远程高性能科学计算的数值预报技术研究和模拟环境，实现数值预报应用层的互联互通、资源共享和协同工作。由上可知，网格气象数据种类繁多，更新频繁，存储量极大。实际气象业务中一般以文件形式，在多个存储设备中按时间段分门别类存放不同类别不同日期的网格气象数据。一个存储设备使用空间饱和时，将历史数据转移到另外的存储设备以腾挪出空间存储最新的实时网格气象数据，如此周而复始，导致气象业务中网格气象、数据零散分布在多个存储设备中，用户调用时变得非常麻烦，降低数据的调用效率。
技术实现思路
针对现有技术存在的不足，本专利技术的第一目的在于提供一种分布式存储网格气象数据读取方法，通过将网格气象数据进行分类，使得客户端读取网格气象数据时能够有针对性，精简数据调用过程，提高数据的调用效率。为实现上述目的，本专利技术提供了如下技术方案：一种分布式存储网格气象数据读取方法，基于网格气象平台获取的网格气象数据，并将网格气象数据存储于多个存储服务器中，包括如下步骤：Step100：存储服务器前端均部署有分布式数据服务，分布式数据服务启动后，向数据网关注册自己支持的网格气象数据类型；Step200：注册完成后，分布式数据服务与数据网关之间建立长连接，并通过心跳机制与数据网关同步连接状态；Step300：数据网关接收客户端的网格气象数据请求参数后，从存储服务器中读取对应的网格气象数据文件；Step400：读取的网格气象数据文件转换成数据流返回到客户端。通过采用上述技术方案，分布式数据服务的设置可作为底层真正的数据提供者，各个分布式数据服务注册自己支持的网格气象数据类型，对网格气象数据类型先进行分类，当客户端发送数据请求参数后，数据网关根据该请求参数找到对应的分布式数据服务，并从对应的存储服务器中读取网格气象数据，该过程中，客户端在请求读取数据过程中，数据的调用有针对性，精简了数据调用过程，提高数据的调用效率；并且，在分布式数据服务注册完成之后，增加了分布式数据服务与数据网关之间的心跳机制，使得数据网关与分布式数据服务之间始终能够保持良好的连接关系，减少两者之间的断流现象，提高数据流动的畅通性。进一步的，所述网格气象数据类型包括数据类型、数据范围、数据日期。进一步的，网格气象数据包括各类数值天气预报产品、卫星和雷达加工后的网格监测产品、探空和地面观测以及自动气象站观测加工分析后的网格实况产品。本专利技术的第二目的在于提供一种分布式存储网格气象数据读取系统，通过将网格气象数据进行分类并存储在存储服务器中，使得客户端读取网格气象数据时能够有针对性，精简数据调用过程，提高数据的调用效率。为实现上述目的，本专利技术提供了如下技术方案：一种分布式存储网格气象数据读取系统，包括：数据网关，用于接收客户端的网格气象数据请求后，向数据服务器转发客户请求参数，并获取数据服务器返回的网格气象数据流给客户端；数据服务器，与所述数据网关数据连接，并对应设置于存储服务器前端，用于向数据网关注册自己支持的网格气象数据类型，并向对应的存储服务器读取网格气象数据；存储服务器，存储网格气象数据，并与数据服务器双向数据连接；客户端，与数据网关数据连接，用于发送网格气象数据请求至数据网关。通过采用上述技术方案，数据服务器对应有不同的网格气象数据类型，当数据网关接收客户端发送网格气象数据请求参数后，向数据服务器转发客户请求参数，数据服务器根据请求参数向对应的存储服务器读取网格气象数据；该过程中，客户端在请求读取数据过程中，数据的调用有针对性，精简了数据调用过程，提高数据的调用效率。进一步的，所述数据网关包括与客户端数据连接的请求入口和数据出口。进一步的，所述数据网关还包括内部路由，用于连接客户端请求和数据服务器，内部路由接收到网关入口转发的网格气象数据请求参数后，查找符合条件的目标数据服务器，向目标数据服务器请求真正网格气象数据，并将得到的网格气象数据流转发给客户端。进一步的，所述数据网关还包括服务监视器，用于响应数据服务器的注册申请，收集数据服务器提供的数据参数，并通知给内部路由。进一步的，所述服务监视器与数据服务器通过心跳机制维持状态更新，并将最新状态通知给内部路由。通过采用上述技术方案，使得数据网关与数据服务器之间始终能够保持良好的连接关系，减少两者之间的断流现象，提高数据流动的畅通性。进一步的，所述网格气象数据类型包括数据类型、数据范围、数据日期。进一步的，所述客户端包括智能手机、平板电脑、笔记本电脑或台式电脑。与现有技术相比，本专利技术的优点是：1、通过将各个数据服务器注册自己支持的网格气象数据类型对网格气象数据类型进行分类，当数据网关接收客户端发送网格气象数据请求参数后，向数据服务器转发客户请求参数，数据服务器根据请求参数向对应的存储服务器读取网格气象数据；该过程中，客户端在请求读取数据过程中，数据的调用有针对性，精简了数据调用过程，提高数据的调用效率。2、服务监视器与数据服务器通过心跳机制维持状态更新，使得数据网关与数据服务器之间始终能够保持良好的连接关系，减少两者之间的断流现象，提高数据流动的畅通性。附图说明图1为本专利技术的系统图。附图标记：100、数据网关；110、请求入口和数据出口；120、内部路由；130、服务监视器；140、连接端口；200、数据服务器；300、存储服务器；400、客户端。具体实施方式下面结合附图和实施例，对本专利技术进行详细描述。针对于传统的网格气象数据读取过程中，当一个存储设备使用空间饱和时，将历史数据转移到另外的存储设备以腾挪出空间存储最新的实时网格气象数据，如此周而复始，导致气象业务中网格气象、数据零散分布在多个存储设备中，用户调用时变得非常麻烦，降低数据的调用效率的现象，本专利技术提出了一种分布式存储网格气象数据读取方法及读取系统，旨在对存储服务器300中的数据进行分类，从而进行针对性的网格气象数据的调动，以精简调用程序，提高数据的调用效率。本专利技术所述的网格气象数据包括各类数值天气预报产品、卫星和雷达加工后的网格监测产品、探空和地面观测以及自动气象站观测加工分析后的网格实况产品。参照图1，本专利技术提出了一种分布式存储网格气象数据读取系统，该系统包括数据网关100、数据服务器200、存储服务器300和客户端400。客户端400包括智能手机、平板电脑、笔记本电脑或台式电脑，用于人员发送网格气象数据请求参数。数据网关100用于接收客本文档来自技高网...

【技术保护点】
1.一种分布式存储网格气象数据读取方法，基于网格气象平台获取的网格气象数据，并将网格气象数据存储于多个存储服务器(300)中，其特征在于，包括如下步骤：Step100：存储服务器(300)前端均部署有分布式数据服务，分布式数据服务启动后，向数据网关(100)注册自己支持的网格气象数据类型；Step200：注册完成后，分布式数据服务与数据网关(100)之间建立长连接，并通过心跳机制与数据网关(100)同步连接状态；Step300：数据网关(100)接收客户端(400)的网格气象数据请求参数后，从存储服务器(300)中读取对应的网格气象数据文件；Step400：读取的网格气象数据文件转换成数据流返回到客户端(400)。

【技术特征摘要】
1.一种分布式存储网格气象数据读取方法，基于网格气象平台获取的网格气象数据，并将网格气象数据存储于多个存储服务器(300)中，其特征在于，包括如下步骤：Step100：存储服务器(300)前端均部署有分布式数据服务，分布式数据服务启动后，向数据网关(100)注册自己支持的网格气象数据类型；Step200：注册完成后，分布式数据服务与数据网关(100)之间建立长连接，并通过心跳机制与数据网关(100)同步连接状态；Step300：数据网关(100)接收客户端(400)的网格气象数据请求参数后，从存储服务器(300)中读取对应的网格气象数据文件；Step400：读取的网格气象数据文件转换成数据流返回到客户端(400)。2.根据权利要求1所述的分布式存储网格气象数据读取方法，其特征在于，所述网格气象数据类型包括数据类型、数据范围、数据日期。3.根据权利要求1所述的分布式存储网格气象数据读取方法，其特征在于，网格气象数据包括各类数值天气预报产品、卫星和雷达加工后的网格监测产品、探空和地面观测以及自动气象站观测加工分析后的网格实况产品。4.一种分布式存储网格气象数据读取系统，其特征在于，包括：数据网关(100)，用于接收客户端(400)的网格气象数据请求后，向数据服务器(200)转发客户请求参数，并获取数据服务器(200)返回的网格气象数据流给客户端(400)；数据服务器(200)，与所述数据网关(100)数据连接，并对应设置于存储服务器(300)前端，用于向数据网关(100)注册自己支持的网格气象数据类型，并向对应的存储服务器(300)读取网格气象数据...

【专利技术属性】
技术研发人员：孙长，钱浩，马昊，潘劲松，贾少岭，李冬，
申请(专利权)人：浙江省气象台，杭州幂拓科技有限公司，
类型：发明
国别省市：浙江,33