基于资源集和大数据技术的气象格点文件应用方法技术

本发明专利技术公开了基于资源集和大数据技术的气象格点文件应用方法，包括HDFS存储集群、资源索引服务、指令服务、计算集群、文件服务，本发明专利技术提供出一种全新的格点文件应用方案，通过云计算技术，实现了云端标准化的数据加工与处理，省去了数据移动的环节，降低了格点文件的使用门槛，提高了使用效率，减少了重复工作。采用REST规范，方便用户在实现不同的系统对接，有利于标准化系统的构建。同时，本发明专利技术创建了格点文件的资源集构建方法、格点文件资源标准化指令集、基于资源集和指令集的格点文件应用架构。其中，格点文件资源集包括资源索引表的设计、资源索引表上的操作、文件名解析器和一组查询方法组成。

Application method of meteorological grid file based on resource set and big data technology

The invention discloses the application method of meteorological lattice file based on resource set and big data technology, including HDFS storage cluster, resource index service, instruction service, computing cluster and file service. The invention provides a new application scheme of lattice file, realizes standardized data addition in cloud through cloud computing technology. Work and processing, eliminating the link of data movement, lowering the threshold of the use of grid files, improving the efficiency of use, reducing duplication of work. The adoption of REST specification facilitates users to achieve different systems docking and is conducive to the construction of standardized systems. At the same time, the invention creates a resource set construction method of grid file, a standardized instruction set of grid file resources, and a grid file application architecture based on resource set and instruction set. The lattice file resource set includes the design of the resource index table, the operation on the resource index table, the file name parser and a set of query methods.

【技术实现步骤摘要】
基于资源集和大数据技术的气象格点文件应用方法
本专利技术涉及数据应用领域，具体为基于资源集和大数据技术的气象格点文件应用方法。
技术介绍
气象预报正在向精细化的方向发展，无论是天气预报模式还是气候预测模式，时间分辨率、空间分辨率还有预报时长都在不断提高，这一发展的直接结果就是气象预报的数据增长越来越快，随着精细化预报技术的发展，产生了越来越庞大的数值预报文件，在数据的使用中形成了标准的数据格式如NC,Grib等，统称格点文件，是一种标准化的自描述文件，这种存储方式将数据的描述信息与数据存放在同一个文件中，通过解析文件可以获得文件中的变量名称、维度、类型等信息，这种文件格式有利于数据的存储、传输、管理、交换和使用。虽然这种自描述文件给实际应用带来了极大的便利，但随着海量文件的生成，给存储和处理都带了极大的挑战，目前常用的方式还是非常传统的，在业务系统中像普通文件一样存储在服务器上，通过FTP服务器实现数据下载或交换，对文件的使用基于不同的系统和技术分别实现，这种小而散的方式效率低，就给格点文件的使用带来了极大的瓶颈，需要设计新的方法来更好地使用这些格点文件。
技术实现思路
本专利技术的目的就在于为了解决上述问题而提供一种基于资源集和大数据技术的气象格点文件应用方法。本专利技术通过以下技术方案来实现上述目的。基于资源集和大数据技术的气象格点文件应用方法，包括HDFS存储集群、资源索引服务、指令服务、计算集群、文件服务，其特征在于所述HDFS存储集群以格点文件为资源，众多格点文件形成资源集，并在资源集上定义标准化的命令集，实现对格点的文件操作，通过HDFS集群集中存储数据文件，所述资源索引服务通过对格点文件资源集形成的HDFS集群建立文件索引，所述指令服务主要用于响应接收到的处理请求，所述计算集群主要用于运行格点文件的处理程序，在云服务端完成格点文件的处理，所述文件服务主要向客户端提供处理好的资源，并将结果提供给客户端使用。HDFS存储集群提供海量文件的存储和管理，按标准化目录结构存储格点文件，并提供目录挂载功能，所述标准化目录根据数据类别名称建立，目录层级与数据类别按级别相对应，数据文件的路径与ResourceKey唯一对应，在每个分类数据目录下，数据文件按时间组织。HDFS存储集群完成文件批量导入、文件增量导入、文件检查、文件名修改等功能，文件批量导入通过直接拷贝、FTP下载等方式实现；文件增量导入通过后台程序进行，定时检查是否新生成文件，然后导入HDFS集群；文件检查主要是对文件名、文件大小、文件类型、文件生成时间进行检查，判断是否存在文件异常；文件名修改是根据需要进行规范化处理。资源索引服务提供资源集构建和资源定位服务，设计为资源索表、资源索引表上的操作、文件名解析器和一组查询方法组成。指令服务设计由接收指令、指令集、解析指令、查找任务模板和参数功能、发出计算请求和请求响应组成。计算集群为统一的计算环境、插件库、任务模板管理和调度引擎，以实现格点文件处理任务的运行。文件服务用于存储处理好的结果，供下载、服务使用。文件服务子系统提供了HDFS和对象存储两种方式用于存储不同的资源，其中HDFS用于存储大文件，对象存储用于存储小文件。本专利技术提供出一种全新的格点文件应用方案，通过云计算技术，实现了云端标准化的数据加工与处理，省去了数据移动的环节，降低了格点文件的使用门槛，提高了使用效率，减少了重复工作。采用REST规范，方便用户在实现不同的系统对接，有利于标准化系统的构建。同时，本专利技术创建了格点文件的资源集构建方法、格点文件资源标准化指令集、基于资源集和指令集的格点文件应用架构。其中，格点文件资源集包括资源索引表的设计、资源索引表上的操作、文件名解析器和一组查询方法组成。附图说明附图中，图1为气象格点文件应用方法的总体步骤，图2为格点文件服务的处理过程。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种格点数据应用方法，包括以下步骤：步骤S1：用户在向格点文件应用系统发出指令；步骤S2：格点文件应用系统收到指令后，首先对指令格式进行检查，按规则解析指令；步骤S3：根据指令配置资源，包括格点文件、处理流程：步骤S301：接收指令解析后的参数；步骤S302：根据参数查找相应的资源，根据ResourceKey查找存储目录，解析TimeString得到资源文件；步骤S303：根据S302的目录和文件列表，定位格点文件资源；步骤S304：根据Command调用任务模板，解析Parameters的参数并自动填入任务模板；步骤S305：检查资源情况，设置任务流状态为是否可执行；步骤S306：向计算集群发出异步计算请求；步骤S307：向客户端返回请求结果；步骤S4：按请求处理格点文件；步骤S5：将处理结果发送到文件服务器，响应请求。本专利技术基于大数据和REST（表现层状态转化）规范设计了一种气象格点文件的使用方法，方法以格点文件为资源，在资源集上定义标准化的命令集，实现对格点的文件操作，通过HDFS集群集中存储数据文件，并建立文件索引作为资源集，接收到处理请求后，在云服务端完成格点文件的处理，并将结果提供给客户端使用。参见图1所示，方法中包含HDFS存储集群、资源索引服务、指令服务、计算集群、文件服务五个部分。HDFS存储通过分布式存储集中存储气象数据文件；资源索引服务根据规范建立目录和文件列表的索引集；指令服务响应客户端发出的资源使用指令；计算集群运行格点文件的处理程序；文件服务向客户端提供处理好的资源。首先，针对HDFS存储集群，集群提供海量文件的存储和管理，按标准化目录结构存储格点文件，并提供目录挂载功能。标准化目录根据数据类别名称建立，目录层级与数据类别按级别相对应，数据文件的路径与ResourceKey唯一对应。在每个分类数据目录下，数据文件按时间组织。HDFS集群完成文件批量导入、文件增量导入、文件检查、文件名修改等功能。文件批量导入通过直接拷贝、FTP下载等方式实现；文件增量导入通过后台程序进行，定时检查是否新生成文件，然后导入HDFS集群；文件检查主要是对文件名、文件大小、文件类型、文件生成时间进行检查，判断是否存在文件异常；文件名修改是根据需要进行规范化处理。其次，针对资源索引服务，资源索引服务提供资源集构建和资源定位服务，设计为资源索引表、资源索引表上的操作、文件名解析器和一组查询方法组成。主要包括：1）资源索引表，资源索引表由资源标识（ResourceKey）、资源路径（ResourcePath）、文件名规则（FileNameFormat）、源文件地址（ImportFrom）、元数据（ResourceMetadata）等组成，ResourceKey由格点文件所属种类的标准名称用下划线”_”连接组合而成，数据种类的名称规范可参见文档《GB/T33674-2017气象数据集核心元数据》；ResourcePath为文件在HDFS集群中的存储路径；FileNameFormat是描述本文档来自技高网...

【技术保护点】
1.基于资源集和大数据技术的气象格点文件应用方法，包括HDFS存储集群、资源索引服务、指令服务、计算集群、文件服务，其特征在于所述HDFS存储集群以格点文件为资源，众多格点文件形成资源集，并在资源集上定义标准化的命令集，实现对格点的文件操作，通过HDFS集群集中存储数据文件，所述资源索引服务通过对格点文件资源集形成的HDFS集群建立文件索引，所述指令服务主要用于响应接收到的处理请求，所述计算集群主要用于运行格点文件的处理程序，在云服务端完成格点文件的处理，所述文件服务主要向客户端提供处理好的资源，并将结果提供给客户端使用。

【技术特征摘要】
1.基于资源集和大数据技术的气象格点文件应用方法，包括HDFS存储集群、资源索引服务、指令服务、计算集群、文件服务，其特征在于所述HDFS存储集群以格点文件为资源，众多格点文件形成资源集，并在资源集上定义标准化的命令集，实现对格点的文件操作，通过HDFS集群集中存储数据文件，所述资源索引服务通过对格点文件资源集形成的HDFS集群建立文件索引，所述指令服务主要用于响应接收到的处理请求，所述计算集群主要用于运行格点文件的处理程序，在云服务端完成格点文件的处理，所述文件服务主要向客户端提供处理好的资源，并将结果提供给客户端使用。2.根据权利要求1所述的基于资源集和大数据技术的气象格点文件应用方法，其特征在于所述HDFS存储集群提供海量文件的存储和管理，按标准化目录结构存储格点文件，并提供目录挂载功能，所述标准化目录根据数据类别名称建立，目录层级与数据类别按级别相对应，数据文件的路径与ResourceKey唯一对应，在每个分类数据目录下，数据文件按时间组织。3.根据权利要求1所述的基于资源集和大数据技术的气象格点文件应用方法，其特征在于所述HDFS存储集群完成文件批量导入、文件增量导入、文件检查、文件名修改等功能，文件批量导入通过直接拷贝、FTP下载等方式实现；文件...

【专利技术属性】
技术研发人员：邱珩，陈俊锋，李强，潘涛，
申请(专利权)人：华风象辑北京气象科技有限公司，
类型：发明
国别省市：北京,11