一种气象模式数据解码处理方法技术

本发明专利技术公开一种气象模式数据解码处理方法，包括如下步骤：采用多线程方式，读取模式数据源文件；将所述模式数据源文件拆分成模式单场文件；将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容；根据气象服务需求，将解析得到的所述模式数据属性和所述模式数据内容，重新存储入分布式表格数据库，和/或重组生成模式产品文件后入分布式文件库+索引表；待数据处理和入库完成后，将入库数据的DI信息发送至“天镜”监控系统。本发明专利技术能处理和接入几乎所有现有业务中的GRIB格式的模式数据，以支撑不同的模式数据服务需求。本发明专利技术采用java语言开发，可扩展性强，平台移植性高，能同时在不同平台运行。能同时在不同平台运行。能同时在不同平台运行。

【技术实现步骤摘要】
一种气象模式数据解码处理方法


[0001]本专利技术涉及气象模式数据处理
具体地说是一种气象模式数据解码处理方法。

技术介绍

[0002]模式数据是气象的14大类数据之一，也是气象应用中使用最广泛的数据之一。气象大数据云平台系统中存储和使用的模式数据包括欧洲模式数据、日本模式数据、美国模式数据、德国模式数据、中国气象局的CMA
‑
GFS模式和CMA
‑
MESO模式以及中国气象局实况分析产品等。“天擎”作为中国气象大数据云平台系统，能够面向全国提供数算一体平台化服务。“天镜”作为我国气象综合业务实时监控系统，用于监控气象业务全流程中信息的“流动”、系统的运行、网络安全动态，从而有效保证我国气象业务系统的一体化运行。
[0003]“天擎”系统中存储和使用的模式数据为GRI B格式，GRI B格式的模式数据是世界气象组织(WMO)的标准编码手册规定的一种气象类网格模式数据，包括GRI B1和GR I B2两种格式。在旧的气象模式数据处理技术中，针对模式数据的每一段的每个字节都要进行解析，技术比较复杂，扩展性不强。因此，有必要开发一种能够结合气象模式数据使用和服务需求的气象模式数据解码处理方法，使其对气象模式数据的处理更具有针对性以及更强的扩展性和平台移植性。

技术实现思路

[0004]为此，本专利技术所要解决的技术问题在于提供一种气象模式数据解码处理方法，以解决现有气象模式数据处理技术复杂，扩展性不强等问题。
[0005]为解决上述技术问题，本专利技术提供如下技术方案：
[0006]一种气象模式数据解码处理方法，包括如下步骤：
[0007]步骤(1)：采用多线程方式，读取“天擎”气象业务中GRIB格式的模式数据源文件；
[0008]步骤(2)：将所述模式数据源文件拆分成模式单场文件；
[0009]步骤(3)：将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容；
[0010]步骤(4)：根据气象服务需求，将解析得到的所述模式数据属性和所述模式数据内容，重新存储入分布式表格数据库，和/或重组生成模式产品文件后入分布式文件库+索引表；
[0011]步骤(5)：待数据处理和入库完成后，将入库数据的详细日志D I(Detai lI nformat i on)信息发送至“天镜”监控系统。
[0012]上述气象模式数据解码处理方法，步骤(1)中，采用RabbitMQ消息中间件，对所述模式数据源文件的到达进行通知；通过多线程方式，同时读取两个或两个以上的通知消息，并同时对两个或两个以上的所述模式数据源文件进行并发处理。RabbitMQ是实现了高级消息队列协议AMQP的开源消息代理软件，亦称面向消息的中间件。
[0013]上述气象模式数据解码处理方法，步骤(2)中，数据拆分的目的是对模式数据源文件按需进行重组存储。模式数据源文件一般是按多要素、多种层次类型在一个文件中，或者单个时效一个文件，是不规则的组织方式；这种方式不利于进行数据服务。根据WMO的标准编码手册规定的GRIB1和GRIB2格式中，数据的多场组织方式不同，采用对应的拆分方法。目前，GRI B数据有以下两种多场组织方式：
[0014]①
物理组织方式，大部分的模式数据都是这种组织方式，比如欧洲模式、日本模式、美国模式、德国模式、中国气象局CMA模式等。当所述GRIB格式的所述模式数据源文件以“物理组织”的方式组织在一起时，即：按照“GRIB
…
7777GRI B
…
7777”的方式组织在一起，且每个GRIB
…
7777之间只有1个场，则将所述GRI B格式的所述模式数据源文件的每个场拆分成一个所述模式单场文件；
[0015]②
循环嵌套方式。当所述GRIB格式的所述模式数据源文件以“循环嵌套”的方式组织在一起时，即：一个所述GRIB格式的所述模式数据源文件只包含一个“GRIB
…
7777”，但是中间嵌套包含两个或两个以上的场数据，且两个或两个以上的场数据从第2段、第3段或第4段开始，到第7段为循环重复段，其它非循环重复段作为固定段；则将固定段和循环重复段拼成一个所述模式单场文件。比如，一个模式数据源文件如下所示：
[0016][0017]在上述模式数据源文件中，如果循环重复段为第4
‑
7段，则非循环重复段为第0
‑
3段和第8段，即固定段为第0
‑
3段和第8段，则将固定段第0
‑
3段和第8段与循环重复段第4
‑
7段拼成一个模式单场文件；如果循环重复段为第3
‑
7段，则非循环重复段为第0
‑
2段和第8段，即固定段为第0
‑
2段和第8段，则将固定段第0
‑
2段和第8段与循环重复段第3
‑
7段拼成一个模式单场文件；如果循环重复段为第2
‑
7段，则非循环重复段为第0
‑
1段和第8段，即固定段为第0
‑
1段和第8段，则将固定段第0
‑
1段和第8段与循环重复段第2
‑
7段拼成一个模式单场文件。
[0018]针对上述两种多场组织方式，采用对应的方法进行拆分，将原始文件拆分成一个场一个文件。
[0019]上述气象模式数据解码处理方法，步骤(3)中，模式数据源文件拆分成模式单场文件后，按WMO的标准编码手册规定的GRIB1和GRIB2格式对模式单场文件进行解析；使用Un idata(统一数据)社区发布的NetCDF(network Common Data Form)网络通用数据格式的netCDF
‑
Java组件，用java开发语言实现，将所述GRIB格式的所述模式数据源文件拆分后的所述模式单场文件进行解析。GRIB1和GRIB2格式解析出的属性相同。
[0020]上述气象模式数据解码处理方法，步骤(3)中，所述模式单场文件解析的要素名称
包括资料时间、要素、网格类型、GRI B版本、层次类型、经纬度范围、区域、空间分辨率、预报时效、层次、场类型、加工过程类型、模式数据和要素长名。
[0021]上述气象模式数据解码处理方法，所述要素学科、参数类型和参数编码与要素编码对应的配置文件(此配置文件是学科、参数类型和参数编码的组合，与要素编码为对应关系)中获取，所述学科从所述模式单场文件的第0段获取，所述参数类型和所述参数编码均从所述模式单场文件的第4段获取；所述GRIB版本从所述模式单场文件的第0段获取；所述资料时间和所述场类型从所述模式单场文件的第1段获取；所述网格类型、所述经纬度范围和所述空间分辨率均从所述模式单场文件的第3段获取；所述层次类型、所述预报时效、所述层次和所述加工过程类型均从所述模式单场文件的第4段获取；所述模式数据从所述模式单场文件的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种气象模式数据解码处理方法，其特征在于，包括如下步骤：步骤(1)：采用多线程方式，读取“天擎”气象业务中GRIB格式的模式数据源文件；步骤(2)：将所述模式数据源文件拆分成模式单场文件；步骤(3)：将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容；步骤(4)：根据气象服务需求，将解析得到的所述模式数据属性和所述模式数据内容，重新存储入分布式表格数据库，和/或重组生成模式产品文件后入分布式文件库+索引表；步骤(5)：待数据处理和入库完成后，将入库数据的详细日志DI信息发送至“天镜”监控系统。2.根据权利要求1所述的气象模式数据解码处理方法，其特征在于，步骤(1)中，采用RabbitMQ消息中间件，对所述模式数据源文件的到达进行通知；通过多线程方式，同时读取两个或两个以上的通知消息，并同时对两个或两个以上的所述模式数据源文件进行并发处理。3.根据权利要求1所述的气象模式数据解码处理方法，其特征在于，步骤(2)中，当所述GRIB格式的所述模式数据源文件以“物理组织”的方式组织在一起时，即：按照“GRIB
…
7777GRIB
…
7777”的方式组织在一起，且每个GRIB
…
7777之间只有1个场，则将所述GRIB格式的所述模式数据源文件的每个场拆分成一个所述模式单场文件；当所述GRIB格式的所述模式数据源文件以“循环嵌套”的方式组织在一起时，即：一个所述GRIB格式的所述模式数据源文件只包含一个“GRIB
…
7777”，但是中间嵌套包含两个或两个以上的场数据，且两个或两个以上的场数据从第2段、第3段或第4段开始，到第7段为循环重复段，其它非循环重复段作为固定段，则将固定段和循环重复段拼成一个所述模式单场文件。4.根据权利要求1所述的气象模式数据解码处理方法，其特征在于，步骤(3)中，使用Netcdf开发包，用java开发语言实现，将所述GRIB格式的所述模式数据源文件拆分后的所述模式单场文件进行解析。5.根据权利要求4所述的气象模式数据解码处理方法，其特征在于，步骤(3)中，所述模式单场文件解析的要素名称包括资料时间、要素、网格类型、GRIB版本、层次类型、经纬度范围、区域、空间分辨率、预报时效、...

【专利技术属性】
技术研发人员：郑波，刘媛媛，肖卫青，杨明，孙周军，王琦，刘鑫，徐拥军，
申请(专利权)人：国家气象信息中心中国气象局气象数据中心，
类型：发明
国别省市：