一种气象数据数值预报云共享平台和数据共享方法技术

本发明专利技术提出了一种气象数据数值预报云共享平台，包括：用于传输、处理、存储、共享数值预报海量数据的共享服务平台；用于实现模式研发与释用技术的众智平台；及用于本地化数据处理及供用户访问处理结果的分中心平台。本发明专利技术还公开了一种数据共享方法。本发明专利技术提出的气象数据数值预报云共享平台及其数据共享方法围绕提高数值预报准确率和精细化水平的核心目标，坚持需求牵引、强化创新驱动，以集约化、标准化的发展方式，应用云技术、大数据、互联网+、智能化等信息技术，建立以区域高分辨率数值预报系统为核心的集约化数值预报格点数据应用业务体系。

Cloud sharing platform and data sharing method for weather data numerical forecast

The invention provides a shared platform for meteorological data forecasting cloud sharing, including the sharing service platform used to transmit, process, store and share numerical data for the prediction of mass data; the platform for the realization of mode R & D and release technology; and a sub center platform for localizing data processing and the results of user access processing. . The invention also discloses a data sharing method. The cloud sharing platform and the method of data sharing proposed by this invention focus on the core objectives of improving the accuracy and refinement of the numerical forecast, insisting on the demand traction and strengthening the innovation drive, with the intensive and standardized development mode, and the application of information technology, such as cloud technology, large data, Internet +, and intelligence. The establishment of intensive numerical forecast grid data application system based on regional high resolution numerical forecast system is established.

【技术实现步骤摘要】
一种气象数据数值预报云共享平台和数据共享方法
本专利技术涉及云技术及气象数据分析领域，尤其涉及一种气象数据数值预报云共享平台和数据共享方法。
技术介绍
长期以来，数值预报海量数据传输都是业务运行中的难点问题。这不仅制约了高水平、高分辨的业务模式应用的范围，使得全国预报人员无法在同一水平的国家平台上分析及预报，各地预报能力表现出较大的差异；同时也间接影响了数值预报集约化发展的国家战略，使得区域模式的发展处于相对无序、小而不全、低水平重复建设严重的现实状态。纵观国际国内气象科技发展新趋势，服务全国经济社会发展新常态，全国气象事业处于快速发展期的格局未变，面临国际激烈竞争的压力不减。如何改变区域高分辨率模式发展的现状，实现业务技术发展的集约化、现代化，实现众创发展的良好局面，是摆在管理者的一线研发人员的核心问题。
技术实现思路
本专利技术的目的在于，建设和发展中国数值预报专业云，实现全国数值预报核心业务系统的共享和协作研发。核心数值预报业务系统格点数据，通过数值预报专业云的全国共享，可大大提高区域高分辨率数值预报业务系统的支撑能力，减少全国普建数值预报系统现象，集中人力物力提高数值预报能力；高分辨率的格点数据，可满足全国短时临近、格点预报和精细化预报的需求。本专利技术提出的一种气象数据数值预报云共享平台，包括：用于传输、处理、存储、共享数值预报海量数据的共享服务平台；用于实现模式研发与释用技术的众智平台；及用于本地化数据处理及供用户访问处理结果的分中心平台。本专利技术的优选技术方案中，所述共享服务平台包括：用于实现应用接入系统、云存储系统、数据处理系统、认证与回调模块、业务管理系统的基础系统平台；和用于实现浏览、查询等数据与产品可视化服务的数据统一开放门户。本专利技术的优选技术方案中，所述基础平台系统包括：应用接入模块，用于提供相应插件或模块实现所述基础平台系统与外部应用系统的无缝衔接与数据定制；云存储模块，用于提供对象存储、NoSQL存储、归档存储及数据库存储；数据处理模块，用于对数值预报海量数据进行获取、切片、汇总和加工处理；消息服务模块，用于制定消息服务集成方案；认证与回调模块，用于创建用户身份管理、服务权限管理、用户管理和回调机制；及业务管理模块，用于管理资源、数据和权限，并具备统计分析和日志分析功能。本专利技术的优选技术方案中，所述业务管理模块包括：商业智能展示单元，其用于采用报表工具快速准确地生成动态图表；动态图表包括柱形图、折线图、条形图、饼图、雷达图；运维管理单元，其用于管理云资源，实现增加、删除、变更及动态调整计算资源、存储资源、网络资源和数据资源及其状态；用户管理单元，其用于实现用户身份管理、服务权限管理和用户管理；统计分析单元，其用于资源分析、数据分析、用户行为分析和日志分析；安全管理单元，其用于实时记录数据活动状况，对数据操作进行不同粒度审计的合规性管理，对数据遭受到的风险行为进行告警，对攻击行为进行阻断。本专利技术的优选技术方案中，进一步包括：用于同步备份所述共享服务平台内管理信息、用户信息和服务信息的备份系统。本专利技术的优选技术方案中，进一步包括：用于利用云平台提供的大数据资源、计算能力和算法集群的接口服务，实现天气业务产品后处理系统的云上部署的业务后处理产品云化系统。本专利技术的优选技术方案中，所述气象数据数值预报云共享平台采用多区域部署高速内容分发网络进行数据分发和传输。本专利技术还提出了一种数值预报云数据共享方法，包括：原始数据从数据源通过互联网络或公共云专线上传数值预报云共享系统的对象存储服务中；待成功将原始数据上传对象存储服务后，自动发送原始数据上传消息进入消息服务，数据转存服务订阅文件上传的消息通知，同时数据订阅服务订阅文件上传的消息通知；当数据转存服务接收到文件上传消息之后，将原始数据预切分成更小粒度的文件服务于后续的批量下载服务，并解析文件中的数据转存到NoSQL表存储服务中服务于后续的精确读取；数据转存服务在将原始文件切片之后写入对象存储，写入成功之后，自动发送消息进入消息服务；数据转存服务在将原始数据解析出来之后，根据多种预定义的粒度写入NoSQL表存储中；用户端采通过预报平台、数据平台或者网页直接浏览获取到数值预报相应的预报产品结果。本专利技术的优选技术方案中，所述原始数据从数据源通过互联网络或公共云专线上传数值预报云共享系统的对象存储服务中还包括：通过转换服务将原始数据从对象存储服务中迁移至NoSQL存储服务；将原始数据的集合数据集按预定规则拆分为多维度记录；多维度记录为包括按模式类型、变量、空间、时间多要素类型的数据；多维度记录按相应要素类型存储于NoSQL存储服务内。本专利技术的优选技术方案中，所述用户端采通过常用的预报平台、数据平台或者网页直接浏览获取到数值预报相应的预报产品结果还包括：用户提交个性化定制信息，形成消息事件；将消息事件传递到消息服务中，消息服务检测到新消息后启动调用数据处理作业；数据处理作业执行数据的获取、汇总、处理，得到处理结果写入对象从存储服务；消息服务发送计算完成事件消息，并返回处理结果给用户供用户调阅或下载使用。与现有技术相比，本专利技术的有益效果：本专利技术提出的气象数据数值预报云共享平台及其数据共享方法围绕提高数值预报准确率和精细化水平的核心目标，坚持需求牵引、强化创新驱动，以集约化、标准化的发展方式，应用云技术、大数据、互联网+、智能化等信息技术，建立以区域高分辨率数值预报系统为核心的集约化数值预报格点数据应用业务体系。通过统一标准、统一数据和统一管理的集约化众创型数值预报专业云平台，形成数值预报业务、科研等的“云+端”应用模式，提升气象信息化技术和现代化气象服务水平，加快推进数值预报格点应用向无缝隙、精准化、智慧型方向发展。附图说明图1表示本专利技术气象数据数值预报云共享平台的业务架构。图2表示本专利技术气象数据数值预报云共享平台的应用架构。图3表示应用架构的功能列表。图4表示本专利技术气象数据数值预报云共享平台的技术架构。图5表示本专利技术气象数据数值预报云共享平台的数据架构。图6表示高速内容分发网络的示意图。图7表示本专利技术数值预报云数据共享方法的数据流转图。图8表示本专利技术数值预报云数据共享方法的数据流转的流程图。具体实施方式下面将结合示意图对本专利技术提出的气象数据数值预报云共享平台及其数据共享方法进行更详细的描述，其中表示了本专利技术的优选实施例，应该理解本领域技术人员可以修改在此描述的本专利技术，而仍然实现本专利技术的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本专利技术的限制。本专利技术技术方案采用TOGAF系统架构设计方法论，从自身业务特点进行规划以及待解决问题入手，逐步拆解业务需求，进而从中寻求信息化系统建设的框架。TOGAF(TheOpenGroupArchitectureFramework，开放组体系结构框架)由国际标准权威组织TheOpenGroup制定。TOGAF是基于一个迭代(Iterative)的过程模型，支持最佳实践和一套可重用的现有架构资产。本专利技术设计依托业务架构、应用架构、数据架构、技术架构四级进行设计，实现数值预报专业云平台系统建设的个性化与实用性。本专利技术气象数据数值预报云共享平台的业务架构如图1所示，数值预报专业云主要包括数值预报数本文档来自技高网...

【技术保护点】
1.一种气象数据数值预报云共享平台，其特征在于，包括：用于传输、处理、存储、共享数值预报海量数据的共享服务平台；用于实现模式研发与释用技术的众智平台；及用于本地化数据处理及供用户访问处理结果的分中心平台。

【技术特征摘要】
1.一种气象数据数值预报云共享平台，其特征在于，包括：用于传输、处理、存储、共享数值预报海量数据的共享服务平台；用于实现模式研发与释用技术的众智平台；及用于本地化数据处理及供用户访问处理结果的分中心平台。2.根据权利要求1所述的气象数据数值预报云共享平台，其特征在于，所述共享服务平台包括：用于实现应用接入系统、云存储系统、数据处理系统、认证与回调模块、业务管理系统的基础系统平台；和用于实现浏览、查询等数据与产品可视化服务的数据统一开放门户。3.根据权利要求2所述的气象数据数值预报云共享平台，其特征在于，所述基础平台系统包括：应用接入模块，用于提供相应插件或模块实现所述基础平台系统与外部应用系统的无缝衔接与数据定制；云存储模块，用于提供对象存储、NoSQL存储、归档存储及数据库存储；数据处理模块，用于对数值预报海量数据进行获取、切片、汇总和加工处理；消息服务模块，用于制定消息服务集成方案；认证与回调模块，用于创建用户身份管理、服务权限管理、用户管理和回调机制；及业务管理模块，用于管理资源、数据和权限，并具备统计分析和日志分析功能。4.根据权利要求3所述的气象数据数值预报云共享平台，其特征在于，所述业务管理模块包括：商业智能展示单元，其用于采用报表工具快速准确地生成动态图表；动态图表包括柱形图、折线图、条形图、饼图、雷达图；运维管理单元，其用于管理云资源，实现增加、删除、变更及动态调整计算资源、存储资源、网络资源和数据资源及其状态；用户管理单元，其用于实现用户身份管理、服务权限管理和用户管理；统计分析单元，其用于资源分析、数据分析、用户行为分析和日志分析；安全管理单元，其用于实时记录数据活动状况，对数据操作进行不同粒度审计的合规性管理，对数据遭受到的风险行为进行告警，对攻击行为进行阻断。5.根据权利要求1所述的气象数据数值预报云共享平台，其特征在于，进一步包括：用于同步备份所述共享服务平台内管理信息、用户信息和服务信息的备份系统。6.根据权利要求1所述的气象数据数值预报云共享平台，其特征在于，进一步包括：用于利用...

【专利技术属性】
技术研发人员：王晓峰，殷岳，
申请(专利权)人：王晓峰，殷岳，
类型：发明
国别省市：上海,31