一种基于人工智能技术的气象数据分析系统及方法技术方案

本发明专利技术公开了一种基于人工智能技术的气象数据分析系统及方法，系统包括：算力资源层，包括硬件子模块和基础算力子模块，硬件子模块用于构成CPU集群和GPU集群；基础算力子模块用于向上层提供计算资源和存储资源；容器实例层用于通过Kubernetes将CPU集群和GPU集群进行统一管理；控制层用于构成前端的数据、模型和镜像业务逻辑线的后端独立逻辑实体；应用层用于实现系统与用户进行功能的交互。本发明专利技术提供气象数据挖掘分析所需的数据接入、算力资源弹性调度、模型编排研发，为海量气象数据挖掘分析提供平台级工具，本发明专利技术获得“四川省科技计划(2022YFS0544)资助”支持。支持。支持。

【技术实现步骤摘要】
一种基于人工智能技术的气象数据分析系统及方法


[0001]本专利技术属于机器学习
，具体涉及一种基于人工智能模型训练的气象数据分析系统及方法。

技术介绍

[0002]近年来，随着世界气象组织(WMO)提出采用“地球系统方法”重构全球气象业务、服务、科研与组织架构，气象学科发展进入地球系统时代，各国均加强气象信息资源的统筹集约管理和高效利用，以高水平数据治理提升数据竞争力，拓展应用疆域，大数据智能已成为国内外先进气象机构的战略重点。如美国国家海洋和大气管理局(NOAA)出台人工智能、云计算和数据三大战略，欧洲中期天气预报中心(ECMWF)加快开展“全工作流”人工智能应用等。中国气象局建设了“云+端”技术体系的“数算一体”平台“天擎”，实现数据、算力和算法的集约化管理。气象科学和信息技术的融合应用为气象业务升级带来了新机遇。
[0003]人工智能技术近年来迅速发展，尤其是在图像识别、自然语言处理和语音识别等方面取得了很大的进展，气象数据的分析作为人工智能技术的重要应用的方面，在数据质量控制、资料同化、天气系统识别、AI辅助预报系统
[5]、短临预警等方面展现出了巨大的应用价值，并在气象业务和服务的不同环节投入应用。
[0004]因此，随着大数据和人工智能技术的发展，气象数据分析从传统的少量、高质量样本气象数据分析向海量、泛气象数据分析转变。大数据背景下的气象数据研究工作有诸多独特的学科特点，便捷取用的气象数据、池化且可弹性伸缩的基础算力和各类算法模型，是气象数据分析工作开展的重要基础，当前已经业务化运行的“天擎”系统，已经存储海量气象数据，还需匹配可用于气象数据分析的弹性计算资源调度、气象数据接入和气象数据分析的平台环境，基于平台级的工具支撑研究人员的建模过程以及数据分析成果的协同和共享。
[0005]目前，国家级和省级气象部门采用机器学习技术，都开展了不同规模的数据分析工作，尤其是在雷达外推、预报检验等方面。上述工作的开展，主要采用独立的服务器或者个人工作站，缺乏集约化的设计，导致不同的用户开展工作需要进行重复的基础环境建设，且不同研究团队的研究成果难以通过平台的形式进行协作和共享，而相关的算力设施的构建，属于独立环境中的碎片化算力建设，与当前的气象信息化基础设施的建设脱节，导致算力资源利用率不高。
[0006]在人工智能分析方面，常见的方案，主要是由公有云厂商提供，平台依赖于公有云或者特定的基础设施，费用较为昂贵，且海量数据从气象内网上行至公有云平台，效率较低，且较易于产生数据安全问题。与此同时，用户普遍面临气象数据的快速接入，弹性可伸缩的算力调度，气象专有工具与机器学习框架的融合，以及气象研究成果的共享和迭代等需求。
[0007]与此同时，国内常见的方案，一般采用基于IPython协议的Notebook技术，通过Jupyter等开源代码二次开发而成，采用Notebook编写代码的优点是能够将代码、结果及
markdown文本写入一个文件中，便于用户查看。但面对一个项目由多个python文件构成的情况，仅用Notebook编写就会导致该部分内容无法在其他开发工具上查看，通用性不高；而且面对大型的工程，开发过程一般需要进行调试，Notebook则难以提供相应的功能。
[0008]因此，有必要整合基于IPython协议的Notebook、CloudIDE和容器云技术，用户创建的代码工程，既可以用传统Notebook视图进行代码编写，也可以通过CloudIDE的视图进行代码调试。Notebook和CloudIDE运行所需的容器及实例，由容器云进行资源调度。本专利技术获得“四川省科技计划(2022YFS0544)资助”支持。

技术实现思路

[0009]针对现有技术中的上述不足，本专利技术提供的一种基于人工智能技术的气象数据分析系统及方法解决了海量气象数据快速接入、模型训练代码Notebook可视化和CloudIDE调试双场景融合等问题。
[0010]为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于人工智能技术的气象数据分析系统，所述系统包括：
[0011]算力资源层，包括硬件子模块和基础算力子模块，所述硬件子模块包括服务器设备、NAS设备和网络设备，所述硬件子模块用于构成CPU集群和GPU集群；所述基础算力子模块用于向上层提供计算资源和存储资源；
[0012]容器实例层，用于通过Kubernetes将CPU集群和GPU集群进行统一管理，还用于向上层应用提供各类的pod；
[0013]控制层，用于构成前端的数据、模型和镜像业务逻辑线的后端独立逻辑实体；
[0014]应用层，用于实现系统与用户进行功能的交互。
[0015]进一步地：所述容器实例层包括系统管理节点和用户工作节点，所述系统管理节点用于维持系统运行，所述用户工作节点用于用户模型编排研发和模型训练；
[0016]所述系统管理节点的平台运行pod包括MongoDB数据库、镜像仓库服务、文件存储服务和平台Web服务集；
[0017]所述用户工作节点的用户实例容器组包括kernel容器组件、proxy容器组件、sidecar容器组件和fileserver容器组件，其中，所述kernel容器组件用于为用户提供相应的Python/R计算环境；proxy容器组件用于将用户的前端请求根据类型分发至不同的容器组件；sidecar容器组件用于进行容器的资源监控、状态管理和信息上报；fileserver容器组件用于支持数据集、工作区和项目输出文件系统功能；
[0018]所述用户工作节点的pod用于在项目运行的时从对应实例类型的集群中调度对应配置的服务器提供计算服务，当项目关闭后可以自动释放运算资源，使资源能够服务于其它业务。
[0019]进一步地：所述容器实例层包括资源调度组件、镜像管理组件、Pod管理组件、任务管理组件、流量代理组件和模型发布组件，各组件用于实现对Kubernetes相关操作的封装和相关策略接口的自定义实现，并由应用层基于用户的操作需求进行调用。
[0020]一种基于人工智能技术的气象数据分析系统的方法，所述方法包括：
[0021]S1、在前端页面配置实例，搭建Kubernetes集群；
[0022]S2、在Kubernetes集群中启动在线集成开发环境的交互式建模环境；
[0023]S3、在交互式建模环境中进行模型编排和研发；
[0024]S4、在交互式建模环境中进行模型训练。
[0025]进一步地：所述S3具体为：
[0026]S31、建立模型编排和研发项目，并为项目命名、撰写描述信息和上传本地代码；
[0027]S32、建立工程匹配的数据集，包括全新上传本地数据至服务器以及系统中其他用户共享的数据集，并指定挂载路径；
[0028]S33、选择资源类型，包括各种规格的计算资源和镜像；
[0029]S34、建立项目运行任务，在任务调度后分配资源，并进入Noteboo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能技术的气象数据分析系统，其特征在于，所述系统包括：算力资源层，包括硬件子模块和基础算力子模块，所述硬件子模块包括服务器设备、NAS设备和网络设备，所述硬件子模块用于构成CPU集群和GPU集群；所述基础算力子模块用于向上层提供计算资源和存储资源；容器实例层，用于通过Kubernetes将CPU集群和GPU集群进行统一管理，还用于向上层应用提供各类的pod；控制层，用于构成前端的数据、模型和镜像业务逻辑线的后端独立逻辑实体；应用层，用于实现系统与用户进行功能的交互。2.根据权利要求1所述的基于人工智能技术的气象数据分析系统，其特征在于，所述容器实例层包括系统管理节点和用户工作节点，所述系统管理节点用于维持系统运行，所述用户工作节点用于用户模型编排研发和模型训练；所述系统管理节点的平台运行pod包括MongoDB数据库、镜像仓库服务、文件存储服务和平台Web服务集；所述用户工作节点的用户实例容器组包括kernel容器组件、proxy容器组件、sidecar容器组件和fileserver容器组件，其中，所述kernel容器组件用于为用户提供相应的Python/R计算环境；proxy容器组件用于将用户的前端请求根据类型分发至不同的容器组件；sidecar容器组件用于进行容器的资源监控、状态管理和信息上报；fileserver容器组件用于支持数据集、工作区和项目输出文件系统功能；所述用户工作节点的pod用于在项目运行的时从对应实例类型的集群中调度对应配置的服务器提供计算服务，当项目关闭后可以自动释放运算资源，使资源能够服务于其它业务。3.根据权利要求1所述的基于人工智能技术的气象数据分析系统，其特征在于，所述容器实例层包括资源调度组件、镜像管理组件、Pod管理组件、任务管理组件、流量代理组件和模型发布组件，各组件用于实现对Kubernetes相关操作的封装和相关策略接口的自定义实现，并由应用层基于用户的操作需求进行调用。4.一种根据权利要求1～3所述基于人工智能技术的气象数据分析系统的方法，其特征在于，所述方法包括：S1、在前端页面配置实例，搭建Kubernetes集群；S2、在Kubernetes集群中启动在线集成开发环境的交互式建模环境；S3、在交互式建模环境中进行模型编排和研发；S4、在交互式建模环境中进行模型训练。5.根据权利要求4所述的基于人工智能技术的气象数据分析方法，其特征在于，所述S3具体为：S31、建立模型编排和研发项目，并为项目命名、撰写描述信息和上传本地代码；S32、建立工程匹配的数...

【专利技术属性】
技术研发人员：向筱铭，王琦，徐晓莉，霍庆，何文春，江蕾，杨雪，张常亮，
申请(专利权)人：四川省气象探测数据中心，
类型：发明
国别省市：