支撑气象数据分析建模的人工智能平台的双集群架构和设计方法技术

技术编号:41872722 阅读:22 留言:0更新日期:2024-07-02 00:24
本发明专利技术公开支撑气象数据分析建模的人工智能平台的双集群架构和设计方法,包括位于本地机房的服务集群和位于异地机房的跨云算力集群;服务集群和算力集群间通过API接口实现互通,且本地中心机房的服务器的架构与异地机房的跨云服务器的架构不同。服务集群确保平台入口、平台和用户数据均位于中心机房,保障系统的安全性;算力集群可接入异地机房中的不同规格ARM服务器,支持CPU/GPU的物理/云虚拟机等,将服务器纳入资源池统一调度,只提供算力,不保存平台和用户数据,支持节点伸缩,保证了可插拔性。本发明专利技术有效解决跨云异构应用特性带来的集群间Pod无法通信和无法调度跨云异构资源问题。

【技术实现步骤摘要】

本专利技术涉及支撑气象数据分析建模的人工智能平台的架构设计。具体地说是支撑气象数据分析建模的人工智能平台的双集群架构和设计方法


技术介绍

1、随着气象信息技术的迅猛进步,为满足系统建设与计算需求,气象部门不断投入建设并租赁类型丰富的基础设施,使得基础设施日益多样化。然而,在信息系统实际建设过程中,不可避免地面临着多云、跨云异构环境的挑战,即不同的网络环境、不同的架构和不同的资源之间的整合和管理问题。

2、在人工智能(ai)支撑平台实施过程中,这种跨云异构环境给设计和部署同样带来了诸多困难,如异地异构算力集群与气象内网环境下集群之间无法直接架设一层新的虚拟网络进行集群间pod通信,直接导致平台无法实现异地异构算力资源的有效调度,即无法利用异地异构算力资源作为平台计算节点与计算资源,提供用户进行数据科学研究分析,进而影响平台整体实施和ai应用建设。


技术实现思路

1、为此,本专利技术所要解决的技术问题在于提供一种能够实现对跨云异构资源的统一管理和调度的人工智能平台双集群架构和设计方法,为分析气象数据本文档来自技高网...

【技术保护点】

1.支撑气象数据分析建模的人工智能平台的双集群架构,其特征在于,具有面向跨云异构应用特性,包括服务集群和算力集群,所述服务集群位于本地中心机房的若干网站应用服务器内,所述算力集群由至少一个异地算力集群组成,且每个异地算力集群位于对应的异地机房的跨云算力应用服务器上;用户在进行气象数据分析建模时,通过浏览器访问人工智能支撑平台创建和运行数据分析任务,所述服务集群用于接收用户发出的操作请求,然后向算力集群发送创建任务实例请求;所述算力集群根据用户的操作请求将任务分配给异地算力应用服务器进行执行,同时进行实例容器组创建、工作区和数据集挂载操作;所述服务集群通过API接口实现与所述算力集群之间的...

【技术特征摘要】

1.支撑气象数据分析建模的人工智能平台的双集群架构,其特征在于,具有面向跨云异构应用特性,包括服务集群和算力集群,所述服务集群位于本地中心机房的若干网站应用服务器内,所述算力集群由至少一个异地算力集群组成,且每个异地算力集群位于对应的异地机房的跨云算力应用服务器上;用户在进行气象数据分析建模时,通过浏览器访问人工智能支撑平台创建和运行数据分析任务,所述服务集群用于接收用户发出的操作请求,然后向算力集群发送创建任务实例请求;所述算力集群根据用户的操作请求将任务分配给异地算力应用服务器进行执行,同时进行实例容器组创建、工作区和数据集挂载操作;所述服务集群通过api接口实现与所述算力集群之间的网络互通,且本地中心机房的网站应用服务器的架构与异地机房的跨云算力应用服务器的架构不同。

2.根据权利要求1所述的支撑气象数据分析建模的人工智能平台的双集群架构,其特征在于,所述服务集群包括网站服务集、数据服务和日志监控三个模块;

3.根据权利要求2所述的支撑气象数据分析建模的人工智能平台的双集群架构,其特征在于,所述算力集群包括控制平面和日志监控两个模块;所述控制平面负责接受来自网站服务集的操作请求,并对访问人工智能支撑平台的用户提出的操作请求,进行计算资源调度、生命周期管理、流量代理和模型服务管理;

4.根据权利要求3所述的支撑气象数据分析建模的人工智能平台的双集群架构,其特征在于,控制平面接收到网站服务集发送的创建实例的请求后,会根据用户操作请求的资源参数进行计算实例调度,寻找符合资源需求的最优节点,进行实例容器组创建、工作区和数据集挂载操作;

5.根据权利要求4所述的支撑气象数据分析建模的人工智能平台的双集群架构,其特征在于,用户创建的实例容器,由内核kernel、流量代理proxy、边车sidecar和文件服务器fileserver四个容器组件构成;其中 内核kernel是主容器,为用户提供相应的python计算环境;流量代理pro...

【专利技术属性】
技术研发人员:梁雪赵春燕孙婧沈瑜高峰杨明吴鹏辛昱杭姚旺邓帅张新诺
申请(专利权)人:国家气象信息中心中国气象局气象数据中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1